MongoDB ClickPipe の同期を制御する

MongoDB ClickPipe の同期制御に関するドキュメント

このドキュメントでは、MongoDB ClickPipe が CDC (実行中) モード のときに、ClickPipe の同期を制御する方法について説明します。

​

概要

Database ClickPipes は、ソースデータベースからのプルと移行先データベースへのプッシュという、2 つの並行プロセスで構成されるアーキテクチャです。プルのプロセスは同期設定によって制御され、この設定でデータをどのくらいの頻度でプルするか、また 1 回にどれだけのデータをプルするかを定義します。ここでいう「1 回に」とは 1 バッチのことです。ClickPipe はデータをバッチ単位でプルおよびプッシュするためです。

MongoDB ClickPipe の同期を制御する主な方法は 2 つあります。以下の設定のいずれかの条件を満たすと、ClickPipe はプッシュを開始します。

​

同期間隔

パイプの同期間隔は、ClickPipe がソースデータベースからレコードを取得する時間の長さ (秒単位) を指します。取得したデータを ClickHouse に送信するための時間は、この間隔には含まれません。

デフォルトは 1 分 です。 同期間隔には任意の正の整数値を設定できますが、10 秒より大きい値に保つことを推奨します。

​

プルバッチサイズ

プルバッチサイズは、ClickPipe が 1 回のバッチでソースデータベースから取得するレコード数です。ここでいうレコードとは、パイプに含まれるコレクションに対して行われる挿入、更新、削除を指します。

デフォルトは 100,000 レコードです。 安全な最大値は 1,000 万です。

​

同期設定を構成する

ClickPipe の作成時または既存の ClickPipe の編集時に、同期間隔とプルバッチサイズを設定できます。 ClickPipe の作成時には、以下のように作成ウィザードの 2 番目のステップに表示されます。

既存の ClickPipe を編集する場合は、パイプの Settings タブに移動し、パイプを一時停止してから、ここで Configure をクリックします。

すると、同期設定を表示するフライアウトが開き、そこで同期間隔とプルバッチサイズを変更できます。

​

同期制御の動作を監視する

各バッチにかかる時間は、ClickPipe の メトリクス タブにある CDC Syncs テーブルで確認できます。ここでの所要時間にはプッシュ時間が含まれます。また、受信する行がない場合は ClickPipe が待機し、その待機時間も所要時間に含まれる点に注意してください。