ClickHouse 連携

組み込みの CDC（変更データキャプチャ）機能を使って、Postgres のデータを ClickHouse にレプリケートします

すべての Managed Postgres インスタンスには、任意の ClickHouse サービスに対する CDC 機能が標準で組み込まれています。これにより、Postgres インスタンス上のデータの一部または全部を ClickHouse に移行し、Postgres 側で発生したデータの変更を ClickHouse に継続的かつほぼリアルタイムで反映できます。この機能は内部的に ClickPipes によって提供されています。

これを利用するには、Postgres インスタンスのサイドバーで ClickHouse Integration をクリックします。

先に進む前に、Postgres サービスに ClickPipes サービスからアクセスできることを確認してください。通常はデフォルトでアクセス可能ですが、IP アクセスを制限している場合は、ClickHouse service が配置されているリージョンに応じて、こちら の一覧にある一部の送信元 IP からのアクセスを許可する必要がある場合があります。

ClickPipe の設定を開始するには、Replicate data in ClickHouse をクリックします。

1. ​

   レプリケーションサービスを設定する

   レプリケーション設定を入力します。

   • Integration name: この ClickPipe の名前
   • ClickHouse service: 既存の ClickHouse Cloud サービスを選択するか、新しく作成します
   • Postgres database: レプリケーション元のソースデータベース
   • Replication method: 次のいずれかを選択します。
     • Initial load + CDC: 既存データを取り込み、新しい変更があればテーブルを継続的に更新します (推奨)
     • Initial load only: 既存データを一回限りでスナップショット取得し、その後の更新は行いません
     • CDC only: 初期スナップショットをスキップし、以降の新しい変更のみをキャプチャします

   続行するには Next をクリックします。

2. ​

   レプリケートするテーブルを選択する

   宛先データベースを選択し、レプリケートするテーブルを指定します。

   • Destination database: 既存の ClickHouse データベースを選択するか、新しく作成します
   • Prefix default destination table names with schema name: 名前の競合を避けるため、Postgres スキーマ名をプレフィックスとして追加します
   • Preserve NULL values from source: デフォルト値に変換せず、NULL 値を保持します
   • Remove deleted rows during merges: ReplacingMergeTree テーブルで、バックグラウンドマージ中に削除済みの行を物理的に削除します

   スキーマを展開して、レプリケートする個々のテーブルを選択します。宛先テーブル名やカラム設定をカスタマイズすることもできます。

   レプリケーションを開始するには、Replicate data to ClickHouse をクリックします。

3. ​

   ClickPipe を監視する

   ClickPipe が開始されると、同じメニューに一覧表示されます。すべてのデータの初期スナップショットには、テーブルのサイズによっては時間がかかる場合があります。

   インテグレーション名をクリックすると、詳細なステータスの確認、進行状況の監視、エラーの表示、ClickPipe の管理を行えます。ClickPipe が取りうるさまざまな状態については、Lifecycle of a Postgres ClickPipe を参照してください。