ClickPipes でサポートされているデータソース
- Kafka
- Postgres
- MySQL
- MongoDB
対応している AWS PrivateLink エンドポイントタイプ
VPC リソース
クロスリージョンはサポートされていません。
- リソースゲートウェイを作成する
- リソース設定を作成する
- リソース共有を作成する
リソースゲートウェイを作成する
リソースゲートウェイは、VPC 内で指定されたリソース宛てのトラフィックを受け取る受信ポイントです。リソースゲートウェイにアタッチするサブネットには、十分な数の利用可能な IP アドレスを確保しておくことを推奨します。
各サブネットには、少なくとも
/26 のサブネットマスクを使用することを推奨します。AWS では、各 VPC エンドポイント (各 Reverse Private Endpoint) について、サブネットごとに連続した 16 個の IP アドレスのブロックが必要です。(/28 サブネットマスク)
この要件を満たしていない場合、Reverse Private Endpoint は失敗状態に遷移します。Active 状態になるまで待つ必要があります。状態は、次のコマンドを実行して確認できます。VPC リソース設定を作成する
リソースにアクセスできるようにするには、Resource-Configuration を resource gateway に関連付けます。Resource-Configuration は、AWS コンソール または次のコマンドで作成できます。パブリックアクセス可能なクラスターでは、resource configuration を作成できません。
クラスターがパブリックアクセス可能な場合は、resource configuration を作成する前に、
クラスターをプライベートに変更する必要があります。
または、代わりに IP allow list を使用してください。
詳しくは、AWS ドキュメント を参照してください。
Resource-Share を作成する
リソースを共有するには、Resource-Share が必要です。これは Resource Access Manager (RAM) を使用して行います。Resource-Share は 1 つの Reverse Private Endpoint でのみ使用でき、再利用はできません。
同じ Resource-Configuration を複数の Reverse Private Endpoint で使用する必要がある場合は、
各エンドポイントごとに個別の Resource-Share を作成する必要があります。
Resource-Share は Reverse Private Endpoint を削除した後も AWS アカウントに残るため、
不要になった場合は手動で削除する必要があります。
072088201116 (arn:aws:iam::072088201116:root) を指定して次のコマンドを実行することで、Resource-Configuration を Resource-Share に追加できます。VPC endpoint typeをVPC Resourceに設定します。Resource configuration IDを、手順 2 で作成した Resource-Configuration の ID に設定します。Resource share ARNを、手順 3 で作成した Resource-Share の ARN に設定します。
MSK マルチ VPC 接続
MSK クラスターのポリシーを更新し、MSK クラスターで許可するプリンシパルに
072088201116 を追加してください。
詳細については、AWS ガイドのクラスター ポリシーのアタッチを参照してください。VPC エンドポイントサービス
- プライベート DNS のサポートが必要な、あらゆるオンプレミス環境の Kafka 構成
- Postgres CDC (変更データキャプチャ) のクロスリージョン接続
- MSK クラスターのクロスリージョン接続。サポートが必要な場合は、ClickHouse Support にお問い合わせください。
ClickPipes のアカウント ID
072088201116 を、VPC エンドポイントサービスの許可されたプリンシパルに追加してください。
詳細については、権限の管理に関する AWS ガイドを参照してください。ClickPipes では、クロスリージョンアクセス
を設定できます。VPC エンドポイントサービスの許可されたリージョンに、ClickPipe のリージョンを追加してください。
リバースプライベートエンドポイントを使用して ClickPipe を作成する
- ClickHouse Cloud サービスの SQL Console にアクセスします。
- 左側のメニューで
Data Sourcesボタンを選択し、「Set up a ClickPipe」をクリックします。
- データソースとして Kafka または Postgres のいずれかを選択します。
Reverse private endpointオプションを選択します。
- 既存のリバースプライベートエンドポイントを選択するか、新規作成します。
RDS でクロスリージョンアクセスが必要な場合は、VPC エンドポイントサービスを作成する必要があります。
設定の出発点としては、このガイドが役立ちます。同一リージョン内のアクセスには、VPC リソースを作成する方法を推奨します。
- 選択したエンドポイントタイプに必要なパラメータを入力します。
- VPC リソースの場合は、設定共有 ARN と設定 ID を入力します。
- MSK マルチ VPC の場合は、クラスター ARN と、作成したエンドポイントで使用する認証方法を入力します。
- VPC エンドポイントサービスの場合は、サービス名を入力します。
-
Createをクリックし、リバースプライベートエンドポイントの準備が完了するまで待ちます。 新しいエンドポイントを作成する場合は、セットアップに少し時間がかかります。 エンドポイントの準備が完了すると、ページは自動的に更新されます。 VPC エンドポイントサービスでは、AWS コンソールで接続リクエストを承認する必要がある場合があります。
- エンドポイントの準備が完了したら、DNS 名を使ってデータソースに接続できます。 エンドポイントの一覧では、利用可能なエンドポイントの DNS 名を確認できます。 これは、ClickPipes が内部的にプロビジョニングした DNS 名、または PrivateLink サービスが提供するプライベート DNS 名のいずれかです。 DNS 名は完全なネットワークアドレスではありません。 データソースに応じてポートを追加してください。 MSK の接続文字列は AWS コンソールで確認できます。 DNS 名の完全な一覧を確認するには、Cloud サービスの設定にアクセスしてください。
既存のリバースプライベートエンドポイントの管理
-
サイドバーで
Settingsボタンを見つけてクリックします。 -
ClickPipe reverse private endpointsセクションでReverse private endpointsをクリックします。 リバースプライベートエンドポイントの詳細情報がフライアウトに表示されます。 ここからエンドポイントを削除することもできます。削除すると、このエンドポイントを使用しているすべての ClickPipes に影響します。
サポート対象の AWS リージョン
制限事項
非アクティブなエンドポイントの自動クリーンアップ
| Status | Grace Period | Description |
|---|---|---|
| Failed | 7 日 | エンドポイントの Provisioning 中にエラーが発生しました。 |
| 承認待ち | 1 日 | エンドポイントの接続は、サービス所有者によってまだ承認されていません。 |
| 拒否済み | 1 日 | エンドポイントの接続は、サービス所有者によってサービス所有者に拒否されました。 |
| 期限切れ | 即時 | エンドポイントはすでに期限切れになっており、速やかに削除されます。 |