メインコンテンツへスキップ

​
はじめに

ClickPipes は、多様なデータソースからのデータ取り込みを、数回クリックするだけで簡単に行えるマネージドなインテグレーションプラットフォームです。最も要求の厳しいワークロード向けに設計された、堅牢かつスケーラブルな ClickPipes のアーキテクチャにより、一貫したパフォーマンスと信頼性を実現します。ClickPipes は、長期的なストリーミング用途にも、一回限りのデータロードジョブにも利用できます。 ClickPipes は、ClickPipes UI を使用して手動でデプロイおよび管理できるほか、OpenAPI や Terraform を使用してプログラムからデプロイおよび管理することもできます。

​
サポートされているデータソース

NameLogoTypeStatusDescription
Apache KafkaApache Kafka ロゴStreamingStableClickPipes を設定し、Apache Kafka から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。
Confluent CloudConfluent Cloud ロゴStreamingStable直接インテグレーションにより、Confluent と ClickHouse Cloud をシームレスに連携させることができます。
RedpandaRedpanda ロゴStreamingStableClickPipes を設定し、Redpanda から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。
AWS MSKAWS MSK ロゴStreamingStableClickPipes を設定し、AWS MSK から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。
Azure Event HubsAzure Event Hubs ロゴStreamingStableClickPipes を設定し、Azure Event Hubs から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。詳しくは Azure Event Hubs よくある質問 を参照してください。
WarpStreamWarpStream ロゴStreamingStableClickPipes を設定し、WarpStream から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。
Amazon S3Amazon S3 ロゴObject StorageStableClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。
Google Cloud StorageGoogle Cloud Storage ロゴObject StorageStableClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。
DigitalOcean SpacesDigital Ocean ロゴObject StorageStableClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。
Azure Blob StorageAzure Blob Storage ロゴObject StorageStableClickPipes を設定して、オブジェクトストレージから大量のデータを取り込みます。
Amazon KinesisAmazon Kenesis ロゴStreamingStableClickPipes を設定し、Amazon Kinesis から ClickHouse Cloud へのストリーミングデータの取り込みを開始します。
PostgresPostgres ロゴDBMSStableClickPipes を設定し、Postgres から ClickHouse Cloud へのデータ取り込みを開始します。
MySQLMySQL ロゴDBMSPublic BetaClickPipes を設定し、MySQL から ClickHouse Cloud へのデータ取り込みを開始します。
MongoDBMongoDB ロゴDBMSPrivate PreviewClickPipes を設定し、MongoDB から ClickHouse Cloud へのデータ取り込みを開始します。
今後、さらに多くのコネクタが ClickPipes に追加される予定です。詳細は、お問い合わせください。

​
固定 IP の一覧

以下の表は、ClickPipes が外部サービスへの接続に使用する固定 NAT IP を示しています。お使いの ClickHouse Cloud サービスに対応する ClickPipes リージョンの IP を、IP の許可リストに追加してください。オブジェクトストレージのパイプの場合は、ClickHouse クラスターの IP も IP の許可リストに追加する必要があります。 以下の Google Cloud 表に記載されている Google Cloud リージョンのサービスでは、2026 年 5 月 27 日以降に作成されたサービスに限り、それらの Google Cloud IP が使用されます。これらのリージョンで 2026 年 5 月 27 日より前に作成されたサービスは、引き続き以下に記載されたデフォルトリージョンの IP を使用します。 その他のサービスでは、ClickPipes のトラフィックはサービスの場所に応じたデフォルトリージョンから発信されます。
  • eu-central-1: 明示的に記載されていないすべての EU リージョンに加え、Azure の EU リージョン、および 2026 年 5 月 27 日より前に作成された Google Cloud の EU サービス。
  • eu-west-1: AWS eu-west-1 のすべてのサービスのうち、2026 年 1 月 20 日以降に作成されたもの (この日付より前に作成されたサービスは eu-central-1 の IP を使用) 。
  • us-east-1: AWS us-east-1 のすべてのサービス。
  • ap-south-1: AWS ap-south-1 のサービスのうち、2025 年 6 月 25 日以降に作成されたもの (この日付より前に作成されたサービスは us-east-2 の IP を使用) 。
  • ap-northeast-2: AWS ap-northeast-2 のサービスのうち、2025 年 11 月 14 日以降に作成されたもの (この日付より前に作成されたサービスは us-east-2 の IP を使用) 。
  • af-south-1: AWS af-south-1 のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスは us-east-2 の IP を使用) 。
  • ap-east-1: AWS ap-east-1 のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスは us-east-2 の IP を使用) 。
  • ap-northeast-1: AWS ap-northeast-1 のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスは us-east-2 の IP を使用) 。
  • ap-southeast-1: AWS ap-southeast-1 のサービスのうち、2026 年 3 月 18 日以降に作成されたもの (この日付より前に作成されたサービスは us-east-2 の IP を使用) 。
  • ap-southeast-2: AWS ap-southeast-2 のサービスのうち、2025 年 6 月 25 日以降に作成されたもの (この日付より前に作成されたサービスは us-east-2 の IP を使用) 。
  • ap-southeast-3: AWS ap-southeast-3 のサービスのうち、2026 年 3 月 6 日以降に作成されたもの (この日付より前に作成されたサービスは us-east-2 の IP を使用) 。
  • ca-central-1: AWS ca-central-1 のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスは us-east-2 の IP を使用) 。
  • eu-north-1: AWS eu-north-1 のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスは eu-central-1 の IP を使用) 。
  • eu-west-2: AWS eu-west-2 のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスは eu-central-1 の IP を使用) 。
  • il-central-1: AWS il-central-1 のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスは us-east-2 の IP を使用) 。
  • sa-east-1: AWS sa-east-1 のサービスのうち、2026 年 4 月 15 日以降に作成されたもの (この日付より前に作成されたサービスは us-east-2 の IP を使用) 。
  • us-west-2: AWS us-west-2 のサービスのうち、2025 年 6 月 24 日以降に作成されたもの (この日付より前に作成されたサービスは us-east-2 の IP を使用) 。
  • us-east-2: 上記のルールのいずれにも一致しないその他すべてのリージョン (Azure リージョンおよび 2026 年 5 月 27 日より前に作成された Google Cloud サービスを含む) 。

​
AWS の固定 NAT IP

AWSリージョンIPアドレス
eu-central-1 - フランクフルト18.195.233.217, 3.127.86.90, 35.157.23.2, 18.197.167.47, 3.122.25.29, 52.28.148.40
eu-west-1 - アイルランド (2026年1月20日より)54.228.1.92 , 54.72.101.254, 54.228.16.208, 54.76.200.104, 52.211.2.177, 54.77.10.134
us-east-1 - 北バージニア54.82.38.199, 3.90.133.29, 52.5.177.8, 3.227.227.145, 3.216.6.184, 54.84.202.92, 3.131.130.196, 3.23.172.68, 3.20.208.150
us-east-2 - オハイオ3.131.130.196, 3.23.172.68, 3.20.208.150, 3.132.20.192, 18.119.76.110, 3.134.185.180
ap-south-1 - ムンバイ (2025年6月25日より)13.203.140.189, 13.232.213.12, 13.235.145.208, 35.154.167.40, 65.0.39.245, 65.1.225.89
ap-northeast-2 - ソウル (2025年11月14日より)3.38.68.69, 52.78.68.128, 13.209.152.13, 3.38.24.84, 3.37.159.31, 3.34.25.104
ap-southeast-1 - シンガポール (2026年3月18日より)13.215.65.134, 18.139.118.108, 47.130.197.47, 54.251.134.219, 54.254.98.29, 54.255.153.106
ap-southeast-2 - シドニー (2025年6月25日より)3.106.48.103, 52.62.168.142, 13.55.113.162, 3.24.61.148, 54.206.77.184, 54.79.253.17
af-south-1 - ケープタウン (2026年4月15日より)13.245.187.24, 15.240.60.178, 15.240.81.191, 13.245.25.101, 13.245.91.225, 15.240.54.195
ap-east-1 - 香港 (2026年4月15日より)18.166.168.168, 43.199.224.85, 95.40.0.242, 16.162.107.229, 43.199.125.240, 54.46.86.27
ap-northeast-1 - 東京 (2026年4月15日より)54.168.88.92, 35.76.97.79, 54.64.100.89, 54.178.40.17, 52.195.101.208, 13.193.109.245
ap-southeast-1 - シンガポール (2026年3月18日より)47.130.197.47, 54.251.134.219, 18.139.118.108, 54.255.153.106, 54.254.98.29, 13.215.65.134
ap-southeast-3 - ジャカルタ (2026年3月6日より)16.78.195.195, 43.218.184.235, 16.79.88.54, 16.78.153.162, 16.79.6.125, 108.137.52.155
ca-central-1 - カナダ (2026年4月15日から)52.60.123.235, 3.97.222.98, 3.99.62.248, 15.223.61.186, 3.96.255.101, 3.97.29.96
eu-north-1 - ストックホルム (2026年4月15日から)13.63.1.65, 16.171.127.30, 56.228.76.44, 13.63.101.248, 16.170.124.188, 13.60.109.201
eu-west-2 - ロンドン (2026年4月15日より)13.134.82.158, 16.60.209.167, 18.134.221.203, 16.60.139.176, 13.43.66.75, 3.11.78.183
il-central-1 - テルアビブ (2026年4月15日より)16.164.25.13, 51.84.162.29, 51.85.90.183, 51.84.36.146, 51.84.72.29, 51.85.28.184
sa-east-1 - サンパウロ (2026年4月15日より)18.230.164.131, 56.126.1.234, 18.230.39.24, 15.229.102.116, 18.230.174.204, 18.229.237.116
us-west-2 - オレゴン (2025年6月24日より)52.42.100.5, 44.242.47.162, 52.40.44.52, 44.227.206.163, 44.246.241.23, 35.83.230.19

​
Google Cloud 固定 NAT IP

Google Cloud リージョンIP アドレス
asia-northeast1 - 東京 (2026年5月27日以降)104.198.114.210, 35.221.66.81, 35.243.126.127, 136.110.107.86, 34.85.18.112
asia-southeast1 - シンガポール (2026年5月27日以降)34.21.197.28, 35.197.141.23, 35.197.157.90, 136.110.17.200, 35.185.179.231
europe-west2 - ロンドン (2026年5月27日以降)35.242.131.178, 34.39.77.101, 34.39.47.179, 34.89.53.234, 8.228.63.151
europe-west4 - オランダ (2026年5月27日以降)34.34.86.3, 34.6.175.56, 34.178.6.187, 34.91.204.220, 34.12.85.206
us-central1 - アイオワ (2026年5月27日以降)34.28.24.54, 34.42.56.195, 34.63.141.9, 35.238.146.37, 34.10.251.49
us-east1 - サウスカロライナ (2026年5月27日以降)34.24.134.232, 34.24.214.165, 34.24.20.1, 35.243.193.248, 34.23.98.76

​
ClickHouse設定の調整

ClickHouse Cloud では、ほとんどのユースケースに適したデフォルト設定が提供されています。ただし、ClickPipes の宛先テーブル向けに ClickHouse設定を調整する必要がある場合は、ClickPipes 専用のロールを作成するのが最も柔軟な方法です。 手順:
  1. カスタムロール CREATE ROLE my_clickpipes_role SETTINGS ... を作成します。詳細は CREATE ROLE の構文を参照してください。
  2. ClickPipes の作成時に、Details and Settings ステップで ClickPipes ユーザーにカスタムロールを追加します。

​
ClickPipes の高度な設定の調整

ClickPipes には、ほとんどのユースケースに対応できる適切なデフォルト設定が用意されています。さらに細かく調整する必要がある場合は、以下の設定を変更できます。

​
オブジェクトストレージ 用 ClickPipes

設定デフォルト値説明
Max insert bytes10 GB1 回の挿入バッチで処理するバイト数。
Max file count1001 回の挿入バッチで処理するファイルの最大数。
Max threadsauto(3)ファイル処理に使用する同時実行スレッドの最大数。
Max insert threads1ファイル処理に使用する同時実行の挿入スレッドの最大数。
Min insert block size bytes1 GBテーブルに挿入可能なブロックの最小バイトサイズ。
Max download threads4同時実行されるダウンロードスレッドの最大数。
オブジェクトストレージ polling interval30 sデータを ClickHouse クラスターに挿入するまでの最大待機時間を設定します。
Parallel distributed insert select2Parallel distributed insert select 設定。
Parallel view processingfalseアタッチされたビューへのプッシュを、順次ではなく同時実行にするかどうか。
Use cluster functiontrue複数のノードにまたがってファイルを並列に処理するかどうか。

​
ストリーミング ClickPipes

設定デフォルト値説明
Streaming max insert wait time5 sデータを ClickHouse クラスターに挿入するまでの最大待機時間を設定します。

​
エラーの報告

ClickPipes は、インジェスト中に発生したエラーの種類に応じて、エラーを 2 つの別々のテーブルに保存します。

​
レコードエラー

ClickPipes は、宛先テーブルと同じ場所に、末尾が <destination_table_name>_clickpipes_error となるテーブルを作成します。このテーブルには、データ形式の不正やスキーマの不一致によって発生したエラーが格納され、無効なメッセージ全体も記録されます。このテーブルの 有効期限 (TTL) は 7 日です。

​
システムエラー

ClickPipe の動作に関連するエラーは、system.clickpipes_log テーブルに保存されます。このテーブルには、ClickPipe の動作に関するその他のエラー (ネットワークや接続など) もすべて保存されます。このテーブルの 有効期限 (TTL) は 7 日間です。 ClickPipes が 15 分以内にデータソースに接続できない場合、または 1 時間以内に宛先に接続できない場合、ClickPipes インスタンスは停止し、適切なメッセージをシステムエラーテーブルに保存します (ClickHouse インスタンスが利用可能な場合) 。

​
監視

コンソールでの監視に加えて、ClickPipes はスクレイピング用に Prometheus互換エンドポイント へメトリクスを公開しています。これらのメトリクスは、他の ClickHouse Cloud サービスのメトリクスとあわせて公開され、既存のオブザーバビリティスタック (例: Grafana、Datadog) に ClickPipes の監視を統合できます。利用可能なメトリクスの一覧については、ClickPipes の監視 を参照してください。

​
よくある質問

  • ClickPipes とは何ですか？ ClickPipes は ClickHouse Cloud の機能で、ClickHouse サービスを外部データソース、特に Kafka に簡単に接続できます。Kafka 向け ClickPipes を使うと、データを ClickHouse に継続的に簡単に取り込み、リアルタイム分析に利用できるようになります。
  • ClickPipes はデータ変換をサポートしていますか？ はい。ClickPipes は DDL を作成できるため、基本的なデータ変換をサポートしています。さらに、ClickHouse の materialized view 機能 を活用することで、ClickHouse Cloud サービス内の宛先テーブルにデータが読み込まれる際に、より高度な変換を適用できます。
  • ClickPipes を使用すると追加料金が発生しますか？ ClickPipes の課金は、取り込みデータとコンピュートの 2 つの項目に基づいて行われます。料金の詳細は このページ を参照してください。ClickPipes を実行すると、他の取り込みワークロードと同様に、宛先の ClickHouse Cloud サービスで間接的なコンピュートおよびストレージのコストが発生する場合もあります。
  • Kafka 向け ClickPipes の使用時にエラーや障害に対処する方法はありますか？ はい。Kafka からデータを取り込む際に、ネットワークや接続の問題などの運用上の理由で障害が発生した場合、Kafka 向け ClickPipes は自動的に再試行します。データの形式不正や無効なスキーマが発生した場合、ClickPipes はそのレコードを record_error テーブルに保存し、処理を継続します。
最終更新日 2026年6月10日