最初の GCS ClickPipe を作成する

最初の Google Cloud Storage ClickPipe を作成するためのステップバイステップガイド。

GCS ClickPipe は、Google Cloud Storage (GCS) からデータを取り込むための、フルマネージドで高い耐障害性を備えた機能です。一回限りと継続的インジェストの両方をサポートし、exactly-once セマンティクスを提供します。

1. ​

   データソースを選択する

   1. ClickHouse Cloud のメインナビゲーションメニューで Data sources を選択し、Create ClickPipe をクリックします。

2. ​

   ClickPipe 接続を設定する

   1. 新しい ClickPipe を設定するには、オブジェクトストレージサービスへの接続方法と認証情報を指定する必要があります。

   2. Incoming data をクリックします。ClickPipes は次のステップに向けてバケットからメタデータを取得します。

3. ​

   データフォーマットを選択する

   UI に、指定したバケット内のファイル一覧が表示されます。 データフォーマット (現在サポートされているのは ClickHouse フォーマットの一部です) を選択し、継続的インジェストを有効にするかどうかを指定します。 詳細は、概要ページの「continuous ingest」セクションを参照してください。

4. ​

   テーブル、スキーマ、設定を構成する

   次のステップでは、新しい ClickHouse テーブルにデータを取り込むか、既存のテーブルを再利用するかを選択できます。 画面の指示に従って、テーブル名、スキーマ、設定を変更してください。 上部のサンプルテーブルで、変更内容をリアルタイムでプレビューできます。

   提供されているコントロールを使って、詳細設定をカスタマイズすることもできます。

   また、既存の ClickHouse テーブルにデータを取り込むこともできます。 その場合、UI ではソースのフィールドを、選択した宛先テーブル内の ClickHouse フィールドにマッピングできます。

   _path や _size などの仮想カラムもフィールドにマッピングできます。

5. ​

   権限を設定する

   最後に、ClickPipes の内部ユーザーに対する権限を設定できます。

   Permissions: ClickPipes は、宛先テーブルにデータを書き込むための専用ユーザーを作成します。カスタムロールまたは事前定義済みロールのいずれかを使って、この内部ユーザーのロールを選択できます。

   • Full access: クラスターへのフルアクセス権を付与します。宛先テーブルで materialized view または Dictionary を使用する場合に必要です。
   • Only destination table: 宛先テーブルに対する INSERT 権限のみを付与します。
6. ​

   セットアップを完了する

   「Complete Setup」をクリックすると、システムに ClickPipe が登録され、一覧テーブルに表示されるようになります。

   一覧テーブルには、ソースまたは ClickHouse 内の宛先テーブルのサンプルデータを表示するためのコントロールが用意されています。

   また、ClickPipe を削除したり、インジェストジョブの概要を表示したりするためのコントロールもあります。

   おめでとうございます！ これで最初の ClickPipe の設定は完了です。 継続的インジェスト用に構成された ClickPipe の場合は継続的に実行され、リモートのデータソースからリアルタイムでデータを取り込みます。 そうでない場合は、バッチを取り込んで完了します。