创建你的第一个 GCS ClickPipe

创建你的第一个 Google Cloud Storage ClickPipe 的分步指南。

GCS ClickPipe 提供了一种完全托管且具备高弹性的方式，用于从 Google Cloud Storage (GCS) 摄取数据。它同时支持 一次性 和 持续摄取，并具备精确一次语义。

1. ​

   选择数据源

   1. 在 ClickHouse Cloud 中，先在主导航菜单中选择 数据源，然后点击 Create ClickPipe。

2. ​

   设置您的 ClickPipe 连接

   1. 要设置新的 ClickPipe，您需要提供连接到对象存储服务并进行身份验证的相关信息。

   2. 点击 Incoming data。ClickPipes 将从您的存储桶中拉取元数据，用于下一步。

3. ​

   选择数据格式

   UI 将显示指定存储桶中的文件列表。 选择数据格式 (当前支持部分 ClickHouse 格式) ，以及是否启用持续摄取。 更多详情请参阅概览页面中的“持续摄取”部分。

4. ​

   配置表、schema 和设置

   在下一步中，您可以选择将数据摄取到新的 ClickHouse 表中，或复用现有表。 按照界面提示修改表名、schema 和设置。 您可以在顶部的样本表中实时预览这些更改。

   您还可以使用提供的控件自定义高级设置。

   或者，您也可以选择将数据摄取到现有的 ClickHouse 表中。 在这种情况下，UI 将允许您把源字段映射到所选目标表中的 ClickHouse 字段。

   您还可以将虚拟列 (例如 _path 或 _size) 映射到字段。

5. ​

   配置权限

   最后，您可以为 ClickPipes 的内部用户配置权限。

   权限： ClickPipes 会创建一个专用用户，用于向目标表写入数据。您可以为该内部用户选择自定义角色，或使用以下预定义角色之一：

   • Full access：拥有对集群的完全访问权限。如果目标表使用了 materialized view 或 字典，则需要此权限。
   • Only destination table：仅拥有对目标表的 INSERT 权限。
6. ​

   完成设置

   点击“Complete Setup”后，系统将注册您的 ClickPipe，您随后即可在汇总表中看到它。

   汇总表提供了用于查看源端或 ClickHouse 中目标表样本数据的控件。

   以及用于删除 ClickPipe 和查看摄取任务摘要的控件。

   恭喜！ 您已成功设置第一个 ClickPipe。 如果这是一个配置为持续摄取的 ClickPipe，它将持续运行，并从远程数据源实时摄取数据。 否则，它会完成该批次的摄取后结束运行。