前置条件
- Amazon RDS Postgres
- Amazon Aurora Postgres
- Supabase Postgres
- Google Cloud SQL Postgres
- Azure PostgreSQL 灵活服务器
- Neon Postgres
- Crunchy Bridge Postgres
- 通用 Postgres 源,如果你使用的是其他 Postgres 提供商,或自托管实例。
- TimescaleDB,如果你在托管服务或自托管实例上使用 TimescaleDB 扩展。
创建你的 ClickPipe
- 在 ClickHouse Cloud 控制台中,前往你的 ClickHouse Cloud 服务。
- 在左侧菜单中选择
数据源按钮,然后点击“设置 ClickPipe”
-
选择
Postgres CDC卡片
添加源 Postgres 数据库连接
- 填写您在前置条件步骤中配置的源 Postgres 数据库连接信息。
(可选) 设置 AWS Private Link
(可选) 设置 SSH 隧道
- 打开“Use SSH Tunnelling”开关。
- 填写 SSH 连接信息。
-
如需使用基于密钥的身份验证,请点击“Revoke and generate key pair”生成新的密钥对,并将生成的公钥复制到 SSH 服务器上的
~/.ssh/authorized_keys。 - 点击“Verify Connection”验证连接。
请确保在 SSH 堡垒机的防火墙规则中将 ClickPipes IP addresses 加入白名单,以便 ClickPipes 能够建立 SSH 隧道。
配置复制设置
- 请确保从下拉列表中选择你在前置条件步骤中创建的 replication slot。
高级设置
- 同步间隔:指 ClickPipes 轮询源数据库以检查变更的时间间隔。该设置会影响目标端 ClickHouse 服务;对于成本较为敏感的用户,建议将其设为较高的值 (高于
3600) 。 - 初始加载的并行线程数:指用于拉取初始快照的并行工作线程数量。当您有大量表,并希望控制拉取初始快照时使用的并行工作线程数时,此设置会很有帮助。此设置按表生效。
- 拉取批次大小:单个批次拉取的行数。这是一个尽力而为的设置,因此在某些情况下可能不会严格生效。
- 每个分区快照的行数:指初始快照期间每个分区中要拉取的行数。当您的表中有大量行,并希望控制每个分区拉取的行数时,此设置会很有帮助。
- 并行快照的表数量:指初始快照期间并行拉取的表数量。当您有大量表,并希望控制并行拉取的表数量时,此设置会很有帮助。
配置表
- 在这里,您可以为 ClickPipe 选择目标端数据库。您可以选择现有数据库,也可以新建一个数据库。
- 您可以选择要从源 Postgres 数据库复制的表。选择表时,您还可以重命名目标端 ClickHouse 数据库中的表,并排除特定列。
检查权限并启动 ClickPipe
- 在权限下拉菜单中选择“完全访问”角色,然后点击“完成设置”。