Requisitos previos
- Amazon RDS Postgres
- Amazon Aurora Postgres
- Supabase Postgres
- Google Cloud SQL Postgres
- Azure Flexible Server for Postgres
- Neon Postgres
- Crunchy Bridge Postgres
- Fuente genérica de Postgres, si utilizas cualquier otro proveedor de Postgres o una instancia autohospedada.
- TimescaleDB, si utilizas la extensión TimescaleDB en un servicio administrado o en una instancia autohospedada.
Crear tu ClickPipe
- En la consola de ClickHouse Cloud, ve a tu servicio de ClickHouse Cloud.
- Selecciona el botón
Data Sourcesen el menú lateral izquierdo y haz clic en “Set up a ClickPipe”
-
Selecciona la tarjeta
Postgres CDC
Añadir la conexión de tu base de datos Postgres de origen
- Completa los datos de conexión de tu base de datos Postgres de origen que configuraste en el paso de requisitos previos.
Antes de empezar a añadir los datos de tu conexión, asegúrate de haber incluido las direcciones IP de ClickPipes en la lista de permitidos de las reglas de tu firewall. Puedes encontrar la lista de direcciones IP de ClickPipes aquí.
Para obtener más información, consulta las guías de configuración de Postgres de origen enlazadas en la parte superior de esta página.
(Opcional) Configurar AWS Private Link
(Opcional) Configuración del túnel SSH
- Active el interruptor “Use SSH Tunnelling”.
- Complete los datos de la conexión SSH.
-
Para usar autenticación con claves, haga clic en “Revoke and generate key pair” para generar un nuevo par de claves y copie la clave pública generada en su servidor SSH, en
~/.ssh/authorized_keys. - Haga clic en “Verify Connection” para verificar la conexión.
Asegúrese de permitir dirección IP de ClickPipes en las reglas de su firewall para el host bastión SSH, de modo que ClickPipes pueda establecer el túnel SSH.
Configuración de la replicación
- Asegúrate de seleccionar el slot de replicación en la lista desplegable que creaste en el paso de requisitos previos.
Configuración avanzada
- Sync interval: Es el intervalo con el que ClickPipes consultará la base de datos de origen para detectar cambios. Esto afecta al servicio de ClickHouse de destino; si el costo es un factor importante, recomendamos mantenerlo en un valor más alto (superior a
3600). - Parallel threads for initial load: Es la cantidad de workers en paralelo que se utilizarán para obtener la instantánea inicial. Resulta útil cuando tiene una gran cantidad de tablas y desea controlar cuántos workers en paralelo se usan para obtener la instantánea inicial. Este ajuste se aplica por tabla.
- Pull batch size: El tamaño del lote de extracción es la cantidad de filas que se obtendrán en un solo lote. Este ajuste se aplica según disponibilidad y puede que no se respete en todos los casos.
- Snapshot number of rows per partition: Es la cantidad de filas que se obtendrán en cada partición durante la instantánea inicial. Resulta útil cuando sus tablas tienen una gran cantidad de filas y desea controlar cuántas filas se obtienen en cada partición.
- Snapshot number of tables in parallel: Es la cantidad de tablas que se obtendrán en paralelo durante la instantánea inicial. Resulta útil cuando tiene una gran cantidad de tablas y desea controlar cuántas tablas se obtienen en paralelo.
Configuración de las tablas
- Aquí puede seleccionar la base de datos de destino para su ClickPipe. Puede seleccionar una base de datos existente o crear una nueva.
- Puede seleccionar las tablas que desea replicar desde la base de datos Postgres de origen. Mientras selecciona las tablas, también puede optar por cambiarles el nombre en la base de datos de destino de ClickHouse, así como excluir columnas específicas.
Revisa los permisos e inicia ClickPipe
- Selecciona el rol “Acceso completo” en el menú desplegable de permisos y haz clic en “Completar configuración”.