ClickHouse integration

Replica tus datos de Postgres en ClickHouse con las capacidades integradas de CDC

Cada instancia de Managed Postgres incluye capacidades de CDC integradas para cualquiera de tus servicios de ClickHouse. Esto te permite mover parte o la totalidad de los datos de tu instancia de Postgres a ClickHouse y hacer que los cambios en los datos de Postgres se reflejen en ClickHouse de forma continua y casi en tiempo real. Todo esto se basa internamente en ClickPipes.

Para acceder, haz clic en ClickHouse Integration en la barra lateral de tu instancia de Postgres.

Antes de continuar, asegúrate de que tu servicio de Postgres sea accesible para el servicio ClickPipes. Normalmente esto ya está configurado así, pero si has restringido el acceso por IP, puede que tengas que conceder acceso a algunas IP de origen de esta lista según la región en la que se encuentre tu ClickHouse service.

Haz clic en Replicate data in ClickHouse para empezar a configurar tu ClickPipe.

1. ​

   Configura el servicio de replicación

   Completa la configuración de replicación:

   • Integration name: Un nombre para este ClickPipe
   • ClickHouse service: Selecciona un servicio existente de ClickHouse Cloud o crea uno nuevo
   • Postgres database: La base de datos de origen desde la que se replicarán los datos
   • Replication method: Elige una de las siguientes opciones:
     • Initial load + CDC: Importa los datos existentes y mantiene las tablas actualizadas con los cambios nuevos (recomendado)
     • Initial load only: Snapshot único de los datos existentes sin actualizaciones continuas
     • CDC only: Omite el snapshot inicial y solo captura los cambios nuevos a partir de ese momento

   Haz clic en Next para continuar.

2. ​

   Selecciona las tablas que se van a replicar

   Elige una base de datos de destino y selecciona qué tablas quieres replicar:

   • Destination database: Selecciona una base de datos existente de ClickHouse o crea una nueva
   • Prefix default destination table names with schema name: Añade el schema de Postgres como prefijo para evitar conflictos de nombres
   • Preserve NULL values from source: Mantiene los valores NULL en lugar de convertirlos en valores predeterminados
   • Remove deleted rows during merges: Para las tablas ReplacingMergeTree, elimina físicamente las filas borradas durante las background merges

   Expande los schemas y selecciona las tablas individuales que quieres replicar. También puedes personalizar los nombres de las tablas de destino y la configuración de columna.

   Haz clic en Replicate data to ClickHouse para iniciar la replicación.

3. ​

   Supervisa tu ClickPipe

   Una vez que el ClickPipe se inicie, lo verás en la lista dentro del mismo menú. El snapshot inicial de todos los datos puede tardar un tiempo, según el tamaño de tus tablas.

   Haz clic en el nombre de la integración para ver el estado detallado, supervisar el progreso, ver errores y administrar el ClickPipe. Consulta Lifecycle of a Postgres ClickPipe para entender los distintos estados en los que puede estar tu ClickPipe.