Guía de configuración de la fuente de Neon Postgres

Configura una instancia de Neon Postgres como fuente para ClickPipes

Esta es una guía sobre cómo configurar Neon Postgres, que puedes usar para la replicación en ClickPipes. Asegúrate de haber iniciado sesión en tu Console de Neon para esta configuración.

​

Creación de un usuario con permisos

Conéctese a su instancia de Neon como usuario administrador y ejecute los siguientes comandos:

1. Cree un usuario dedicado para ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. Conceda acceso de solo lectura a nivel de esquema al usuario que creó en el paso anterior. El siguiente ejemplo muestra los permisos para el esquema public. Repita estos comandos para cada esquema que contenga tablas que quiera replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. Conceda privilegios de replicación al usuario:

   ALTER USER clickpipes_user WITH REPLICATION;
   

4. Cree una publicación con las tablas que quiera replicar. Recomendamos encarecidamente incluir en la publicación solo las tablas que necesite para evitar sobrecarga de rendimiento.

Cualquier tabla incluida en la publicación debe tener una clave primaria definida o tener su identidad de réplica configurada como FULL. Consulte las Preguntas frecuentes de Postgres para obtener orientación sobre el alcance.

• Para crear una publicación para tablas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • Para crear una publicación para todas las tablas de un esquema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

La publicación clickpipes contendrá el conjunto de eventos de cambio generados a partir de las tablas especificadas, y más adelante se usará para ingestar el flujo de replicación.

​

Habilitar la replicación lógica

En Neon, puedes habilitar la replicación lógica desde la UI. Esto es necesario para que el CDC de ClickPipes replique los datos. Ve a la pestaña Settings y luego a la sección Logical Replication.

Haz clic en Enable para completar este paso. Una vez habilitada, deberías ver el siguiente mensaje de confirmación.

Verifiquemos la siguiente configuración en tu instancia de Neon Postgres:

SHOW wal_level; -- debe ser logical
SHOW max_wal_senders; -- debe ser 10
SHOW max_replication_slots; -- debe ser 10

​

Inclusión de IP en listas de permitidos (para el plan Neon Enterprise)

Si tienes el plan Neon Enterprise, puedes incluir en la lista de permitidos las ClickPipes IPs para permitir la replicación desde ClickPipes hacia tu instancia de Neon Postgres. Para hacerlo, haz clic en la pestaña Settings y ve a la sección IP Allow.

​

Copiar los detalles de conexión

Ahora que ya tenemos el usuario y la publicación listos, y la replicación habilitada, podemos copiar los detalles de conexión para crear un nuevo ClickPipe. Ve al Dashboard y, en el cuadro de texto donde aparece la cadena de conexión, cambia la vista a Solo parámetros. Necesitaremos estos parámetros en el siguiente paso.

​

¿Qué sigue?

Ahora puede crear su ClickPipe y comenzar a ingestar datos desde su instancia de Postgres hacia ClickHouse Cloud. Asegúrese de anotar los detalles de conexión que utilizó al configurar su instancia de Postgres, ya que los necesitará durante el proceso de creación de ClickPipe.