La ingesta de datos de MySQL a ClickHouse Cloud mediante ClickPipes está en beta pública.
Requisitos previos
Fuentes de datos compatibles
| Name | Logo | Details |
|---|---|---|
| Amazon RDS MySQL Carga única, CDC | Siga la guía de configuración de Amazon RDS MySQL. | |
| Amazon Aurora MySQL Carga única, CDC | Siga la guía de configuración de Amazon Aurora MySQL. | |
| Cloud SQL for MySQL Carga única, CDC | Siga la guía de configuración de Cloud SQL for MySQL. | |
| Azure Flexible Server for MySQL Carga única | Siga la guía de configuración de Azure Flexible Server for MySQL. | |
| MySQL autoalojado Carga única, CDC | Siga la guía de configuración de Generic MySQL. | |
| Amazon RDS MariaDB Carga única, CDC | Siga la guía de configuración de Amazon RDS MariaDB. | |
| MariaDB autoalojado Carga única, CDC | Siga la guía de configuración de Generic MariaDB. |
Crea tu ClickPipe
- En la consola de ClickHouse Cloud, ve a tu servicio de ClickHouse Cloud.
- Selecciona el botón
Data Sourcesen el menú lateral izquierdo y haz clic en “Set up a ClickPipe”
- Selecciona la tarjeta
MySQL CDC
Añade la conexión de tu base de datos MySQL de origen
- Completa los datos de conexión de tu base de datos MySQL de origen que configuraste en el paso de prerrequisitos.
Antes de empezar a añadir los datos de conexión, asegúrate de haber incluido las direcciones IP de ClickPipes en la lista de permitidos de tu firewall. En la página siguiente puedes encontrar una lista de direcciones IP de ClickPipes.
Para obtener más información, consulta las guías de configuración de MySQL de origen enlazadas en la parte superior de esta página.
(Opcional) Configurar el túnel SSH
- Active el interruptor “Usar túnel SSH”.
- Complete los datos de la conexión SSH.
-
Para usar autenticación basada en claves, haga clic en “Revocar y generar par de claves” para generar un nuevo par de claves y copie la clave pública generada en su servidor SSH, en
~/.ssh/authorized_keys. - Haga clic en “Verificar conexión” para comprobar la conexión.
Asegúrese de permitir las direcciones IP de ClickPipes en las reglas de su firewall para el host bastión SSH, de modo que ClickPipes pueda establecer el túnel SSH.
Next.
Configurar opciones avanzadas
- Intervalo de sincronización: Es el intervalo con el que ClickPipes consultará la base de datos de origen en busca de cambios. Esto afecta al servicio de ClickHouse de destino; para los usuarios más sensibles a los costos, recomendamos mantenerlo en un valor alto (por encima de
3600). - Hilos en paralelo para la carga inicial: Es la cantidad de workers en paralelo que se usarán para obtener la instantánea inicial. Esto resulta útil cuando tiene una gran cantidad de tablas y quiere controlar el número de workers en paralelo utilizados para obtener la instantánea inicial. Esta opción se aplica por tabla.
- Tamaño del lote de extracción: El número de filas que se obtendrán en un solo lote. Esta es una opción de mejor esfuerzo y puede que no se respete en todos los casos.
- Número de filas por partición en la instantánea: Es el número de filas que se obtendrán en cada partición durante la instantánea inicial. Esto resulta útil cuando tiene una gran cantidad de filas en sus tablas y quiere controlar el número de filas obtenidas en cada partición.
- Número de tablas en paralelo en la instantánea: Es el número de tablas que se obtendrán en paralelo durante la instantánea inicial. Esto resulta útil cuando tiene una gran cantidad de tablas y quiere controlar el número de tablas obtenidas en paralelo.
Configura las tablas
- Aquí puedes seleccionar la base de datos de destino para tu ClickPipe. Puedes elegir una base de datos existente o crear una nueva.
- Puedes seleccionar las tablas que quieres replicar desde la base de datos MySQL de origen. Mientras las seleccionas, también puedes cambiarles el nombre en la base de datos de destino de ClickHouse, así como excluir columnas específicas.
Revisa los permisos e inicia ClickPipe
- Selecciona el rol “Full access” en el menú desplegable de permisos y haz clic en “Complete Setup”.