Saltar al contenido principal

​
Introducción

ClickPipes es una plataforma de integración gestionada que hace que la ingestión de datos desde una amplia variedad de fuentes sea tan sencilla como hacer clic en unos pocos botones. Diseñada para las cargas de trabajo más exigentes, la arquitectura robusta y escalable de ClickPipes garantiza un rendimiento y una fiabilidad constantes. ClickPipes puede utilizarse para necesidades de streaming a largo plazo o para una carga puntual de datos. ClickPipes puede implementarse y gestionarse manualmente mediante la UI de ClickPipes, así como de forma programática mediante OpenAPI y Terraform.

​
Fuentes de datos compatibles

NombreLogoTipoEstadoDescripción
Apache Kafkalogo de Apache KafkaStreamingEstableConfigure ClickPipes y comience a ingerir datos de streaming desde Apache Kafka hacia ClickHouse Cloud.
Confluent Cloudlogo de Confluent CloudStreamingEstableAproveche la potencia combinada de Confluent y ClickHouse Cloud con nuestra integración directa.
Redpandalogo de RedpandaStreamingEstableConfigure ClickPipes y comience a ingerir datos de streaming desde Redpanda hacia ClickHouse Cloud.
AWS MSKlogo de AWS MSKStreamingEstableConfigure ClickPipes y comience a ingerir datos de streaming desde AWS MSK hacia ClickHouse Cloud.
Azure Event Hubslogo de Azure Event HubsStreamingEstableConfigure ClickPipes y comience a ingerir datos de streaming desde Azure Event Hubs hacia ClickHouse Cloud. Consulte las preguntas frecuentes de Azure Event Hubs para obtener orientación.
WarpStreamlogo de WarpStreamStreamingEstableConfigure ClickPipes y comience a ingerir datos de streaming desde WarpStream hacia ClickHouse Cloud.
Amazon S3logo de Amazon S3Almacenamiento de objetosEstableConfigure ClickPipes para ingerir grandes volúmenes de datos desde el almacenamiento de objetos.
Google Cloud Storagelogo de Google Cloud StorageAlmacenamiento de objetosEstableConfigure ClickPipes para ingerir grandes volúmenes de datos desde el almacenamiento de objetos.
DigitalOcean Spaceslogo de Digital OceanAlmacenamiento de objetosEstableConfigure ClickPipes para ingerir grandes volúmenes de datos desde el almacenamiento de objetos.
Azure Blob Storagelogo de Azure Blob StorageAlmacenamiento de objetosEstableConfigure ClickPipes para ingerir grandes volúmenes de datos desde el almacenamiento de objetos.
Amazon Kinesislogo de Amazon KenesisStreamingEstableConfigure ClickPipes y comience a ingerir datos de streaming desde Amazon Kinesis hacia ClickHouse Cloud.
Postgreslogo de PostgresDBMSEstableConfigure ClickPipes y comience a ingerir datos desde Postgres hacia ClickHouse Cloud.
MySQLlogo de MySQLDBMSBeta públicaConfigure ClickPipes y comience a ingerir datos desde MySQL hacia ClickHouse Cloud.
MongoDBlogo de MongoDBDBMSVista previa privadaConfigure ClickPipes y comience a ingerir datos desde MongoDB hacia ClickHouse Cloud.
Se irán añadiendo más conectores a ClickPipes. Puede obtener más información poniéndose en contacto con nosotros.

​
Lista de IP estáticas

Las siguientes tablas enumeran las direcciones IP NAT estáticas que ClickPipes usa para conectarse a sus servicios externos. Añada a su lista de IP permitidas las IP de la región de ClickPipes que da servicio a su servicio de ClickHouse Cloud. En el caso de las pipes de almacenamiento de objetos, también debe añadir las IP del clúster de ClickHouse a su lista de IP permitidas. Los servicios de las regiones de Google Cloud que se enumeran en la tabla de Google Cloud a continuación usan esas IP de Google Cloud solo si el servicio se creó el 27 de mayo de 2026 o después. Los servicios de esas regiones creados antes del 27 de mayo de 2026 siguen usando las IP predeterminadas de región que se indican a continuación. Para otros servicios, el tráfico de ClickPipes se originará desde una región predeterminada en función de la ubicación de su servicio:
  • eu-central-1: Para todas las regiones de la UE no enumeradas explícitamente, además de las regiones de Azure en la UE y los servicios de Google Cloud creados antes del 27 de mayo de 2026.
  • eu-west-1: Para todos los servicios de AWS eu-west-1 creados el 20 de enero de 2026 o después (los servicios creados antes de esta fecha usan IP de eu-central-1).
  • us-east-1: Para todos los servicios de AWS us-east-1.
  • ap-south-1: Para los servicios de AWS ap-south-1 creados el 25 de junio de 2025 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ap-northeast-2: Para los servicios de AWS ap-northeast-2 creados el 14 de noviembre de 2025 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • af-south-1: Para los servicios de AWS af-south-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ap-east-1: Para los servicios de AWS ap-east-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ap-northeast-1: Para los servicios de AWS ap-northeast-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ap-southeast-1: Para los servicios de AWS ap-southeast-1 creados el 18 de marzo de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ap-southeast-2: Para los servicios de AWS ap-southeast-2 creados el 25 de junio de 2025 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ap-southeast-3: Para los servicios de AWS ap-southeast-3 creados el 6 de marzo de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • ca-central-1: Para los servicios de AWS ca-central-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • eu-north-1: Para los servicios de AWS eu-north-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de eu-central-1).
  • eu-west-2: Para los servicios de AWS eu-west-2 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de eu-central-1).
  • il-central-1: Para los servicios de AWS il-central-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • sa-east-1: Para los servicios de AWS sa-east-1 creados el 15 de abril de 2026 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • us-west-2: Para los servicios de AWS us-west-2 creados el 24 de junio de 2025 o después (los servicios creados antes de esta fecha usan IP de us-east-2).
  • us-east-2: Para todas las demás regiones que no coincidan con ninguna de las reglas anteriores, incluidas las regiones de Azure y los servicios de Google Cloud creados antes del 27 de mayo de 2026.

​
Direcciones IP NAT estáticas de AWS

Región de AWSDirecciones IP
eu-central-1 - Fráncfort18.195.233.217, 3.127.86.90, 35.157.23.2, 18.197.167.47, 3.122.25.29, 52.28.148.40
eu-west-1 - Irlanda (a partir del 20 ene 2026)54.228.1.92 , 54.72.101.254, 54.228.16.208, 54.76.200.104, 52.211.2.177, 54.77.10.134
us-east-1 - Norte de Virginia54.82.38.199, 3.90.133.29, 52.5.177.8, 3.227.227.145, 3.216.6.184, 54.84.202.92, 3.131.130.196, 3.23.172.68, 3.20.208.150
us-east-2 - Ohio3.131.130.196, 3.23.172.68, 3.20.208.150, 3.132.20.192, 18.119.76.110, 3.134.185.180
ap-south-1 - Mumbai (a partir del 25 jun 2025)13.203.140.189, 13.232.213.12, 13.235.145.208, 35.154.167.40, 65.0.39.245, 65.1.225.89
ap-northeast-2 - Seúl (desde el 14 de nov. de 2025)3.38.68.69, 52.78.68.128, 13.209.152.13, 3.38.24.84, 3.37.159.31, 3.34.25.104
ap-southeast-1 - Singapur (desde el 18 de marzo de 2026)13.215.65.134, 18.139.118.108, 47.130.197.47, 54.251.134.219, 54.254.98.29, 54.255.153.106
ap-southeast-2 - Sídney (a partir del 25 jun 2025)3.106.48.103, 52.62.168.142, 13.55.113.162, 3.24.61.148, 54.206.77.184, 54.79.253.17
af-south-1 - Ciudad del Cabo (a partir del 15 de abril de 2026)13.245.187.24, 15.240.60.178, 15.240.81.191, 13.245.25.101, 13.245.91.225, 15.240.54.195
ap-east-1 - Hong Kong (a partir del 15 abr 2026)18.166.168.168, 43.199.224.85, 95.40.0.242, 16.162.107.229, 43.199.125.240, 54.46.86.27
ap-northeast-1 - Tokio (desde el 15 de abril de 2026)54.168.88.92, 35.76.97.79, 54.64.100.89, 54.178.40.17, 52.195.101.208, 13.193.109.245
ap-southeast-1 - Singapur (a partir del 18 de marzo de 2026)47.130.197.47, 54.251.134.219, 18.139.118.108, 54.255.153.106, 54.254.98.29, 13.215.65.134
ap-southeast-3 - Yakarta (desde el 6 de marzo de 2026)16.78.195.195, 43.218.184.235, 16.79.88.54, 16.78.153.162, 16.79.6.125, 108.137.52.155
ca-central-1 - Canadá (a partir del 15 abr 2026)52.60.123.235, 3.97.222.98, 3.99.62.248, 15.223.61.186, 3.96.255.101, 3.97.29.96
eu-north-1 - Estocolmo (a partir del 15 de abril de 2026)13.63.1.65, 16.171.127.30, 56.228.76.44, 13.63.101.248, 16.170.124.188, 13.60.109.201
eu-west-2 - Londres (a partir del 15 abr 2026)13.134.82.158, 16.60.209.167, 18.134.221.203, 16.60.139.176, 13.43.66.75, 3.11.78.183
il-central-1 - Tel Aviv (a partir del 15 abr 2026)16.164.25.13, 51.84.162.29, 51.85.90.183, 51.84.36.146, 51.84.72.29, 51.85.28.184
sa-east-1 - São Paulo (a partir del 15 abr 2026)18.230.164.131, 56.126.1.234, 18.230.39.24, 15.229.102.116, 18.230.174.204, 18.229.237.116
us-west-2 - Oregón (a partir del 24 jun 2025)52.42.100.5, 44.242.47.162, 52.40.44.52, 44.227.206.163, 44.246.241.23, 35.83.230.19

​
Direcciones IP NAT estáticas de Google Cloud

Región de Google CloudDirecciones IP
asia-northeast1 - Tokio (a partir del 27 de mayo de 2026)104.198.114.210, 35.221.66.81, 35.243.126.127, 136.110.107.86, 34.85.18.112
asia-southeast1 - Singapur (a partir del 27 de mayo de 2026)34.21.197.28, 35.197.141.23, 35.197.157.90, 136.110.17.200, 35.185.179.231
europe-west2 - Londres (a partir del 27 de mayo de 2026)35.242.131.178, 34.39.77.101, 34.39.47.179, 34.89.53.234, 8.228.63.151
europe-west4 - Países Bajos (a partir del 27 de mayo de 2026)34.34.86.3, 34.6.175.56, 34.178.6.187, 34.91.204.220, 34.12.85.206
us-central1 - Iowa (a partir del 27 de mayo de 2026)34.28.24.54, 34.42.56.195, 34.63.141.9, 35.238.146.37, 34.10.251.49
us-east1 - Carolina del Sur (a partir del 27 de mayo de 2026)34.24.134.232, 34.24.214.165, 34.24.20.1, 35.243.193.248, 34.23.98.76

​
Ajustar los ajustes de ClickHouse

ClickHouse Cloud proporciona valores predeterminados adecuados para la mayoría de los casos de uso. Sin embargo, si necesita ajustar algunos ajustes de ClickHouse para las tablas de destino de ClickPipes, un rol dedicado para ClickPipes es la solución más flexible. Pasos:
  1. cree un rol personalizado CREATE ROLE my_clickpipes_role SETTINGS .... Consulte la sintaxis de CREATE ROLE para obtener más información.
  2. añada el rol personalizado al usuario de ClickPipes en el paso Details and Settings durante la creación de ClickPipes.

​
Ajustar la configuración avanzada de ClickPipes

ClickPipes proporciona valores predeterminados adecuados para la mayoría de los casos de uso. Si su caso de uso requiere un ajuste más preciso, puede modificar la siguiente configuración:

​
ClickPipes de almacenamiento de objetos

ConfiguraciónValor predeterminadoDescripción
Max insert bytes10 GBNúmero de bytes que se procesan en un único lote de inserción.
Max file count100Número máximo de archivos que se procesan en un único lote de inserción.
Max threadsauto(3)Número máximo de hilos concurrentes para el procesamiento de archivos.
Max insert threads1Número máximo de hilos de inserción concurrentes para el procesamiento de archivos.
Min insert block size bytes1 GBTamaño mínimo en bytes del bloque que puede insertarse en una tabla.
Max download threads4Número máximo de hilos de descarga concurrentes.
Object storage polling interval30 sConfigura el período máximo de espera antes de insertar datos en el clúster de ClickHouse.
Parallel distributed insert select2Configuración de inserción distribuida paralela para SELECT.
Parallel view processingfalseSi se habilita el envío a vistas adjuntas de forma concurrente en lugar de secuencial.
Use cluster functiontrueSi los archivos se procesan en paralelo en varios nodos.

​
ClickPipes de streaming

ConfiguraciónValor predeterminadoDescripción
Streaming max insert wait time5 sConfigura el tiempo máximo de espera antes de insertar datos en el clúster de ClickHouse.

​
Registro de errores

ClickPipes almacenará los errores en dos tablas distintas, según el tipo de error que se produzca durante el proceso de ingestión.

​
Registro de errores

ClickPipes creará una tabla junto a tu tabla de destino con el sufijo <destination_table_name>_clickpipes_error. Esta tabla contendrá cualquier error provocado por datos malformados o por un esquema incompatible, e incluirá el mensaje no válido completo. Esta tabla tiene un TTL de 7 días.

​
Errores del sistema

Los errores relacionados con el funcionamiento de ClickPipe se almacenarán en la tabla system.clickpipes_log. En ella se guardarán todos los demás errores relacionados con el funcionamiento de su ClickPipe (red, conectividad, etc.). Esta tabla tiene un TTL de 7 días. Si ClickPipes no puede conectarse a una fuente de datos después de 15 min o a un destino después de 1 h, la instancia de ClickPipes se detendrá y almacenará un mensaje correspondiente en la tabla de errores del sistema (siempre que la instancia de ClickHouse esté disponible).

​
Monitoreo

Además del monitoreo en la consola, ClickPipes expone métricas en un endpoint compatible con Prometheus para su scraping. Estas métricas se publican junto con otras métricas del servicio de ClickHouse Cloud y le permiten integrar el monitoreo de ClickPipes con su stack de observabilidad actual (por ejemplo, Grafana, Datadog). Consulte Monitoreo de ClickPipes para ver la lista completa de métricas disponibles.

​
Preguntas frecuentes

  • ¿Qué es ClickPipes? ClickPipes es una funcionalidad de ClickHouse Cloud que facilita la conexión de sus servicios de ClickHouse con fuentes de datos externas, en concreto Kafka. Con ClickPipes for Kafka, puede cargar datos de forma continua en ClickHouse y ponerlos a disposición para análisis en tiempo real.
  • ¿ClickPipes admite la transformación de datos? Sí, ClickPipes admite transformaciones básicas de datos al exponer la creación del DDL. Después, puede aplicar transformaciones más avanzadas a los datos a medida que se cargan en su tabla de destino en un servicio de ClickHouse Cloud, aprovechando la funcionalidad de vistas materializadas de ClickHouse.
  • ¿Usar ClickPipes implica un costo adicional? ClickPipes se factura en dos dimensiones: Ingested Data y Compute. Los detalles completos de los precios están disponibles en esta página. Ejecutar ClickPipes también puede generar un costo indirecto de cómputo y almacenamiento en el servicio de ClickHouse Cloud de destino, como ocurre con cualquier carga de trabajo de ingesta.
  • ¿Hay alguna forma de gestionar errores o fallos al usar ClickPipes for Kafka? Sí, ClickPipes for Kafka realizará reintentos automáticos en caso de fallos al consumir datos de Kafka debidos a cualquier problema operativo, incluidos problemas de red, de conectividad, etc. En caso de datos malformados o de un esquema no válido, ClickPipes almacenará el registro en la tabla record_error y continuará procesándolo.
Última modificación el 10 de junio de 2026