Crear tu primer ClickPipe de GCS

Guía paso a paso para crear tu primer ClickPipe de Google Cloud Storage.

ClickPipe de GCS ofrece una forma totalmente gestionada y resiliente de ingestar datos desde Google Cloud Storage (GCS). Admite tanto la ingestión de una sola vez como la ingestión continua, con semántica exactly-once.

1. ​

   Seleccione el origen de datos

   1. En ClickHouse Cloud, seleccione Data sources en el menú principal de navegación y haga clic en Create ClickPipe.

2. ​

   Configure la conexión de su ClickPipe

   1. Para configurar un nuevo ClickPipe, debe indicar cómo conectarse a su servicio de almacenamiento de objetos y autenticarse en él.

   2. Haga clic en Incoming data. ClickPipes obtendrá los metadatos de su bucket para el siguiente paso.

3. ​

   Seleccione el formato de los datos

   La UI mostrará una lista de archivos en el bucket especificado. Seleccione el formato de los datos (actualmente admitimos un subconjunto de los formatos de ClickHouse) y si desea habilitar la ingestión continua. Consulte la sección “continuous ingest” en la página de descripción general para obtener más información.

4. ​

   Configure la tabla, el esquema y la configuración

   En el siguiente paso, puede elegir si desea ingestar datos en una tabla nueva de ClickHouse o reutilizar una existente. Siga las instrucciones que aparecen en pantalla para modificar el nombre de la tabla, el esquema y la configuración. Puede ver una vista previa en tiempo real de sus cambios en la tabla de muestra de la parte superior.

   También puede personalizar la configuración avanzada con los controles proporcionados

   Como alternativa, puede optar por ingestar los datos en una tabla existente de ClickHouse. En ese caso, la UI le permitirá asignar campos del origen a los campos de ClickHouse en la tabla de destino seleccionada.

   También puede asignar columnas virtuales, como _path o _size, a campos.

5. ​

   Configure los permisos

   Por último, puede configurar los permisos para el usuario interno de ClickPipes.

   Permisos: ClickPipes creará un usuario dedicado para escribir datos en una tabla de destino. Puede seleccionar un rol para este usuario interno usando un rol personalizado o uno de los roles predefinidos:

   • Full access: con acceso completo al clúster. Es obligatorio si usa una vista materializada o un Diccionario con la tabla de destino.
   • Only destination table: solo con permisos INSERT sobre la tabla de destino.
6. ​

   Complete la configuración

   Al hacer clic en “Complete Setup”, el sistema registrará su ClickPipe y podrá verlo en la tabla de resumen.

   La tabla de resumen ofrece controles para mostrar datos de muestra del origen o de la tabla de destino en ClickHouse

   Así como controles para eliminar el ClickPipe y mostrar un resumen del job de ingestión.

   ¡Enhorabuena! Ha configurado correctamente su primer ClickPipe. Si este es un ClickPipe configurado para ingestión continua, se ejecutará de forma continua e ingestará datos en tiempo real desde su origen de datos remoto. De lo contrario, ingestará el lote y finalizará.