Создание первого GCS ClickPipe

Пошаговое руководство по созданию вашего первого ClickPipe для Google Cloud Storage.

GCS ClickPipe предоставляет полностью управляемый и отказоустойчивый способ приёма данных из Google Cloud Storage (GCS). Он поддерживает как однократную загрузку, так и непрерывную ингестию с семантикой «ровно один раз».

1. ​

   Выберите источник данных

   1. В ClickHouse Cloud выберите Data sources в главном навигационном меню и нажмите Create ClickPipe.

2. ​

   Настройте подключение ClickPipe

   1. Чтобы настроить новый ClickPipe, необходимо указать параметры подключения и аутентификации для вашего сервиса Объектного хранилища.

   2. Нажмите Incoming data. ClickPipes получит метаданные из вашего бакета для следующего шага.

3. ​

   Выберите формат данных

   В интерфейсе отобразится список файлов в указанном бакете. Выберите формат данных (сейчас поддерживается только часть форматов ClickHouse), а также укажите, нужно ли включить непрерывный приём. Подробнее см. в разделе “continuous ingest” на странице обзора.

4. ​

   Настройте таблицу, схему и параметры

   На следующем шаге вы можете выбрать, выполнять ли приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и параметры. Предварительный просмотр изменений в реальном времени отображается в sample-таблице в верхней части экрана.

   Вы также можете настроить дополнительные параметры с помощью доступных элементов управления

   Кроме того, вы можете выбрать приём данных в существующую таблицу ClickHouse. В этом случае интерфейс позволит сопоставить поля из источника с полями ClickHouse в выбранной целевой таблице.

   Вы также можете сопоставлять virtual columns, такие как _path или _size, с полями.

5. ​

   Настройте разрешения

   Наконец, вы можете настроить разрешения для внутреннего пользователя ClickPipes.

   Разрешения: ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Для этого внутреннего пользователя можно выбрать пользовательскую роль или одну из предопределённых ролей:

   • Full access: полный доступ к кластеру. Требуется, если вы используете materialized view или словарь с целевой таблицей.
   • Only destination table: только разрешения INSERT для целевой таблицы.
6. ​

   Завершите настройку

   Нажав “Complete Setup”, вы зарегистрируете ClickPipe, и он появится в сводной таблице.

   В сводной таблице доступны элементы управления для просмотра sample-данных из исходной или целевой таблицы в ClickHouse

   А также элементы управления для удаления ClickPipe и просмотра сводки по задаче приёма.

   Поздравляем! Вы успешно настроили свой первый ClickPipe. Если этот ClickPipe настроен для непрерывного приёма, он будет работать постоянно и выполнять приём данных в реальном времени из удалённого источника данных. В противном случае он обработает батч и завершит работу.