Создание первого BigQuery ClickPipe

Пошаговое руководство по созданию первого BigQuery ClickPipe.

Вы можете записаться в список ожидания закрытой предварительной версии здесь.

BigQuery ClickPipe предоставляет полностью управляемый и отказоустойчивый способ приёма данных из BigQuery в ClickHouse Cloud. В закрытой предварительной версии поддерживается метод репликации первоначальной загрузки, который позволяет массово загружать наборы данных BigQuery для анализа и прототипирования. Поддержка CDC появится в будущем — а пока мы рекомендуем использовать Google Cloud Storage ClickPipe, чтобы после завершения первоначальной загрузки непрерывно синхронизировать экспортированные из BigQuery данные с ClickHouse Cloud.

BigQuery ClickPipes можно вручную развёртывать и настраивать через интерфейс ClickPipes, а также программно с помощью OpenAPI и Terraform.

​

Предварительные требования

• У вас должны быть права на управление сервисными аккаунтами и ролями IAM в вашем проекте GCP, либо вам потребуется помощь администратора. Мы рекомендуем создать отдельный сервисный аккаунт с минимально необходимым набором разрешений, следуя официальной документации.

• Для процесса первоначальной загрузки требуется бакет Google Cloud Storage (GCS), предоставляемый пользователем, в качестве промежуточного хранилища. Мы рекомендуем создать отдельный бакет для вашего ClickPipe, следуя официальной документации. В будущем промежуточный бакет будет предоставляться и управляться ClickPipes.

1. ​

   Выберите источник данных

   1. В ClickHouse Cloud выберите Data sources в главном меню навигации и нажмите Create ClickPipe.

   2. Нажмите на плитку BigQuery.

2. ​

   Настройте подключение ClickPipe

   Чтобы настроить новый ClickPipe, необходимо указать параметры подключения и аутентификации для вашего хранилища данных BigQuery, а также GCS-бакет для промежуточного хранилища.

   1. Загрузите ключ .json для сервисного аккаунта, который вы создали для ClickPipes. Убедитесь, что у сервисного аккаунта есть минимально необходимый набор разрешений.

   2. Выберите Replication method. В закрытой предварительной версии поддерживается только вариант Initial load only.

   3. Укажите путь к GCS-бакету для промежуточного хранения данных во время первоначальной загрузки.

   4. Нажмите Next, чтобы выполнить проверку.

3. ​

   Настройте ClickPipe

   В зависимости от размера вашего набора данных BigQuery или общего объёма таблиц, которые вы хотите синхронизировать, может потребоваться изменить стандартные настройки ингестии для ClickPipe.

4. ​

   Настройте таблицы

   1. Выберите базу данных ClickHouse, в которую нужно реплицировать таблицы BigQuery. Вы можете выбрать существующую базу данных или создать новую.

   2. Выберите таблицы и, при необходимости, столбцы, которые вы хотите реплицировать. В списке будут показаны только те наборы данных, к которым у указанного сервисного аккаунта есть доступ.

   3. Для каждой выбранной таблицы обязательно задайте пользовательский ключ сортировки в разделе Advanced settings > Use a custom sorting key. В будущем ключ сортировки будет автоматически определяться на основе существующих ключей кластеризации или ключей партиционирования в исходной базе данных.

   Для реплицируемых таблиц вы должны определить ключ сортировки, чтобы оптимизировать производительность запросов в ClickHouse. В противном случае в качестве ключа сортировки будет установлено tuple(), а это означает, что первичный индекс создан не будет и ClickHouse будет выполнять полное сканирование таблицы для всех запросов к ней.

5. ​

   Настройте разрешения

   Наконец, вы можете настроить разрешения для внутреннего пользователя ClickPipes.

   Permissions: ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Вы можете назначить этому внутреннему пользователю пользовательскую роль или одну из предопределённых ролей:

   • Full access: полный доступ к кластеру. Требуется, если вы используете materialized view или словарь с целевой таблицей.
   • Only destination: разрешения на вставку только в целевую таблицу.
6. ​

   Завершите настройку

   Нажмите Create ClickPipe, чтобы завершить настройку. Вы будете перенаправлены на страницу обзора, где сможете отслеживать ход первоначальной загрузки и перейти к подробной информации о ваших ClickPipes для BigQuery.