Интеграция с ClickHouse

Реплицируйте данные Postgres в ClickHouse с помощью встроенных средств CDC

Каждый экземпляр Managed Postgres имеет встроенные возможности CDC для любого из ваших сервисов ClickHouse. Это позволяет перенести часть или все данные из вашего экземпляра Postgres в ClickHouse, а изменения данных в Postgres будут непрерывно, почти в реальном времени, отражаться в ClickHouse. В основе этой возможности лежит ClickPipes.

Чтобы воспользоваться этой функцией, нажмите ClickHouse Integration на боковой панели вашего экземпляра Postgres.

Перед продолжением убедитесь, что ваш сервис Postgres доступен сервису ClickPipes. Обычно это так по умолчанию, но если вы ограничили доступ по IP, вам может потребоваться разрешить доступ для некоторых исходных IP-адресов из этого списка в зависимости от региона, где расположен ваш сервис ClickHouse.

Нажмите Replicate data in ClickHouse, чтобы начать настройку ClickPipe.

1. ​

   Настройте сервис репликации

   Заполните параметры репликации:

   • Integration name: имя этого ClickPipe
   • ClickHouse service: выберите существующий сервис ClickHouse Cloud или создайте новый
   • Postgres database: исходная база данных, из которой будет выполняться репликация
   • Replication method: выберите один из вариантов:
     • Initial load + CDC: импортировать существующие данные и поддерживать таблицы в актуальном состоянии по мере появления новых изменений (рекомендуется)
     • Initial load only: однократный снимок существующих данных без дальнейших обновлений
     • CDC only: пропустить начальный снимок и фиксировать только новые изменения в дальнейшем

   Нажмите Next, чтобы продолжить.

2. ​

   Выберите таблицы для репликации

   Выберите целевую базу данных и укажите, какие таблицы нужно реплицировать:

   • Destination database: выберите существующую базу данных ClickHouse или создайте новую
   • Prefix default destination table names with schema name: добавляет имя схемы Postgres в качестве префикса, чтобы избежать конфликтов имён
   • Preserve NULL values from source: сохраняет значения NULL вместо преобразования в значения по умолчанию
   • Remove deleted rows during merges: для таблиц ReplacingMergeTree физически удаляет помеченные как удалённые строки во время фоновых слияний

   Раскройте схемы и выберите отдельные таблицы для репликации. Вы также можете настроить имена целевых таблиц и параметры столбцов.

   Нажмите Replicate data to ClickHouse, чтобы запустить репликацию.

3. ​

   Отслеживайте ClickPipe

   После запуска ClickPipe он появится в том же меню. Создание начального снимка всех данных может занять некоторое время в зависимости от размера ваших таблиц.

   Нажмите на имя интеграции, чтобы просмотреть подробный status, отслеживать прогресс, просматривать ошибки и управлять ClickPipe. См. Lifecycle of a Postgres ClickPipe, чтобы понять, в каких состояниях может находиться ваш ClickPipe.