Управление синхронизацией MongoDB ClickPipe
Документация по управлению синхронизацией MongoDB ClickPipe
В этом документе описано, как управлять синхронизацией ClickPipe для MongoDB, когда ClickPipe находится в режиме CDC (Running).
ClickPipes для баз данных имеют архитектуру, состоящую из двух параллельных процессов — получения данных из исходной базы данных и отправки их в целевую базу данных. Процесс получения управляется конфигурацией синхронизации, которая определяет, как часто нужно забирать данные и какой объем данных забирать за один раз. Под «за один раз» здесь имеется в виду один батч, поскольку ClickPipe получает и отправляет данные батчами.
Синхронизацией MongoDB ClickPipe можно управлять двумя основными способами. ClickPipe начнет отправлять данные, когда сработает один из указанных ниже параметров.
Интервал синхронизации пайпа — это промежуток времени (в секундах), в течение которого ClickPipe будет получать записи из базы данных-источника. Время, необходимое для отправки полученных данных в ClickHouse, в этот интервал не входит.
По умолчанию используется значение 1 минута.
Интервал синхронизации можно задать любым положительным целым числом, но рекомендуется устанавливать значение больше 10 секунд.
Размер pull-батча — это количество записей, которое ClickPipe забирает из исходной базы данных за один батч. Под записями здесь имеются в виду операции вставки, обновления и удаления, выполняемые в коллекциях, входящих в пайп.
По умолчанию используется 100,000 записей.
Безопасный максимум — 10 миллионов.
Вы можете задать интервал синхронизации и размер pull-батча при создании ClickPipe или изменить эти параметры в уже существующем.
При создании ClickPipe эти параметры отображаются на втором шаге мастера создания, как показано ниже:
Чтобы изменить параметры существующего ClickPipe, перейдите на вкладку Settings этого пайпа, приостановите пайп, а затем нажмите Configure здесь:
Откроется выдвижная панель с параметрами синхронизации, где можно изменить интервал синхронизации и размер pull-батча:
В таблице CDC Syncs на вкладке Metrics в ClickPipe можно увидеть, сколько времени занимает каждый батч. Обратите внимание: в эту продолжительность входит время отправки, а также время ожидания ClickPipe, если новые строки не поступают.
Последнее изменение 10 июня 2026 г.