Управление синхронизацией MySQL ClickPipe
Документация по управлению синхронизацией в MySQL ClickPipe
В этом документе описано, как управлять синхронизацией ClickPipe для MySQL, когда ClickPipe находится в режиме CDC (Running).
Архитектура ClickPipes для баз данных состоит из двух параллельных процессов: получения данных из исходной базы данных и отправки данных в целевую базу данных. Процесс получения управляется конфигурацией синхронизации, которая определяет, как часто нужно получать данные и какой объем данных нужно получать за один раз. Под «за один раз» имеется в виду один батч, поскольку ClickPipe получает и отправляет данные батчами.
Существует два основных способа управлять синхронизацией MySQL ClickPipe. ClickPipe начнет отправлять данные, когда сработает один из указанных ниже параметров.
Интервал синхронизации пайпа — это промежуток времени (в секундах), в течение которого ClickPipe получает записи из базы данных-источника. Время, необходимое для отправки уже полученных данных в ClickHouse, в этот интервал не входит.
Значение по умолчанию — 1 минута.
Интервал синхронизации можно задать любым положительным целым числом, но рекомендуется устанавливать его не менее 10 секунд.
Размер батча при извлечении — это количество записей, которое ClickPipe извлекает из исходной базы данных за один батч. Под записями здесь имеются в виду вставки, обновления и удаления в таблицах, входящих в этот пайп.
По умолчанию используется 100 000 записей.
Безопасный максимум — 10 миллионов.
Когда в исходной базе данных запускается транзакция, ClickPipe ждёт, пока не получит её COMMIT, прежде чем продолжить работу. Это имеет приоритет над и интервалом синхронизации, и размером батча при извлечении.
Вы можете задать интервал синхронизации и размер батча при извлечении при создании ClickPipe или редактировании существующего.
При создании ClickPipe эти параметры отображаются на втором шаге мастера, как показано ниже:
При редактировании существующего ClickPipe перейдите на вкладку Settings этого пайпа, приостановите его, а затем нажмите Configure:
Откроется выдвижная панель с параметрами синхронизации, где можно изменить интервал синхронизации и размер батча при извлечении:
В таблице CDC Syncs на вкладке Metrics в ClickPipe можно увидеть, сколько времени занимает каждый батч. Обратите внимание, что длительность здесь включает время отправки, а также время ожидания: если новые строки не поступают, ClickPipe ждёт, и это время тоже входит в длительность.
Последнее изменение 10 июня 2026 г.