Resync ClickPipe для базы данных

Документация по Resync ClickPipe для базы данных

​

Что делает Resync?

Resync включает следующие операции в таком порядке:

1. Существующий ClickPipe удаляется, и запускается новый ClickPipe для ресинхронизации. Поэтому при повторной синхронизации будут учтены изменения в структурах исходных таблиц.
2. ClickPipe ресинхронизации создаёт (или заменяет) новый набор целевых таблиц с теми же именами, что и у исходных, но с суффиксом _resync.
3. Для таблиц _resync выполняется начальная загрузка.
4. Затем таблицы _resync меняются местами с исходными таблицами. Перед этим строки, помеченные как удалённые, переносятся из исходных таблиц в таблицы _resync.

Все настройки исходного ClickPipe сохраняются в ClickPipe ресинхронизации. Статистика исходного ClickPipe очищается в интерфейсе.

​

Сценарии, в которых может понадобиться ресинхронизация ClickPipe

Вот несколько таких сценариев:

1. Вам может понадобиться внести существенные изменения в схему исходных таблиц, из-за которых существующий ClickPipe перестанет работать и его придется перезапустить. После внесения изменений можно просто нажать Resync.
2. В частности, в ClickHouse вам может понадобиться изменить ключи ORDER BY в целевых таблицах. В этом случае можно выполнить Resync, чтобы заново загрузить данные в новую таблицу с правильным ключом сортировки.

Ресинхронизацию можно выполнять несколько раз, однако при этом учитывайте нагрузку на исходную базу данных.

​

Руководство по Resync ClickPipe

1. На вкладке Data Sources выберите MySQL ClickPipe, для которого нужно выполнить Resync.
2. Перейдите на вкладку Settings.
3. Нажмите кнопку Resync.

4. Появится диалоговое окно подтверждения. Нажмите Resync ещё раз.
5. Перейдите на вкладку Metrics.
6. Примерно через 5 секунд (а также после обновления страницы) статус пайпа должен быть Setup или Snapshot.
7. За начальной загрузкой повторной синхронизации можно следить на вкладке Tables в разделе Initial Load Stats.
8. Когда начальная загрузка завершится, пайп атомарно выполнит swap таблиц _resync с исходными таблицами. Во время swap статус будет Resync.
9. После завершения swap пайп перейдёт в состояние Running и будет выполнять CDC, если оно включено.