Ресинхронизация ClickPipe для базы данных

Документация по ресинхронизации ClickPipe для базы данных

​

Что делает Resync?

Resync выполняет следующие операции в таком порядке:

1. Существующий ClickPipe удаляется, и запускается новый ClickPipe для resync. Благодаря этому при повторной синхронизации учитываются изменения в структуре исходных таблиц.
2. ClickPipe для resync создает (или заменяет) новый набор целевых таблиц с теми же именами, что и у исходных таблиц, но с суффиксом _resync.
3. Для таблиц _resync выполняется начальная загрузка.
4. Затем таблицы _resync меняются местами с исходными таблицами. Перед заменой строки, помеченные как удаленные, переносятся из исходных таблиц в таблицы _resync.

Все настройки исходного ClickPipe сохраняются в ClickPipe для resync. В интерфейсе статистика исходного ClickPipe очищается.

​

Сценарии, в которых может потребоваться повторная синхронизация ClickPipe

Вот несколько примеров:

1. Может потребоваться внести существенные изменения в схему исходных таблиц, из-за которых существующий ClickPipe перестанет работать и его придется перезапустить. После внесения таких изменений достаточно нажать Resync.
2. В частности, в ClickHouse может возникнуть необходимость изменить ключи ORDER BY в целевых таблицах. В этом случае можно выполнить Resync, чтобы заново загрузить данные в новую таблицу с правильным ключом сортировки.

​

Руководство по ресинхронизации ClickPipe

1. На вкладке «Источники данных» выберите MongoDB ClickPipe, который нужно ресинхронизировать.
2. Перейдите на вкладку Настройки.
3. Нажмите кнопку Resync.

4. Появится диалоговое окно подтверждения. Нажмите Resync ещё раз.
5. Перейдите на вкладку Метрики.
6. Дождитесь, пока статус пайпа не станет Setup или Snapshot.
7. Ход начальной загрузки при ресинхронизации можно отслеживать на вкладке Таблицы в разделе Статистика начальной загрузки.
8. После завершения начальной загрузки пайп атомарно поменяет местами таблицы _resync и исходные таблицы. Во время переключения статус будет Resync.
9. После завершения переключения пайп перейдёт в состояние Running и будет выполнять CDC, если он включён.