Resync ClickPipe для базы данных

Документация по Resync ClickPipe для базы данных

​

Что делает Resync?

Resync включает следующие операции в указанном порядке:

1. Существующий ClickPipe удаляется, и запускается новый ClickPipe для Resync. Поэтому при повторной синхронизации будут учтены изменения в структуре исходных таблиц.
2. ClickPipe для Resync создаёт (или заменяет) новый набор целевых таблиц с теми же именами, что и у исходных таблиц, но с суффиксом _resync.
3. Для таблиц _resync выполняется начальная загрузка.
4. Затем таблицы _resync меняются местами с исходными таблицами. Перед этой заменой строки, помеченные как удалённые, переносятся из исходных таблиц в таблицы _resync.

Все настройки исходного ClickPipe сохраняются в ClickPipe для Resync. Статистика исходного ClickPipe в интерфейсе сбрасывается.

​

Сценарии использования Resync для ClickPipe

Вот несколько сценариев:

1. Вам может потребоваться внести значительные изменения в схему исходных таблиц, из-за которых существующий ClickPipe перестанет работать и его придется перезапустить. После внесения изменений можно просто нажать Resync.
2. В частности, в ClickHouse вам может понадобиться изменить ключи ORDER BY в целевых таблицах. В этом случае можно выполнить Resync, чтобы заново загрузить данные в новую таблицу с правильным ключом сортировки.
3. Если слот репликации ClickPipe стал недействительным, Resync создаст новый ClickPipe и новый слот в исходной базе данных.

Вы можете выполнять Resync несколько раз, однако учитывайте нагрузку на исходную базу данных, поскольку каждый раз выполняется начальная загрузка с параллельными потоками.

​

Руководство по Resync ClickPipe

1. На вкладке «Источники данных» выберите ClickPipe для Postgres, для которого хотите выполнить Resync.
2. Перейдите на вкладку Настройки.
3. Нажмите кнопку Resync.

4. Появится диалоговое окно подтверждения. Нажмите Resync ещё раз.
5. Перейдите на вкладку Метрики.
6. Примерно через 5 секунд (а также после обновления страницы) статус пайпа должен быть Setup или Snapshot.
7. За начальной загрузкой при Resync можно следить на вкладке Таблицы — в разделе Статистика начальной загрузки.
8. После завершения начальной загрузки пайп атомарно поменяет местами таблицы _resync с исходными таблицами. Во время этого процесса статус будет Resync.
9. После завершения замены пайп перейдёт в состояние Running и будет выполнять CDC, если он включён.