Руководство по настройке Aurora Postgres в качестве источника

Настройка Amazon Aurora Postgres в качестве источника для ClickPipes

​

Поддерживаемые версии Postgres

ClickPipes поддерживает Aurora PostgreSQL-Compatible Edition версии 12 и выше.

​

Включите логическую репликацию

Этот раздел можно пропустить, если для вашего экземпляра Aurora уже настроен следующий параметр:

• rds.logical_replication = 1

Этот параметр обычно уже включён, если вы ранее использовали другой инструмент для репликации данных.

postgres=> SHOW rds.logical_replication ;
 rds.logical_replication
-------------------------
 on
(1 row)

Если это ещё не настроено, выполните следующие действия:

1. Создайте новую группу параметров для вашей версии Aurora PostgreSQL с нужной настройкой:
   • Установите rds.logical_replication в значение 1

2. Примените новую группу параметров к кластеру Aurora PostgreSQL

3. Перезагрузите кластер Aurora, чтобы применить изменения

​

Настройте пользователя базы данных

Подключитесь к своему экземпляру Aurora PostgreSQL writer от имени администратора и выполните следующие команды:

1. Создайте отдельного пользователя для ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. Предоставьте пользователю, созданному на предыдущем шаге, доступ к схеме в режиме только для чтения. В следующем примере показаны разрешения для схемы public. Повторите эти команды для каждой схемы, содержащей таблицы, которые вы хотите реплицировать:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. Предоставьте пользователю права на репликацию:

   GRANT rds_replication TO clickpipes_user;
   

4. Создайте публикацию с таблицами, которые вы хотите реплицировать. Мы настоятельно рекомендуем включать в публикацию только нужные таблицы, чтобы избежать лишней нагрузки на производительность.

Любая таблица, включённая в публикацию, должна либо иметь определённый первичный ключ, либо иметь параметр replica identity, установленный в FULL. Рекомендации по определению состава публикации см. в FAQ по Postgres.

• Чтобы создать публикацию для определённых таблиц:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • Чтобы создать публикацию для всех таблиц в определённой схеме:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

Публикация clickpipes будет содержать набор событий изменений, сгенерированных указанными таблицами, и впоследствии будет использоваться для приёма потока репликации.

​

Настройка сетевого доступа

​

Управление доступом на основе IP

Если вы хотите ограничить трафик к своему кластеру Aurora, добавьте задокументированные статические NAT IP-адреса в правила входящего трафика (Inbound rules) вашей группы безопасности Aurora.

​

Приватный доступ через AWS PrivateLink

Чтобы подключиться к кластеру Aurora через частную сеть, можно использовать AWS PrivateLink. Чтобы настроить подключение, следуйте нашему руководству по настройке AWS PrivateLink для ClickPipes.

​

Особенности Aurora

При настройке ClickPipes с Aurora PostgreSQL учитывайте следующие особенности:

1. Конечная точка подключения: Всегда подключайтесь к конечной точке записи (writer endpoint) вашего кластера Aurora, так как логическая репликация требует доступа на запись для создания слотов репликации и должна подключаться к основному экземпляру.

2. Обработка переключения при сбое: В случае failover Aurora автоматически повысит reader до нового writer. ClickPipes обнаружит разрыв connection и попытается повторно подключиться к writer endpoint, который теперь будет указывать на новый основной экземпляр.

3. Global Database: Если вы используете Aurora Global Database, следует подключаться к writer endpoint основного региона, так как межрегиональная репликация уже обеспечивает перемещение данных между регионами.

4. Особенности хранения: В Aurora уровень хранения является общим для всех экземпляров в кластере, что может обеспечивать более высокую производительность логической репликации по сравнению со стандартным RDS.

​

Работа с динамическими конечными точками кластера

Хотя Aurora предоставляет стабильные конечные точки, которые автоматически направляют трафик на соответствующий экземпляр, есть и другие способы обеспечить стабильное подключение:

1. В конфигурациях с высокой доступностью настройте приложение на использование конечной точки записи Aurora, которая автоматически указывает на текущий основной экземпляр.

2. Если вы используете межрегиональную репликацию, рассмотрите возможность настройки отдельных ClickPipes для каждого региона, чтобы снизить задержку и повысить отказоустойчивость.

​

Что дальше?

Теперь вы можете создать свой ClickPipe и начать приём данных из вашего кластера Aurora PostgreSQL в ClickHouse Cloud. Обязательно сохраните сведения о подключении, которые вы использовали при настройке кластера Aurora PostgreSQL, так как они понадобятся вам при создании ClickPipe.