Руководство по настройке универсального источника MongoDB

Настройка любого экземпляра MongoDB как источника для ClickPipes

Если вы используете MongoDB Atlas, обратитесь к соответствующему руководству здесь.

​

Настройте время хранения oplog

Для репликации требуется, чтобы минимальное время хранения oplog составляло 24 часа. Мы рекомендуем установить время хранения oplog на 72 часа или более, чтобы oplog не был усечён до завершения создания начального снимка.

Проверить текущее время хранения oplog можно, выполнив следующую команду в оболочке MongoDB (для выполнения этой команды у вас должна быть роль clusterMonitor):

db.getSiblingDB("admin").serverStatus().oplogTruncation.oplogMinRetentionHours

Чтобы установить время хранения oplog на 72 часа, выполните следующую команду на каждом узле набора реплик от имени пользователя с правами администратора:

db.adminCommand({
    "replSetResizeOplog" : 1,
    "minRetentionHours": 72
})

Подробнее о команде replSetResizeOplog и времени хранения oplog см. в документации MongoDB.

​

Настройка пользователя базы данных

Подключитесь к своему экземпляру MongoDB под пользователем с правами администратора и выполните следующую команду, чтобы создать пользователя для MongoDB CDC ClickPipes:

db.getSiblingDB("admin").createUser({
    user: "clickpipes_user",
    pwd: "some_secure_password",
    roles: ["readAnyDatabase", "clusterMonitor"],
})

Обязательно замените clickpipes_user и some_secure_password на выбранные вами имя пользователя и пароль.

​

Что дальше?

Теперь вы можете создать ClickPipe и начать ингестию данных из вашего экземпляра MongoDB в ClickHouse Cloud. Обязательно сохраните сведения о подключении, которые вы использовали при настройке экземпляра MongoDB, так как они понадобятся вам при создании ClickPipe.