このステップバイステップガイドでは、MySQL ClickPipe を使用して、Amazon Aurora MySQL から ClickHouse Cloud にデータをレプリケートするよう設定する方法を説明します。MySQL CDC (変更データキャプチャ) に関するよくある質問については、MySQL よくある質問ページ を参照してください。
バイナリログは、MySQL サーバーインスタンスに加えられたデータ変更に関する情報を含む一連のログファイルであり、レプリケーションに必要です。Aurora MySQL で binlog の保持期間を設定するには、バイナリログを有効にする と binlog の保持期間を延長する の両方を行う必要があります。
MySQL でバイナリログを有効にするには、自動バックアップ機能を有効にする必要があります。自動バックアップは、RDS Console で Modify > Additional configuration > Backup に移動し、Enable automated backups チェックボックスをオンにすることで、インスタンスに設定できます (まだ有効になっていない場合) 。
レプリケーションの用途に応じて、バックアップ保持期間 は十分に長めの値に設定することを推奨します。
ClickPipes がレプリケーションの再開を試みた際、設定された binlog の保持期間が原因で必要な binlog ファイルがすでに削除されていると、ClickPipe はエラー状態になり、再同期が必要になります。
binlog retention hours) を設定するには、mysql.rds_set_configuration プロシージャを使用します。
mysql=> call mysql.rds_set_configuration('binlog retention hours', 72);
MySQL クラスターを使用している場合、以下のパラメータは DB インスタンスグループではなく、DB cluster のパラメータグループにあります。
binlog_format を ROW に設定します。
binlog_row_metadata を FULL に設定します。
binlog_row_image を FULL に設定します。
その後、右上の Save Changes をクリックします。変更を反映するには、インスタンスの再起動が必要な場合があります。Aurora インスタンスの Configuration タブで、パラメータグループのリンクの横に Pending reboot と表示されていれば、それが目印です。
MySQL ClickPipe は、GTID モードを使用しないレプリケーションにも対応しています。ただし、パフォーマンス向上とトラブルシューティングのしやすさのため、GTID モードを有効にすることを推奨します。
- RDS Console で、MySQL インスタンスをクリックします。
- Configuration タブをクリックします。
- パラメータグループのリンクをクリックします。
- 右上の Edit ボタンをクリックします。
enforce_gtid_consistency を ON に設定します。gtid-mode を ON に設定します。- 右上の Save Changes をクリックします。
- 変更を反映するため、インスタンスを再起動します。
管理者ユーザーとして Aurora MySQL インスタンスに接続し、次のコマンドを実行します。
-
ClickPipes 専用のユーザーを作成します。
CREATE USER 'clickpipes_user'@'%' IDENTIFIED BY 'some-password';
-
スキーマに対する権限を付与します。次の例は、
mysql データベースに対する権限を示しています。レプリケーション対象の各データベースとホストについて、これらのコマンドを繰り返します。
GRANT SELECT ON `mysql`.* TO 'clickpipes_user'@'host';
-
ユーザーにレプリケーション権限を付与します。
GRANT REPLICATION CLIENT ON *.* TO 'clickpipes_user'@'%';
GRANT REPLICATION SLAVE ON *.* TO 'clickpipes_user'@'%';
Aurora MySQL インスタンスへのトラフィックを制限するには、ドキュメントに記載されている固定 NAT IP を Aurora のセキュリティグループの Inbound rules に追加します。
AWS PrivateLink 経由のプライベートアクセス
