AlloyDB Postgres 소스 설정 가이드

AlloyDB Postgres 인스턴스를 ClickPipes 소스로 설정합니다

​

지원 버전

ClickPipes를 사용해 AlloyDB 인스턴스에서 ClickHouse Cloud로 데이터를 전송하려면, 해당 인스턴스가 논리적 복제를 사용하도록 구성되어 있어야 합니다. 이 기능은 AlloyDB Version 14부터 지원됩니다.

​

논리적 복제 활성화

AlloyDB 인스턴스에서 논리적 복제가 활성화되었는지 확인하려면 프라이머리 인스턴스에서 다음 쿼리를 실행하십시오.

SHOW  wal_level;

결과가 logical이면 논리적 복제가 이미 활성화되어 있으므로 다음 단계로 건너뛸 수 있습니다. 결과가 replica이면 프라이머리 인스턴스에서 alloydb.enable_pglogical 및 alloydb.logical_decoding 플래그를 on으로 설정해야 합니다.

AlloyDB flags documentation에 나와 있듯이, 논리적 복제를 활성화하는 플래그를 수정하려면 프라이머리 인스턴스를 다시 시작해야 합니다.

이 플래그를 활성화하려면 다음 단계를 수행하세요:

1. Google Cloud Console에서 AlloyDB Clusters 페이지로 이동합니다. 프라이머리 인스턴스의 Actions 메뉴에서 Edit를 클릭합니다.

2. 아래로 스크롤하여 Advanced configuration options 섹션을 펼칩니다. Flags 아래에서 Add a database flag를 클릭합니다.

   • allowdb.enable_pglogical 플래그를 추가하고 값을 on으로 설정합니다
   • alloydb.logical_decoding 플래그를 추가하고 값을 on으로 설정합니다

3. Update instance를 클릭하여 구성 변경 사항을 저장합니다. 이 작업을 수행하면 프라이머리 인스턴스가 다시 시작된다는 점에 유의해야 합니다.

4. 인스턴스 상태가 Updating에서 Ready로 변경되면 프라이머리 인스턴스에서 다음 쿼리를 실행하여 논리적 복제가 활성화되었는지 확인합니다:

   SHOW  wal_level;
   

   결과는 logical이어야 합니다.

​

ClickPipes 사용자를 생성하고 복제 권한 관리하기

관리자 사용자로 AlloyDB 인스턴스에 연결한 다음, 다음 명령을 실행합니다.

1. ClickPipes 전용 사용자를 생성합니다.

   CREATE USER clickpipes_user PASSWORD 'some-password';
   

2. 이전 단계에서 생성한 사용자에게 스키마(schema) 수준의 읽기 전용 권한을 부여합니다. 다음 예시는 public 스키마에 대한 권한을 보여줍니다. 복제할 테이블이 포함된 각 스키마에 대해 이 명령을 반복하십시오.

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
   

3. 사용자에게 복제 권한을 부여합니다.

   ALTER USER clickpipes_user WITH REPLICATION;
   

4. 복제할 테이블을 포함하는 publication을 생성합니다. 성능 오버헤드를 피하려면 publication에는 필요한 테이블만 포함할 것을 강력히 권장합니다.

publication에 포함된 모든 테이블에는 **기본 키(primary key)**가 정의되어 있거나 replica identity가 FULL로 설정되어 있어야 합니다. 범위를 어떻게 지정할지에 대한 자세한 내용은 Postgres FAQ를 참조하십시오.

• 특정 테이블에 대한 publication을 생성하려면:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;
  

  • 특정 스키마의 모든 테이블에 대한 publication을 생성하려면:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";
    

clickpipes publication에는 지정한 테이블에서 생성된 변경 이벤트 집합이 포함되며, 이후 복제 스트림을 수집하는 데 사용됩니다.

​

네트워크 액세스 구성

ClickPipes는 Private Service Connect (PSC) 연결을 지원하지 않습니다. AlloyDB 인스턴스에 대한 공개 액세스를 허용하지 않는 경우, SSH 터널을 사용하여 안전하게 연결할 수 있습니다. PSC는 향후 지원될 예정입니다.

다음으로, ClickPipes에서 AlloyDB 인스턴스로 연결할 수 있도록 허용해야 합니다.

ClickPipes IP 허용

1. Google Cloud Console에서 AlloyDB Clusters 페이지로 이동합니다. 프라이머리 인스턴스를 선택하여 Overview 페이지를 엽니다.

2. 아래로 스크롤하여 Instances in your cluster 섹션으로 이동한 다음 Edit primary를 클릭합니다.

3. Enable Public IP 확인란을 선택하여 공용 인터넷을 통해 인스턴스에 연결할 수 있도록 합니다. Authorized external networks 아래에 서비스가 배포된 리전에 해당하는 ClickPipes 정적 IP 주소 목록을 입력합니다.

AlloyDB는 주소를 CIDR 표기법으로 지정해야 합니다. 제공된 ClickPipes 정적 IP 주소 목록의 각 주소 끝에 /32를 추가하면 이 표기법에 맞출 수 있습니다.

4. Network Security에서 **Require SSL Encryption (default)**를 선택합니다(아직 선택되지 않은 경우).

5. 네트워크 보안 구성 변경 사항을 저장하려면 Update instance를 클릭합니다.

SSH 터널 사용

AlloyDB 인스턴스에 대한 공개 액세스를 허용하지 않는 경우, 먼저 SSH 배스천 호스트를 설정하여 연결을 안전하게 터널링해야 합니다. Google Cloud Platform에서 SSH 배스천 호스트를 설정하려면 다음 단계를 수행하십시오.

1. 공식 문서에 따라 Google Compute Engine (GCE) 인스턴스를 생성하고 시작합니다.

   • GCE 인스턴스가 AlloyDB 인스턴스와 동일한 Virtual Private Network (VPC)에 있는지 확인합니다.
   • GCE 인스턴스에 고정 공용 IP 주소가 있는지 확인합니다. 이 IP 주소는 ClickPipes를 SSH 배스천 호스트에 연결할 때 사용합니다.

2. 서비스가 배포된 리전에 해당하는 ClickPipes 정적 IP 주소 목록에서 들어오는 트래픽을 허용하도록 SSH 배스천 호스트의 방화벽 규칙을 업데이트합니다.

3. SSH 배스천 호스트에서 들어오는 트래픽을 허용하도록 AlloyDB의 방화벽 규칙을 업데이트합니다.

​

다음 단계

이제 ClickPipe를 생성하고 Postgres 인스턴스에서 ClickHouse Cloud로 데이터를 수집하기 시작할 수 있습니다. ClickPipe 생성 과정에서 필요하므로 Postgres 인스턴스를 설정할 때 사용한 연결 정보를 반드시 기록해 두십시오.