Managed ClickStack 시작하기

Managed ClickStack 시작하기

가장 쉽게 시작하는 방법은 ClickHouse Cloud에 Managed ClickStack을 배포하는 것입니다. 이렇게 하면 완전 관리형의 안전한 백엔드를 제공받으면서도 수집, 스키마(schema), 관측성 워크플로에 대한 완전한 제어를 유지할 수 있습니다. 따라서 ClickHouse를 직접 운영할 필요가 없으며, 다음과 같은 다양한 이점을 제공합니다:

• 스토리지와 독립적으로 컴퓨트를 자동 스케일링
• 객체 스토리지를 기반으로 한 저비용의 사실상 무제한 보존
• warehouses를 사용하여 읽기 및 쓰기 워크로드를 독립적으로 격리할 수 있는 기능
• 통합 인증
• 자동화된 백업
• 보안 및 컴플라이언스 기능
• 원활한 업그레이드

1. ​

   ClickHouse Cloud 가입

   ClickHouse Cloud에서 Managed ClickStack 서비스를 생성하려면 먼저 ClickHouse Cloud 빠른 시작 가이드의 첫 번째 단계를 완료하십시오.

   Scale vs Enterprise

   대부분의 ClickStack 워크로드에는 이 Scale tier를 권장합니다. SAML, CMEK 또는 HIPAA 컴플라이언스와 같은 고급 보안 기능이 필요한 경우 Enterprise tier를 선택하십시오. 또한 매우 큰 ClickStack 배포를 위한 사용자 지정 하드웨어 프로필도 제공합니다. 이러한 경우에는 지원팀에 문의하는 것이 좋습니다.

   Cloud provider와 리전을 선택하십시오.

   

   선택할 CPU와 메모리를 지정할 때는 예상되는 ClickStack 수집 처리량을 기준으로 산정하십시오. 아래 표는 이러한 리소스 크기를 정하는 데 참고할 수 있는 지침을 제공합니다.

   Monthly ingest volume	Recommended compute
   월 10 TB 미만	2 vCPU × 3 레플리카
   월 10–50 TB	4 vCPU × 3 레플리카
   월 50–100 TB	8 vCPU × 3 레플리카
   월 100–500 TB	30 vCPU × 3 레플리카
   월 1 PB 이상	59 vCPU × 3 레플리카

   이 권장값은 다음 가정을 바탕으로 합니다:

   • 데이터 볼륨은 월별 비압축 수집량을 의미하며, 로그와 트레이스 모두에 적용됩니다.
   • 쿼리 패턴은 일반적인 관측성 사용 사례를 기준으로 하며, 대부분의 쿼리는 보통 지난 24시간과 같은 최근 데이터를 대상으로 합니다.
   • 수집은 한 달 동안 비교적 균일하게 이루어진다고 가정합니다. 트래픽 급증이나 스파이크가 예상된다면 추가 여유 용량을 프로비저닝해야 합니다.
   • 스토리지는 ClickHouse Cloud 객체 스토리지를 통해 별도로 처리되며, 보존 기간의 제한 요인이 되지 않습니다. 장기간 보존된 데이터는 자주 액세스되지 않는다고 가정합니다.

   더 긴 시간 범위를 정기적으로 쿼리하거나, 무거운 집계를 수행하거나, 많은 수의 동시 사용자를 지원하는 액세스 패턴에서는 더 많은 컴퓨트가 필요할 수 있습니다.

   주어진 수집 처리량에 대해 CPU와 메모리 요구 사항은 2개의 레플리카로도 충족할 수 있지만, 가능한 경우 동일한 총 용량을 확보하고 서비스 이중화를 개선하기 위해 3개의 레플리카 사용을 권장합니다.

   이 값들은 추정치일 뿐이며 초기 기준점으로 사용해야 합니다. 실제 요구 사항은 쿼리 복잡도, 동시성, 보존 정책, 수집 처리량의 변동성에 따라 달라집니다. 항상 리소스 사용량을 모니터링하고 필요에 따라 확장하십시오.

   요구 사항을 지정하면 Managed ClickStack 서비스가 프로비저닝되는 데 몇 분 정도 걸립니다. 프로비저닝이 완료될 때까지 기다리는 동안 ClickHouse Cloud 콘솔의 다른 기능도 살펴보십시오.

   프로비저닝이 완료되면 왼쪽 메뉴의 ‘ClickStack’ 옵션이 활성화됩니다.

2. ​

   수집 설정

   서비스 프로비저닝이 완료되면 해당 서비스가 선택되어 있는지 확인한 다음, 왼쪽 메뉴에서 “ClickStack”을 클릭하십시오.

   

   “Start Ingestion”을 선택하면 수집 소스를 선택하라는 안내가 표시됩니다. Managed ClickStack는 주요 수집 소스로 OpenTelemetry와 Vector를 지원합니다. 또한 사용자는 ClickHouse Cloud support integrations을 사용해 자체 스키마로 데이터를 ClickHouse에 직접 전송할 수도 있습니다.

   

   OpenTelemetry 권장

   수집 포맷으로는 OpenTelemetry 사용을 강력히 권장합니다. OpenTelemetry는 ClickStack에서 효율적으로 작동하도록 특별히 설계된 기본 제공 스키마를 제공하므로, 가장 간단하면서도 최적화된 사용 경험을 제공합니다.

   OpenTelemetry

   Managed ClickStack로 OpenTelemetry 데이터를 보내려면 OpenTelemetry Collector를 사용하는 것이 좋습니다. collector는 애플리케이션(및 다른 collector)으로부터 OpenTelemetry 데이터를 수신하는 게이트웨이 역할을 하며, 이를 ClickHouse Cloud로 전달합니다.

   아직 실행 중인 collector가 없다면 아래 단계에 따라 시작하세요. 기존 collector가 있다면 구성 예시도 함께 제공됩니다.

   ​

   collector 시작

   다음 내용은 ClickStack 배포판의 OpenTelemetry Collector를 사용하는 권장 방식을 기준으로 합니다. 이 배포판에는 추가 처리 기능이 포함되어 있으며 ClickHouse Cloud에 맞게 특별히 최적화되어 있습니다. 자체 OpenTelemetry Collector를 사용하려면 “기존 collector 구성”을 참조하세요.

   빠르게 시작하려면 아래에 표시된 Docker 명령을 복사해 실행하세요.

   

   이 명령에는 연결 자격 증명이 미리 채워져 있습니다.

   프로덕션 배포

   이 명령은 Managed ClickStack에 연결할 때 default 사용자를 사용하지만, 프로덕션으로 전환하고 구성을 변경할 때는 전용 사용자를 생성해야 합니다.

   이 명령 하나로 4317(gRPC) 및 4318(HTTP) 포트에서 OTLP 엔드포인트가 노출된 ClickStack collector가 시작됩니다. 이미 OpenTelemetry 계측과 agent를 사용하고 있다면 즉시 이 엔드포인트로 텔레메트리 데이터를 보내기 시작할 수 있습니다.

   ​

   기존 collector 구성

   기존 OpenTelemetry Collector를 직접 구성하거나 자체 collector 배포판을 사용하는 것도 가능합니다.

   ClickHouse exporter 필요

   예를 들어 contrib image와 같은 자체 배포판을 사용하는 경우, ClickHouse exporter가 포함되어 있는지 확인하세요.

   이를 위해 적절한 설정으로 ClickHouse exporter를 사용하고 OTLP 수신기를 노출하는 OpenTelemetry Collector 구성 예시가 제공됩니다. 이 구성은 ClickStack 배포판이 기대하는 인터페이스와 동작에 맞춰져 있습니다.

   

   OpenTelemetry collector 구성에 대한 자세한 내용은 “OpenTelemetry로 수집하기”를 참조하세요.

   ​

   수집 시작(선택 사항)

   OpenTelemetry로 계측할 기존 애플리케이션이나 인프라가 있다면 UI에서 연결된 관련 가이드로 이동하세요.

   애플리케이션을 계측해 trace와 로그를 수집하려면 지원되는 언어 SDK를 사용하세요. 이 SDK는 Managed ClickStack으로 수집하기 위한 게이트웨이 역할을 하는 OpenTelemetry Collector로 데이터를 전송합니다.

   로그는 agent 모드로 실행되는 OpenTelemetry Collector를 사용해 수집할 수 있으며, 동일한 collector로 데이터를 전달합니다. Kubernetes 모니터링은 전용 가이드를 따르세요. 다른 통합은 quickstart 가이드를 참조하세요.

   ​

   데모 데이터

   또는 기존 데이터가 없다면 샘플 데이터셋 중 하나를 사용해 보세요.

   • 예시 데이터셋 - 공개 데모의 예시 데이터셋을 로드합니다. 간단한 문제를 진단해 보세요.
   • 로컬 파일 및 메트릭 - 로컬 OTel collector를 사용해 로컬 파일을 로드하고 OSX 또는 Linux에서 시스템을 모니터링합니다.

   
   

   벡터

   Vector는 고성능의 벤더 중립적 관측성 데이터 파이프라인으로, 특히 유연성과 적은 리소스 사용량 덕분에 로그 수집에 널리 사용됩니다.

   ClickStack와 함께 Vector를 사용할 때는 사용자가 직접 스키마를 정의해야 합니다. 이러한 스키마는 OpenTelemetry 규약을 따를 수도 있지만, 사용자 정의 이벤트 구조를 나타내는 완전히 맞춤형 스키마일 수도 있습니다.

   Timestamp 필수

   Managed ClickStack에서 엄격하게 요구하는 유일한 사항은 데이터에 timestamp 컬럼(또는 이에 해당하는 시간 필드)이 포함되어 있어야 한다는 점이며, 이는 ClickStack UI에서 데이터 소스를 구성할 때 지정할 수 있습니다.

   다음 내용은 수집 파이프라인이 미리 구성되어 데이터를 전달하도록 설정된 Vector 인스턴스가 이미 실행 중이라고 가정합니다.

   ​

   데이터베이스와 테이블 생성

   Vector는 데이터 수집 전에 테이블과 스키마가 미리 정의되어 있어야 합니다.

   먼저 데이터베이스를 생성합니다. 이는 ClickHouse Cloud 콘솔에서 수행할 수 있습니다.

   예를 들어, 로그용 데이터베이스를 생성합니다:

   CREATE DATABASE IF NOT EXISTS logs
   

   그런 다음 로그 데이터 구조에 맞는 스키마(schema)의 테이블을 생성하세요. 아래 예시는 전형적인 Nginx 액세스 로그 포맷을 가정합니다:

   CREATE TABLE logs.nginx_logs
   (
       `time_local` DateTime,
       `remote_addr` IPv4,
       `remote_user` LowCardinality(String),
       `request` String,
       `status` UInt16,
       `body_bytes_sent` UInt64,
       `http_referer` String,
       `http_user_agent` String,
       `http_x_forwarded_for` LowCardinality(String),
       `request_time` Float32,
       `upstream_response_time` Float32,
       `http_host` String
   )
   ENGINE = MergeTree
   ORDER BY (toStartOfMinute(time_local), status, remote_addr);
   

   테이블은 Vector가 생성하는 출력 스키마와 일치해야 합니다. 데이터에 맞게 필요에 따라 스키마를 조정하되, 권장되는 스키마 모범 사례를 따르십시오.

   ClickHouse에서 기본 키가 어떻게 작동하는지 이해하고, 액세스 패턴에 따라 정렬 키를 선택할 것을 강력히 권장합니다. 기본 키 선택에 대해서는 ClickStack 관련 지침도 참조하십시오.

   테이블을 생성한 후에는 표시된 구성 스니펫을 복사하십시오. 필요에 따라 기존 파이프라인을 사용하도록 입력 구성을 조정하고, 대상 테이블과 데이터베이스도 수정하십시오. 자격 증명은 미리 입력되어 있습니다.

   

   Vector를 사용해 데이터를 수집하는 추가 예시는 “Vector로 수집하기”를 참조하고, 고급 옵션은 Vector ClickHouse 싱크 문서를 확인하십시오.

   
   
3. ​

   ClickStack UI로 이동

   “Launch ClickStack”을 선택하여 ClickStack UI(HyperDX)에 액세스합니다. 자동으로 인증된 후 해당 화면으로 리디렉션됩니다.

   OpenTelemetry

   모든 OpenTelemetry 데이터에 대한 데이터 소스가 미리 생성됩니다.

   

   Vector

   Vector를 사용하는 경우 데이터 소스를 직접 생성해야 합니다. 처음 로그인하면 데이터 소스를 생성하라는 안내가 표시됩니다. 아래에는 로그 데이터 소스에 대한 예시 구성을 보여줍니다.

   

   이 구성은 time_local 컬럼을 타임스탬프로 사용하는 Nginx 스타일 스키마를 가정합니다. 가능하면 이 컬럼은 프라이머리 키(primary key)에 선언된 타임스탬프 컬럼이어야 합니다. 이 컬럼은 필수입니다.

   또한 로그 보기에서 반환할 컬럼을 명시적으로 정의할 수 있도록 Default SELECT를 업데이트하는 것이 좋습니다. 서비스 이름, 로그 레벨 또는 본문 컬럼과 같은 추가 필드를 사용할 수 있다면 이들도 구성할 수 있습니다. 표시용 타임스탬프 컬럼이 테이블의 프라이머리 키에 사용된 컬럼 및 위에서 구성한 컬럼과 다를 경우, 이를 재정의할 수도 있습니다.

   위 예시에서는 데이터에 Body 컬럼이 없습니다. 대신 사용 가능한 필드에서 Nginx 로그 라인을 재구성하는 SQL 표현식으로 정의합니다.

   다른 옵션은 구성 참고를 참조하십시오.

   생성이 완료되면 검색 보기로 이동하며, 즉시 데이터 탐색을 시작할 수 있습니다.

   

   
   

   이제 준비가 모두 완료되었습니다. 🎉

   이제 ClickStack을 살펴보십시오. 로그와 트레이스 검색을 시작하고, 로그·트레이스·메트릭이 실시간으로 어떻게 연관되는지 확인하고, 대시보드를 만들고, 서비스 맵을 탐색하고, Event deltas와 패턴을 파악하고, 알림을 설정하여 문제에 선제적으로 대응할 수 있습니다.

4. ​

   다음 단계

   기본 자격 증명 기록

   위 단계에서 기본 자격 증명을 기록하지 않았다면 서비스로 이동하여 Connect를 선택한 뒤 비밀번호와 HTTP/네이티브 엔드포인트를 기록하십시오. 이 관리자 자격 증명은 안전하게 보관해야 하며, 이후 가이드에서 다시 사용할 수 있습니다.

   새 사용자를 프로비저닝하거나 추가 데이터 소스를 더하는 등의 작업을 수행하려면 Managed ClickStack 배포 가이드를 참조하십시오.