Managed ClickStack の利用を開始する

Managed ClickStack の利用を開始する

開始する最も簡単な方法は、ClickHouse Cloud に Managed ClickStack をデプロイすることです。これにより、インジェスト、スキーマ、オブザーバビリティのワークフローを完全に制御したまま、完全マネージド型で安全なバックエンドを利用できます。ClickHouse を自分で運用する必要がなくなり、次のような利点が得られます。

• ストレージから独立したコンピュートの自動スケーリング
• オブジェクトストレージをベースにした、低コストかつ実質無制限の保持
• ウェアハウスによって、読み取りワークロードと書き込みワークロードを個別に分離可能
• 統合認証
• 自動バックアップ
• セキュリティ機能とコンプライアンス機能
• シームレスなアップグレード

1. ​

   ClickHouse Cloud に登録

   ClickHouse Cloud で Managed ClickStack サービスを作成するには、まず ClickHouse Cloud クイックスタートガイド の最初のステップを完了してください。

   Scale と Enterprise

   ほとんどの ClickStack ワークロードには、この Scale tier を推奨します。SAML、CMEK、HIPAA 準拠などの高度なセキュリティ機能が必要な場合は、Enterprise tier を選択してください。また、非常に大規模な ClickStack デプロイメント向けにカスタムのハードウェアプロファイルも利用できます。このような場合は、サポートにお問い合わせいただくことをお勧めします。

   Cloud プロバイダーとリージョンを選択します。

   

   CPU とメモリを選択する際は、想定される ClickStack のインジェストスループットに基づいて見積もってください。以下の表は、これらのリソースをサイジングする際の目安です。

   Monthly ingest volume	Recommended compute
   < 10 TB / month	2 vCPU × 3 replicas
   10–50 TB / month	4 vCPU × 3 replicas
   50–100 TB / month	8 vCPU × 3 replicas
   100–500 TB / month	30 vCPU × 3 replicas
   1 PB+ / month	59 vCPU × 3 replicas

   これらの推奨値は、次の前提に基づいています。

   • データ量は、月あたりの非圧縮インジェスト量を指し、ログとトレースの両方に適用されます。
   • クエリパターンは、オブザーバビリティの一般的なユースケースを想定しており、ほとんどのクエリは直近のデータ、通常は過去 24 時間を対象とします。
   • インジェストは月全体を通して比較的均一であると想定しています。突発的なトラフィックやスパイクが見込まれる場合は、追加の余裕を持ってプロビジョニングしてください。
   • ストレージは ClickHouse Cloud のオブジェクトストレージで別途処理されるため、保持期間の制約要因にはなりません。長期間保持されるデータは、アクセス頻度が低いことを前提としています。

   より長い時間範囲を定期的にクエリするアクセスパターン、負荷の高い集計処理、または多数の同時利用ユーザーをサポートする場合は、さらに多くのコンピュートが必要になることがあります。

   特定のインジェストスループットに必要な CPU とメモリは 2 つのレプリカでも満たせますが、可能であれば、総容量を同等に保ちながらサービスの冗長性を高めるために 3 つのレプリカを使用することを推奨します。

   これらの値はあくまで推定値であり、初期ベースラインとして使用してください。実際に必要なリソースは、クエリの複雑さ、同時実行性、保持ポリシー、インジェストスループットのばらつきによって異なります。常にリソース使用状況を監視し、必要に応じてスケールしてください。

   要件を指定すると、Managed ClickStack サービスのプロビジョニングには数分かかります。プロビジョニングの完了を待つ間に、ClickHouse Cloud console の他の部分もご覧ください。

   プロビジョニングが完了すると、左側メニューの「ClickStack」オプションが有効になります。

2. ​

   インジェストを設定

   サービスのプロビジョニングが完了したら、対象のサービスが選択されていることを確認し、左側のメニューで “ClickStack” をクリックします。

   

   「Start Ingestion」を選択すると、インジェストソースを選択するよう求められます。Managed ClickStack では、主要なインジェストソースとして OpenTelemetry と Vector をサポートしています。一方で、ユーザーは ClickHouse Cloud でサポートされているインテグレーション のいずれかを使用して、独自のスキーマでデータを ClickHouse に直接送信することもできます。

   

   OpenTelemetry を推奨

   インジェスト形式としては、OpenTelemetry の使用を強く推奨します。 ClickStack で効率的に動作するよう特別に設計された、すぐに使えるスキーマが用意されており、最もシンプルかつ最適化された利用体験を提供します。

   OpenTelemetry

   Managed ClickStack に OpenTelemetry データを送信するには、OpenTelemetry Collector を使用することを推奨します。collector は、アプリケーション (および他の collector) から OpenTelemetry データを受信し、ClickHouse Cloud に転送するゲートウェイとして機能します。

   まだ collector を実行していない場合は、以下の手順で起動してください。既存の collector がある場合は、設定例も用意されています。

   ​

   collector を起動する

   以下では、追加の処理を含み、ClickHouse Cloud 向けに最適化された、推奨構成である ClickStack distribution of the OpenTelemetry Collector を使用することを前提としています。独自の OpenTelemetry Collector を使用する場合は、“既存の collector を設定する。” を参照してください。

   すぐに開始するには、表示されている Docker コマンドをコピーして実行してください。

   

   このコマンドには、接続 credentials があらかじめ入力されています。

   本番環境へのデプロイ

   このコマンドでは Managed ClickStack への接続に default ユーザーを使用していますが、本番環境に移行する 際は、専用ユーザーを作成し、設定を変更する必要があります。

   この 1 つのコマンドを実行すると、ポート 4317 (gRPC) および 4318 (HTTP) で OTLP endpoint を公開した ClickStack collector が起動します。すでに OpenTelemetry のインストルメンテーションと agent がある場合は、すぐにこれらの endpoint へのテレメトリー データ送信を開始できます。

   ​

   既存の collector を設定する

   既存の OpenTelemetry Collectors を設定したり、独自の distribution の collector を使用したりすることも可能です。

   ClickHouse exporter が必要

   独自の distribution を使用する場合、たとえば contrib image を使うなら、ClickHouse exporter が含まれていることを確認してください。

   この用途のために、適切な設定で ClickHouse exporter を使用し、OTLP receiver を公開する OpenTelemetry Collector の設定例が提供されています。この設定は、ClickStack distribution で想定されているインターフェイスと動作に合わせています。

   

   OpenTelemetry collector の設定について詳しくは、“OpenTelemetry でインジェストする。” を参照してください。

   ​

   インジェストを開始する (任意)

   OpenTelemetry でインストルメントする既存のアプリケーションやインフラストラクチャがある場合は、UI からリンクされている該当ガイドに進んでください。

   traces と logs を収集するようアプリケーションをインストルメントするには、サポートされている言語 SDKs を使用してください。これらは、Managed ClickStack へのインジェスト用ゲートウェイとして動作する OpenTelemetry Collector にデータを送信します。

   logs は、agent モードで実行され、同じ collector にデータを転送する OpenTelemetry Collectors を使用して収集 できます。Kubernetes の監視については、専用ガイド を参照してください。その他のインテグレーションについては、quickstart ガイド を参照してください。

   ​

   デモデータ

   既存のデータがない場合は、サンプル dataset のいずれかを試すこともできます。

   • Example dataset - 公開デモからサンプル dataset を読み込みます。単純な問題を診断できます。
   • ローカルファイルとメトリクス - ローカル OTel collector を使用してローカルファイルを読み込み、OSX または Linux 上でシステムを監視します。

   
   

   Vector

   Vector は、高性能でベンダー中立なオブザーバビリティデータパイプラインであり、特にその柔軟性と少ないリソース消費から、ログのインジェストで広く利用されています。

   ClickStack で Vector を使用する場合、ユーザーは独自のスキーマを定義する必要があります。これらのスキーマは OpenTelemetry の規約に従うこともできますが、ユーザー定義のイベント構造を表す完全にカスタムなものにすることもできます。

   Timestamp は必須

   Managed ClickStack で唯一の必須要件は、データに timestamp カラム (または同等の時刻フィールド) が含まれていることです。これは ClickStack UI でログソースを設定する際に指定できます。

   以下では、インジェストパイプラインがあらかじめ設定され、データを送信している Vector のインスタンスがすでに稼働していることを前提とします。

   ​

   データベースとテーブルを作成する

   Vector では、データを取り込む前にテーブルとスキーマを定義しておく必要があります。

   まず、データベースを作成します。これは ClickHouse Cloud console から実行できます。

   たとえば、ログ用のデータベースを作成します。

   CREATE DATABASE IF NOT EXISTS logs
   

   次に、ログデータの構造に合ったスキーマを持つテーブルを作成します。以下の例では、一般的な Nginx のアクセスログ形式を前提としています。

   CREATE TABLE logs.nginx_logs
   (
       `time_local` DateTime,
       `remote_addr` IPv4,
       `remote_user` LowCardinality(String),
       `request` String,
       `status` UInt16,
       `body_bytes_sent` UInt64,
       `http_referer` String,
       `http_user_agent` String,
       `http_x_forwarded_for` LowCardinality(String),
       `request_time` Float32,
       `upstream_response_time` Float32,
       `http_host` String
   )
   ENGINE = MergeTree
   ORDER BY (toStartOfMinute(time_local), status, remote_addr);
   

   テーブルは、Vector が生成する出力スキーマに合わせる必要があります。推奨されるスキーマのベストプラクティスに従って、データに合わせて必要に応じてスキーマを調整してください。

   ClickHouse における主キーの仕組みを理解し、アクセスパターンに基づいてソートキーを選ぶことを強く推奨します。主キーの選び方については、ClickStack 向けのガイダンスを参照してください。

   テーブルを作成したら、表示されている設定スニペットをコピーしてください。既存のパイプラインを利用するように input を調整し、必要に応じてターゲットテーブルとデータベースも変更してください。認証情報は事前に入力されているはずです。

   

   Vector を使ったデータ取り込みのその他の例については、“Vector で取り込む”または高度なオプションについては Vector ClickHouse sink documentation を参照してください。

   
   
3. ​

   ClickStack UI に移動

   ClickStack UI (HyperDX) にアクセスするには、[Launch ClickStack] を選択します。自動的に認証され、リダイレクトされます。

   OpenTelemetry

   OpenTelemetry データ用のデータソースはあらかじめ作成されています。

   

   Vector

   Vector を使用している場合は、データソースを自分で作成する必要があります。初回ログイン時に作成を求められます。以下に、ログ用データソースの設定例を示します。

   

   この設定は、タイムスタンプとして time_local カラムを使用する Nginx 形式のスキーマを前提としています。可能であれば、このカラムには主キーで宣言されたタイムスタンプカラムを指定してください。このカラムは必須です。

   また、ログビューで返すカラムを明示的に定義するため、Default SELECT を更新することも推奨します。service name、log level、body カラムなどの追加フィールドが利用可能な場合は、それらも設定できます。タイムスタンプの表示カラムが、テーブルの主キーで使用され、上で設定したカラムと異なる場合は、それも上書きできます。

   上記の例では、データに Body カラムは存在しません。その代わり、利用可能なフィールドから Nginx のログ行を再構築する SQL expression を使って定義しています。

   その他のオプションについては、configuration reference を参照してください。

   作成が完了すると、Search view に移動し、すぐにデータの確認を開始できます。

   

   
   

   以上で完了です。🎉

   さっそく ClickStack を活用してみましょう。ログやトレースを検索し、ログ・トレース・メトリクスの相関をリアルタイムで確認し、ダッシュボードを作成し、サービスマップを確認し、イベントデルタやパターンを見つけ、アラートを設定して問題を未然に把握できます。

4. ​

   次のステップ

   デフォルトの認証情報を記録

   上記の手順でデフォルトの認証情報を記録していない場合は、サービスに移動して Connect を選択し、パスワードと HTTP/native エンドポイントを記録してください。これらの管理者認証情報は安全に保管し、以降のガイドで再利用できます。

   新しいユーザーのプロビジョニングや追加のデータソースの追加などを行うには、Managed ClickStack のデプロイガイド を参照してください。