Начало работы с Управляемым ClickStack

Начало работы с Управляемым ClickStack

Самый простой способ начать работу — развернуть Управляемый ClickStack в ClickHouse Cloud, который предоставляет полностью управляемый и защищённый backend, сохраняя при этом полный контроль над ингестией, схемой и процессами обсервабилити. Это избавляет от необходимости самостоятельно управлять ClickHouse и даёт ряд преимуществ:

• Автоматическое масштабирование вычислительных ресурсов независимо от хранилища
• Недорогое и практически неограниченное хранение на базе объектного хранилища
• Возможность независимо изолировать рабочие нагрузки чтения и записи с помощью хранилищ
• Встроенная аутентификация
• Автоматические резервные копии
• Средства безопасности и соответствия требованиям
• Бесшовные обновления

1. ​

   Регистрация в ClickHouse Cloud

   Чтобы создать сервис Управляемого ClickStack в ClickHouse Cloud, сначала выполните первый шаг из краткого руководства по ClickHouse Cloud.

   Scale vs Enterprise

   Мы рекомендуем этот уровень Scale для большинства рабочих нагрузок ClickStack. Выберите уровень Enterprise, если вам нужны расширенные возможности безопасности, такие как SAML, CMEK или соответствие требованиям HIPAA. Он также предлагает настраиваемые аппаратные профили для очень крупных развертываний ClickStack. В таких случаях рекомендуем обратиться в поддержку.

   Выберите провайдера Cloud и регион.

   

   При выборе объёма CPU и памяти ориентируйтесь на ожидаемую пропускную способность ингестии ClickStack. В таблице ниже приведены рекомендации по подбору этих ресурсов.

   Месячный объём ингестии	Рекомендуемые вычислительные ресурсы
   < 10 TB / month	2 vCPU × 3 реплики
   10–50 TB / month	4 vCPU × 3 реплики
   50–100 TB / month	8 vCPU × 3 реплики
   100–500 TB / month	30 vCPU × 3 реплики
   1 PB+ / month	59 vCPU × 3 реплики

   Эти рекомендации основаны на следующих предположениях:

   • Под объёмом данных понимается месячный объём ингестии в несжатом виде; это относится как к журналам, так и к трейсам.
   • Шаблоны запросов типичны для сценариев обсервабилити, при этом большинство запросов нацелено на недавние данные, обычно за последние 24 часа.
   • Ингестия происходит относительно равномерно в течение месяца. Если вы ожидаете всплески трафика или пики, следует предусмотреть дополнительный запас ресурсов.
   • Хранение организовано отдельно через Объектное хранилище ClickHouse Cloud и не является ограничивающим фактором для срока хранения. Мы предполагаем, что к данным, хранящимся длительное время, обращаются нечасто.

   Для шаблонов доступа, которые регулярно охватывают более длинные временные диапазоны, выполняют тяжёлые агрегации или рассчитаны на большое число одновременных пользователей, может потребоваться больше вычислительных ресурсов.

   Хотя две реплики могут удовлетворить требованиям к CPU и памяти для заданной пропускной способности ингестии, мы рекомендуем по возможности использовать три реплики, чтобы обеспечить ту же суммарную ёмкость и повысить отказоустойчивость сервиса.

   Эти значения — лишь ориентировочные и должны использоваться как отправная точка. Фактические требования зависят от сложности запросов, параллелизма, политик хранения и вариативности пропускной способности ингестии. Всегда отслеживайте использование ресурсов и при необходимости масштабируйте их.

   После указания требований подготовка вашего сервиса Управляемый ClickStack займёт несколько минут. Пока идёт подготовка, можете изучить остальные разделы консоли ClickHouse Cloud.

   После завершения подготовки пункт ‘ClickStack’ в левом меню станет доступен.

2. ​

   Настройка ингестии

   После создания сервиса убедитесь, что выбран нужный сервис, и нажмите “ClickStack” в левом меню.

   

   Выберите “Начать ингестию”, и вам будет предложено выбрать источник ингестии. Управляемый ClickStack поддерживает OpenTelemetry и Vector в качестве основных источников ингестии. Однако пользователи также могут отправлять данные напрямую в ClickHouse в собственной схеме, используя любые из интеграций, поддерживаемых ClickHouse Cloud.

   

   Рекомендуем OpenTelemetry

   Настоятельно рекомендуется использовать OpenTelemetry в качестве формата для ингестии. Он обеспечивает максимально простой и оптимизированный процесс благодаря готовым схемам, специально разработанным для эффективной работы с ClickStack.

   OpenTelemetry

   Чтобы отправлять данные OpenTelemetry в Управляемый ClickStack, рекомендуется использовать OpenTelemetry Collector. Коллектор выступает в роли шлюза: он получает данные OpenTelemetry от ваших приложений (и других коллекторов) и пересылает их в ClickHouse Cloud.

   Если у вас коллектор еще не запущен, выполните приведенные ниже шаги. Если у вас уже есть существующие коллекторы, ниже также приведен пример конфигурации.

   ​

   Запуск коллектора

   Ниже рассматривается рекомендуемый вариант — использование дистрибутива ClickStack для OpenTelemetry Collector, который включает дополнительную обработку и специально оптимизирован для ClickHouse Cloud. Если вы хотите использовать собственный OpenTelemetry Collector, см. “Настройка существующих коллекторов.”

   Чтобы быстро начать, скопируйте и выполните показанную команду Docker.

   

   Эта команда должна уже содержать ваши учетные данные для подключения.

   Развертывание в production

   Хотя в этой команде для подключения к Управляемому ClickStack используется пользователь default, при переходе в production и изменении конфигурации следует создать отдельного пользователя.

   Выполнение этой единственной команды запускает коллектор ClickStack с конечными точками OTLP, доступными на портах 4317 (gRPC) и 4318 (HTTP). Если у вас уже настроены инструментация OpenTelemetry и агенты, вы можете сразу начать отправлять телеметрические данные в эти конечные точки.

   ​

   Настройка существующих коллекторов

   Вы также можете настроить собственные OpenTelemetry Collectors или использовать собственный дистрибутив коллектора.

   Требуется ClickHouse exporter

   Если вы используете собственный дистрибутив, например contrib image, убедитесь, что он включает ClickHouse exporter.

   Для этого вам предоставляется пример конфигурации OpenTelemetry Collector, в которой используется ClickHouse exporter с подходящими настройками и открыты приёмники OTLP. Эта конфигурация соответствует интерфейсам и поведению, ожидаемым дистрибутивом ClickStack.

   

   Дополнительные сведения о настройке коллекторов OpenTelemetry см. в разделе “Ингестия с OpenTelemetry.”

   ​

   Запуск ингестии (необязательно)

   Если у вас есть существующие приложения или инфраструктура, которые нужно инструментировать с помощью OpenTelemetry, перейдите к соответствующим руководствам по ссылкам в интерфейсе.

   Чтобы инструментировать приложения для сбора трассировок и журналов, используйте поддерживаемые SDK для языков, которые отправляют данные в ваш OpenTelemetry Collector, выступающий в роли шлюза для ингестии в Управляемый ClickStack.

   Журналы можно собирать с помощью коллекторов OpenTelemetry, работающих в режиме агента и пересылающих данные в тот же коллектор. Для мониторинга Kubernetes следуйте отдельному руководству. Для других интеграций см. наши краткие руководства.

   ​

   Демонстрационные данные

   Если у вас пока нет собственных данных, попробуйте один из наших примеров наборов данных.

   • Пример набора данных - Загрузите пример набора данных из нашей публичной демоверсии. Диагностируйте простую проблему.
   • Локальные файлы и метрики - Загрузите локальные файлы и отслеживайте систему в OSX или Linux с помощью локального OTel collector.

   
   

   Vector

   Vector — это высокопроизводительный, не зависящий от поставщика конвейер данных для обсервабилити, особенно популярный для приёма журналов благодаря гибкости и низкому потреблению ресурсов.

   При использовании Vector с ClickStack пользователи сами определяют схемы. Эти схемы могут соответствовать соглашениям OpenTelemetry, но также могут быть полностью произвольными и описывать пользовательские структуры событий.

   Требуется timestamp

   Единственное строгое требование для Управляемого ClickStack — данные должны содержать столбец timestamp (или эквивалентное поле времени), который можно указать при настройке источника данных в интерфейсе ClickStack.

   Ниже предполагается, что у вас уже запущен экземпляр Vector, предварительно настроенный с конвейерами приёма и отправляющий данные.

   ​

   Создайте базу данных и таблицу

   Для Vector необходимо, чтобы таблица и схема были определены до начала ингестии данных.

   Сначала создайте базу данных. Это можно сделать через консоль ClickHouse Cloud.

   Например, создайте базу данных для журналов:

   CREATE DATABASE IF NOT EXISTS logs
   

   Затем создайте таблицу, схема которой соответствует структуре данных журналов. В примере ниже используется классический формат журнала доступа Nginx:

   CREATE TABLE logs.nginx_logs
   (
       `time_local` DateTime,
       `remote_addr` IPv4,
       `remote_user` LowCardinality(String),
       `request` String,
       `status` UInt16,
       `body_bytes_sent` UInt64,
       `http_referer` String,
       `http_user_agent` String,
       `http_x_forwarded_for` LowCardinality(String),
       `request_time` Float32,
       `upstream_response_time` Float32,
       `http_host` String
   )
   ENGINE = MergeTree
   ORDER BY (toStartOfMinute(time_local), status, remote_addr);
   

   Ваша таблица должна соответствовать выходной схеме, которую формирует Vector. При необходимости скорректируйте схему под свои данные, следуя рекомендациям из лучших практик работы со схемой.

   Мы настоятельно рекомендуем разобраться, как в ClickHouse работают первичные ключи, и выбрать ключ сортировки с учётом характера доступа к данным. См. рекомендации для ClickStack по выбору первичного ключа.

   Когда таблица будет создана, скопируйте показанный фрагмент конфигурации. При необходимости настройте вход так, чтобы он использовал существующие конвейеры, а также укажите целевую таблицу и базу данных. Учётные данные должны быть уже подставлены.

   

   Больше примеров ингестии данных с Vector см. в разделе “Ингестия с Vector” или в документации по sink ClickHouse в Vector для расширенных настроек.

   
   
3. ​

   Переход в интерфейс ClickStack

   Выберите ‘Launch ClickStack’, чтобы открыть интерфейс ClickStack (HyperDX). Вход выполнится автоматически, и вы будете перенаправлены.

   OpenTelemetry

   Источники данных будут заранее созданы для любых данных OpenTelemetry.

   

   Vector

   Если вы используете Vector, вам потребуется создать собственные источники данных. При первом входе вам будет предложено создать источник данных. Ниже приведён пример конфигурации для источника данных журналов.

   

   Эта конфигурация предполагает схему в стиле Nginx, где столбец time_local используется как временная метка. По возможности это должен быть столбец временной метки, объявленный в первичном ключе. Этот столбец обязателен.

   Мы также рекомендуем обновить Default SELECT, чтобы явно указать, какие столбцы возвращаются в представлении журналов. Если доступны дополнительные поля, такие как имя сервиса, уровень журнала или столбец с телом сообщения, их тоже можно настроить. Столбец, отображаемый как временная метка, также можно переопределить, если он отличается от столбца, используемого в первичном ключе таблицы и настроенного выше.

   В примере выше столбец Body отсутствует в данных. Вместо этого он задаётся с помощью SQL-выражения, которое воссоздаёт строку журнала Nginx из доступных полей.

   О других возможных параметрах см. в справочнике по конфигурации.

   После создания вы должны попасть в представление поиска, где сможете сразу начать изучать свои данные.

   

   
   

   И это всё — можно начинать. 🎉

   Теперь можно переходить к изучению ClickStack: искать журналы и трассировки, смотреть, как журналы, трассировки и метрики связаны в реальном времени, создавать панели мониторинга, изучать карты сервисов, выявлять event deltas и patterns, а также настраивать оповещения, чтобы заранее замечать проблемы.

4. ​

   Следующие шаги

   Сохраните учетные данные по умолчанию

   Если вы не сохранили учетные данные по умолчанию во время выполнения описанных выше шагов, перейдите к сервису и выберите Connect, сохранив пароль и конечные точки HTTP/native. Храните эти учетные данные администратора в безопасном месте — их можно будет использовать в следующих руководствах.

   Чтобы выполнять такие задачи, как создание новых пользователей или добавление дополнительных источников данных, см. руководство по развертыванию Управляемого ClickStack.