Primeros pasos con Managed ClickStack

Primeros pasos con Managed ClickStack

La forma más sencilla de empezar es implementar Managed ClickStack en ClickHouse Cloud, que proporciona un backend seguro y totalmente gestionado, al tiempo que mantiene un control total sobre la ingestión, el esquema y los flujos de trabajo de observabilidad. Esto elimina la necesidad de operar ClickHouse por tu cuenta y ofrece una serie de ventajas:

• Escalado automático del cómputo, independiente del almacenamiento
• Retención de bajo costo y prácticamente ilimitada basada en almacenamiento de objetos
• Posibilidad de aislar de forma independiente las cargas de trabajo de lectura y escritura con warehouses
• Autenticación integrada
• Backups automatizados
• Funciones de seguridad y cumplimiento normativo
• Actualizaciones sin interrupciones

1. ​

   Regístrate en ClickHouse Cloud

   Para crear un servicio de Managed ClickStack en ClickHouse Cloud, primero completa el primer paso de la guía de inicio rápido de ClickHouse Cloud.

   Scale vs Enterprise

   Recomendamos este nivel Scale para la mayoría de las cargas de trabajo de ClickStack. Elija el nivel Enterprise si necesita funciones de seguridad avanzadas, como SAML, CMEK o cumplimiento de HIPAA. También ofrece perfiles de hardware personalizados para implementaciones de ClickStack de gran tamaño. En estos casos, le recomendamos ponerse en contacto con el soporte.

   Seleccione el proveedor de Cloud y la región.

   

   Al seleccionar la CPU y la memoria, calcúlelas en función del throughput de ingestión esperado de ClickStack. La tabla siguiente ofrece una guía para dimensionar estos recursos.

   Volumen mensual de ingestión	Capacidad de cómputo recomendada
   < 10 TB / mes	2 vCPU × 3 réplicas
   10–50 TB / mes	4 vCPU × 3 réplicas
   50–100 TB / mes	8 vCPU × 3 réplicas
   100–500 TB / mes	30 vCPU × 3 réplicas
   1 PB+ / mes	59 vCPU × 3 réplicas

   Estas recomendaciones se basan en los siguientes supuestos:

   • El volumen de datos se refiere al volumen mensual de ingestión sin comprimir y se aplica tanto a logs como a traces.
   • Los patrones de consulta son típicos de los casos de uso de observabilidad, y la mayoría de las consultas se centran en datos recientes, por lo general de las últimas 24 horas.
   • La ingestión es relativamente uniforme a lo largo del mes. Si espera tráfico irregular o picos, debe aprovisionar capacidad adicional.
   • El almacenamiento se gestiona por separado mediante object storage de ClickHouse Cloud y no es un factor limitante para la retención. Suponemos que a los datos retenidos durante periodos más largos se accede con poca frecuencia.

   Puede que se necesite más capacidad de cómputo para patrones de acceso que consultan regularmente intervalos de tiempo más amplios, realizan agregaciones intensivas o dan soporte a un gran número de usuarios concurrentes.

   Aunque dos réplicas pueden cubrir los requisitos de CPU y memoria para un throughput de ingestión determinado, recomendamos usar tres réplicas siempre que sea posible para lograr la misma capacidad total y mejorar la redundancia del servicio.

   Estos valores son solo estimaciones y deben utilizarse como referencia inicial. Los requisitos reales dependen de la complejidad de las consultas, la concurrencia, las políticas de retención y la variación del throughput de ingestión. Supervise siempre el uso de recursos y escale según sea necesario.

   Una vez que haya especificado los requisitos, su servicio de Managed ClickStack tardará varios minutos en aprovisionarse. No dude en explorar el resto de la consola de ClickHouse Cloud mientras espera a que finalice el aprovisionamiento.

   Una vez que se complete el aprovisionamiento, la opción ‘ClickStack’ del menú de la izquierda estará habilitada.

2. ​

   Configura la ingestión

   Una vez aprovisionado el servicio, asegúrate de que esté seleccionado y haz clic en “ClickStack” en el menú de la izquierda.

   

   Selecciona “Start Ingestion” y se te pedirá que elijas una fuente de ingestión. Managed ClickStack admite OpenTelemetry y Vector como principales fuentes de ingestión. Sin embargo, los usuarios también pueden enviar datos directamente a ClickHouse con su propio esquema mediante cualquiera de las integraciones compatibles con ClickHouse Cloud.

   

   OpenTelemetry recomendado

   Se recomienda encarecidamente usar OpenTelemetry como formato de ingestión. Ofrece la experiencia más sencilla y optimizada, con esquemas listos para usar diseñados específicamente para funcionar de forma eficiente con ClickStack.

   OpenTelemetry

   Para enviar datos de OpenTelemetry a Managed ClickStack, se recomienda usar un OpenTelemetry Collector. El collector actúa como un gateway que recibe datos de OpenTelemetry de sus aplicaciones (y de otros collectors) y los reenvía a ClickHouse Cloud.

   Si aún no tiene uno en ejecución, inicie un collector siguiendo los pasos a continuación. Si ya tiene collectors existentes, también se incluye un ejemplo de configuración.

   ​

   Iniciar un collector

   A continuación se asume la ruta recomendada: usar la distribución de ClickStack de OpenTelemetry Collector, que incluye procesamiento adicional y está optimizada específicamente para ClickHouse Cloud. Si desea usar su propio OpenTelemetry Collector, consulte “Configurar collectors existentes.”

   Para empezar rápidamente, copie y ejecute el comando de Docker que se muestra.

   

   Este comando debería incluir sus credenciales de conexión ya rellenadas.

   Despliegue en producción

   Aunque este comando usa el usuario default para conectarse a Managed ClickStack, debería crear un usuario dedicado al pasar a producción y modificar su configuración.

   Al ejecutar este único comando, se inicia el ClickStack collector con endpoints de OTLP expuestos en los puertos 4317 (gRPC) y 4318 (HTTP). Si ya tiene instrumentación y agentes de OpenTelemetry, puede comenzar de inmediato a enviar datos de telemetría a estos endpoints.

   ​

   Configurar collectors existentes

   También es posible configurar sus propios OpenTelemetry Collectors existentes o usar su propia distribución del collector.

   Se requiere el exportador de ClickHouse

   Si está usando su propia distribución, por ejemplo la imagen contrib, asegúrese de que incluya el exportador de ClickHouse.

   Para ello, se proporciona una configuración de ejemplo de OpenTelemetry Collector que usa el exportador de ClickHouse con la configuración adecuada y expone receivers de OTLP. Esta configuración coincide con las interfaces y el comportamiento esperados por la distribución de ClickStack.

   

   Para obtener más información sobre cómo configurar collectors de OpenTelemetry, consulte “Ingestión con OpenTelemetry.”

   ​

   Iniciar la ingestión (opcional)

   Si tiene aplicaciones o infraestructura existentes para instrumentar con OpenTelemetry, vaya a las guías pertinentes enlazadas desde la UI.

   Para instrumentar sus aplicaciones y recopilar traces y logs, use los SDKs de lenguajes compatibles, que envían datos a su OpenTelemetry Collector, que actúa como gateway para la ingestión en Managed ClickStack.

   Los logs pueden recopilarse usando OpenTelemetry Collectors que se ejecutan en modo agent y reenvían datos al mismo collector. Para la monitorización de Kubernetes, siga la guía específica. Para otras integraciones, consulte nuestras guías de inicio rápido.

   ​

   Datos de demostración

   Como alternativa, si no tiene datos existentes, pruebe uno de nuestros datasets de ejemplo.

   • Dataset de ejemplo - Cargue un dataset de ejemplo de nuestra demo pública. Diagnostique un problema sencillo.
   • Archivos locales y métricas - Cargue archivos locales y supervise el sistema en OSX o Linux usando un OTel collector local.

   
   

   Vector

   Vector es un pipeline de datos de observabilidad de alto rendimiento y neutral con respecto a los proveedores, especialmente popular para la ingestión de logs por su flexibilidad y bajo consumo de recursos.

   Al usar Vector con ClickStack, los usuarios son responsables de definir sus propios esquemas. Estos esquemas pueden seguir las convenciones de OpenTelemetry, pero también pueden ser completamente personalizados y representar estructuras de eventos definidas por el usuario.

   Timestamp obligatorio

   El único requisito estricto para Managed ClickStack es que los datos incluyan una columna timestamp (o un campo de tiempo equivalente), que puede declararse al configurar la fuente de datos en la interfaz de usuario de ClickStack.

   A continuación, se asume que tienes una instancia de Vector en ejecución, preconfigurada con pipelines de ingestión y enviando datos.

   ​

   Crear una base de datos y una tabla

   Vector requiere que la tabla y el esquema estén definidos antes de la ingestión de datos.

   Primero, crea una base de datos. Esto puede hacerse a través de la consola de ClickHouse Cloud.

   Por ejemplo, crea una base de datos para logs:

   CREATE DATABASE IF NOT EXISTS logs
   

   A continuación, cree una tabla cuyo esquema coincida con la estructura de los datos de su log. El siguiente ejemplo supone un formato clásico de log de acceso de Nginx:

   CREATE TABLE logs.nginx_logs
   (
       `time_local` DateTime,
       `remote_addr` IPv4,
       `remote_user` LowCardinality(String),
       `request` String,
       `status` UInt16,
       `body_bytes_sent` UInt64,
       `http_referer` String,
       `http_user_agent` String,
       `http_x_forwarded_for` LowCardinality(String),
       `request_time` Float32,
       `upstream_response_time` Float32,
       `http_host` String
   )
   ENGINE = MergeTree
   ORDER BY (toStartOfMinute(time_local), status, remote_addr);
   

   La tabla debe ajustarse al esquema de salida generado por Vector. Ajusta el esquema según sea necesario para tus datos, siguiendo las mejores prácticas de esquema recomendadas.

   Te recomendamos encarecidamente que entiendas cómo funcionan las claves primarias en ClickHouse y que elijas una clave de ordenación en función de tus patrones de acceso. Consulta la guía específica de ClickStack sobre cómo elegir una clave primaria.

   Una vez creada la tabla, copia el fragmento de configuración que se muestra. Ajusta la entrada para que consuma tus pipelines existentes, así como la tabla de destino y la base de datos, si es necesario. Las credenciales deberían aparecer ya rellenadas.

   

   Para ver más ejemplos de ingesta de datos con Vector, consulta “Ingesta con Vector” o la documentación del sink de ClickHouse para Vector para opciones avanzadas.

   
   
3. ​

   Ve a la interfaz de ClickStack

   Seleccione ‘Launch ClickStack’ para acceder a la interfaz de ClickStack (HyperDX). Se le autenticará automáticamente y se le redirigirá.

   OpenTelemetry

   Se crearán automáticamente orígenes de datos para todos los datos de OpenTelemetry.

   

   Vector

   Si utiliza Vector, tendrá que crear sus propios orígenes de datos. Se le pedirá que cree uno al iniciar sesión por primera vez. A continuación, mostramos una configuración de ejemplo para un origen de datos de logs.

   

   Esta configuración asume un esquema de estilo Nginx con una columna time_local usada como timestamp. Siempre que sea posible, esta debería ser la columna de timestamp declarada en la clave primaria. Esta columna es obligatoria.

   También recomendamos actualizar Default SELECT para definir explícitamente qué columnas se devuelven en la vista de logs. Si hay campos adicionales disponibles, como el nombre del servicio, el nivel de log o una columna Body, también pueden configurarse. La columna de visualización del timestamp también puede sustituirse si difiere de la columna usada en la clave primaria de la tabla y configurada anteriormente.

   En el ejemplo anterior, no existe una columna Body en los datos. En su lugar, se define mediante una expresión SQL que reconstruye una línea de log de Nginx a partir de los campos disponibles.

   Para ver otras opciones, consulte la referencia de configuración.

   Una vez creado, debería ir a la vista de búsqueda, donde podrá empezar a explorar sus datos de inmediato.

   

   
   

   Y eso es todo: ya está listo. 🎉

   Siga explorando ClickStack: empiece a buscar logs y trazas, vea cómo se correlacionan logs, trazas y métricas en tiempo real, cree dashboards, explore mapas de servicios, descubra event deltas y patterns, y configure alertas para adelantarse a los problemas.

4. ​

   Próximos pasos

   Anota las credenciales predeterminadas

   Si no has anotado tus credenciales predeterminadas durante los pasos anteriores, ve al servicio y selecciona Connect, y anota la contraseña y los endpoints HTTP/nativos. Guarda estas credenciales de admin de forma segura, ya que pueden reutilizarse en guías posteriores.

   Para realizar tareas como aprovisionar nuevos usuarios o añadir más fuentes de datos, consulta la guía de implementación de Managed ClickStack.