Primeiros passos no Managed ClickStack

Primeiros passos no Managed ClickStack

A maneira mais fácil de começar é implantando o Managed ClickStack no ClickHouse Cloud, que fornece um backend seguro e totalmente gerenciado, mantendo controle total sobre a ingestão, o schema e os fluxos de trabalho de observabilidade. Isso elimina a necessidade de operar o ClickHouse por conta própria e oferece uma série de benefícios:

• Escalonamento automático de compute, independente do armazenamento
• Retenção de baixo custo e praticamente ilimitada com base em armazenamento de objetos
• A capacidade de isolar de forma independente workloads de leitura e gravação com warehouses.
• Autenticação integrada
• Backups automatizados
• Recursos de segurança e compliance
• Atualizações contínuas

1. ​

   Cadastre-se no ClickHouse Cloud

   Para criar um serviço Managed ClickStack no ClickHouse Cloud, primeiro conclua a primeira etapa do guia de início rápido do ClickHouse Cloud.

   Scale vs Enterprise

   Recomendamos este nível Scale para a maioria das cargas de trabalho do ClickStack. Escolha o nível Enterprise se precisar de recursos avançados de segurança, como SAML, CMEK ou conformidade com HIPAA. Ele também oferece perfis de hardware personalizados para implantações muito grandes do ClickStack. Nesses casos, recomendamos entrar em contato com o suporte.

   Selecione o provedor Cloud e a região.

   

   Ao definir a CPU e a memória, faça uma estimativa com base na taxa de ingestão esperada do ClickStack. A tabela abaixo fornece orientações para dimensionar esses recursos.

   Volume mensal de ingestão	Capacidade computacional recomendada
   < 10 TB / mês	2 vCPU × 3 réplicas
   10–50 TB / mês	4 vCPU × 3 réplicas
   50–100 TB / mês	8 vCPU × 3 réplicas
   100–500 TB / mês	30 vCPU × 3 réplicas
   1 PB+ / mês	59 vCPU × 3 réplicas

   Essas recomendações se baseiam nas seguintes premissas:

   • O volume de dados se refere ao volume mensal de ingestão não compactado e se aplica tanto a logs quanto a traces.
   • Os padrões de consulta são típicos de casos de uso de observabilidade, com a maioria das consultas direcionadas a dados recentes, normalmente das últimas 24 horas.
   • A ingestão é relativamente uniforme ao longo do mês. Se você espera tráfego irregular ou picos, deve provisionar capacidade adicional.
   • O armazenamento é tratado separadamente por meio do armazenamento de objetos do ClickHouse Cloud e não é um fator limitante para retenção. Presumimos que dados retidos por períodos mais longos sejam acessados com pouca frequência.

   Pode ser necessária mais capacidade computacional para padrões de acesso que consultam regularmente intervalos de tempo mais longos, realizam agregações pesadas ou atendem a um grande número de usuários simultâneos.

   Embora duas réplicas possam atender aos requisitos de CPU e memória para uma determinada taxa de ingestão, recomendamos usar três réplicas sempre que possível para alcançar a mesma capacidade total e melhorar a redundância do serviço.

   Esses valores são apenas estimativas e devem ser usados como uma linha de base inicial. Os requisitos reais dependem da complexidade da consulta, da concorrência, das políticas de retenção e da variação na taxa de ingestão. Sempre monitore o uso de recursos e escale conforme necessário.

   Depois de especificar os requisitos, seu serviço Managed ClickStack levará vários minutos para ser provisionado. Sinta-se à vontade para explorar o restante do console do ClickHouse Cloud enquanto aguarda o provisionamento.

   Quando o provisionamento estiver concluído, a opção ‘ClickStack’ no menu à esquerda será habilitada.

2. ​

   Configure a ingestão

   Depois que seu serviço tiver sido provisionado, verifique se ele está selecionado e clique em “ClickStack” no menu à esquerda.

   

   Selecione “Start Ingestion” e será solicitado que você escolha uma fonte de ingestão. O Managed ClickStack oferece suporte a OpenTelemetry e Vector como suas principais fontes de ingestão. No entanto, os usuários também podem enviar dados diretamente para o ClickHouse em um schema próprio usando qualquer uma das integrações compatíveis com o ClickHouse Cloud.

   

   OpenTelemetry recomendado

   Recomendamos fortemente o uso do OpenTelemetry como formato de ingestão. Ele oferece a experiência mais simples e otimizada, com schemas prontos para uso projetados especificamente para funcionar com eficiência no ClickStack.

   OpenTelemetry

   Para enviar dados do OpenTelemetry para o Managed ClickStack, recomenda-se usar um OpenTelemetry Collector. O collector atua como um gateway que recebe dados do OpenTelemetry das suas aplicações (e de outros collectors) e os encaminha para o ClickHouse Cloud.

   Se você ainda não tiver um em execução, inicie um collector usando as etapas abaixo. Se você já tiver collectors em execução, também disponibilizamos um exemplo de configuração.

   ​

   Inicie um collector

   O conteúdo a seguir presume o caminho recomendado: usar a distribuição ClickStack do OpenTelemetry Collector, que inclui processamento adicional e é otimizada especificamente para o ClickHouse Cloud. Se você quiser usar seu próprio OpenTelemetry Collector, consulte “Configurar collectors existentes.”

   Para começar rapidamente, copie e execute o comando Docker mostrado.

   

   Esse comando já deve incluir suas credenciais de conexão preenchidas.

   Implantação em produção

   Embora esse comando use o usuário default para se conectar ao Managed ClickStack, você deve criar um usuário dedicado ao colocar em produção e ajustar sua configuração.

   Executar esse único comando inicia o ClickStack collector com endpoints OTLP expostos nas portas 4317 (gRPC) e 4318 (HTTP). Se você já tiver instrumentação e agentes do OpenTelemetry, poderá começar imediatamente a enviar dados de telemetria para esses endpoints.

   ​

   Configurar collectors existentes

   Também é possível configurar seus próprios OpenTelemetry Collectors existentes ou usar sua própria distribuição do collector.

   Exportador ClickHouse obrigatório

   Se você estiver usando sua própria distribuição, por exemplo a imagem contrib, verifique se ela inclui o exportador ClickHouse.

   Para isso, fornecemos um exemplo de configuração do OpenTelemetry Collector que usa o exportador ClickHouse com as definições apropriadas e expõe receivers OTLP. Essa configuração corresponde às interfaces e ao comportamento esperados pela distribuição ClickStack.

   

   Para mais detalhes sobre como configurar collectors do OpenTelemetry, consulte “Ingestão com OpenTelemetry.”

   ​

   Iniciar ingestão (opcional)

   Se você tiver aplicações ou infraestrutura existentes para instrumentar com OpenTelemetry, acesse os guias relevantes vinculados na UI.

   Para instrumentar suas aplicações e coletar traces e logs, use os SDKs compatíveis para a sua linguagem, que enviam dados ao seu OpenTelemetry Collector, atuando como gateway para ingestão no Managed ClickStack.

   Os logs podem ser coletados usando OpenTelemetry Collectors executados no modo agent, encaminhando dados para o mesmo collector. Para monitoramento de Kubernetes, siga o guia dedicado. Para outras integrações, consulte nossos guias de início rápido.

   ​

   Dados de demonstração

   Como alternativa, se você não tiver dados existentes, experimente um dos nossos conjuntos de dados de exemplo.

   • Conjunto de dados de exemplo - Carregue um conjunto de dados de exemplo da nossa demonstração pública. Diagnostique um problema simples.
   • Arquivos locais e métricas - Carregue arquivos locais e monitore o sistema no OSX ou Linux usando um OTel collector local.

   
   

   Vector

   Vector é um pipeline de dados de observabilidade de alto desempenho e independente de fornecedor, especialmente popular para ingestão de logs devido à sua flexibilidade e ao baixo consumo de recursos.

   Ao usar o Vector com o ClickStack, os usuários são responsáveis por definir seus próprios esquemas. Esses esquemas podem seguir as convenções do OpenTelemetry, mas também podem ser totalmente personalizados, representando estruturas de eventos definidas pelo usuário.

   Timestamp obrigatório

   O único requisito rígido do Managed ClickStack é que os dados incluam uma coluna de timestamp (ou um campo de tempo equivalente), que pode ser declarada ao configurar a fonte de dados na UI do ClickStack.

   O conteúdo a seguir pressupõe que você tenha uma instância do Vector em execução, pré-configurada com pipelines de ingestão e enviando dados.

   ​

   Criar um banco de dados e uma tabela

   O Vector exige que uma tabela e um esquema sejam definidos antes da ingestão de dados.

   Primeiro, crie um banco de dados. Isso pode ser feito por meio do console do ClickHouse Cloud.

   Por exemplo, crie um banco de dados para logs:

   CREATE DATABASE IF NOT EXISTS logs
   

   Em seguida, crie uma tabela cujo esquema corresponda à estrutura dos seus dados de log. O exemplo abaixo considera um formato clássico de log de acesso do Nginx:

   CREATE TABLE logs.nginx_logs
   (
       `time_local` DateTime,
       `remote_addr` IPv4,
       `remote_user` LowCardinality(String),
       `request` String,
       `status` UInt16,
       `body_bytes_sent` UInt64,
       `http_referer` String,
       `http_user_agent` String,
       `http_x_forwarded_for` LowCardinality(String),
       `request_time` Float32,
       `upstream_response_time` Float32,
       `http_host` String
   )
   ENGINE = MergeTree
   ORDER BY (toStartOfMinute(time_local), status, remote_addr);
   

   Sua tabela deve corresponder ao schema de saída produzido pelo Vector. Ajuste o schema conforme necessário para seus dados, seguindo as práticas recomendadas de schema.

   Recomendamos fortemente que você entenda como as chaves primárias funcionam no ClickHouse e escolha uma chave de ordenação com base nos seus padrões de acesso. Consulte as orientações específicas do ClickStack sobre como escolher uma chave primária.

   Depois que a tabela existir, copie o snippet de configuração exibido. Ajuste a entrada para consumir seus pipelines existentes, bem como a tabela de destino e o banco de dados, se necessário. As credenciais devem vir pré-preenchidas.

   

   Para ver mais exemplos de ingestão de dados com o Vector, consulte “Ingestão com o Vector” ou a documentação do sink ClickHouse do Vector para opções avançadas.

   
   
3. ​

   Acesse a UI do ClickStack

   Selecione ‘Launch ClickStack’ para acessar a UI do ClickStack (HyperDX). Você será autenticado automaticamente e redirecionado.

   OpenTelemetry

   As fontes de dados serão criadas automaticamente para quaisquer dados do OpenTelemetry.

   

   Vector

   Se você estiver usando o Vector, precisará criar suas próprias fontes de dados. Na primeira vez que fizer login, será solicitado que você crie uma. Abaixo, mostramos uma configuração de exemplo para uma fonte de dados de logs.

   

   Essa configuração pressupõe um esquema no estilo Nginx, com uma coluna time_local usada como timestamp. Sempre que possível, esta deve ser a coluna de timestamp declarada na chave primária. Essa coluna é obrigatória.

   Também recomendamos atualizar o Default SELECT para definir explicitamente quais colunas são retornadas na visualização de logs. Se houver campos adicionais disponíveis, como nome do serviço, nível de log ou uma coluna Body, eles também poderão ser configurados. A coluna exibida como timestamp também pode ser substituída caso seja diferente da coluna usada na chave primária da tabela e configurada acima.

   No exemplo acima, não existe uma coluna Body nos dados. Em vez disso, ela é definida usando uma expressão SQL que reconstrói uma linha de log do Nginx a partir dos campos disponíveis.

   Para ver outras opções, consulte a referência de configuração.

   Depois de criada, você deverá ser direcionado para a Search view, onde poderá começar imediatamente a explorar seus dados.

   

   
   

   E é isso — está tudo pronto. 🎉

   Agora, explore o ClickStack: comece pesquisando logs e traces, veja como logs, traces e métricas se correlacionam em tempo real, crie dashboards, explore mapas de serviço, descubra event deltas e patterns e configure alertas para se antecipar aos problemas.

4. ​

   Próximas etapas

   Registre as credenciais padrão

   Se você não registrou suas credenciais padrão durante as etapas acima, vá até o serviço e selecione Connect, anotando a senha e os endpoints HTTP e nativos. Armazene essas credenciais de administrador com segurança, pois elas poderão ser reutilizadas em guias posteriores.

   Para realizar tarefas como provisionar novos usuários ou adicionar outras fontes de dados, consulte o guia de implantação do Managed ClickStack.