Real-time аналитика

Узнайте, как создавать приложения для Real-time аналитики в ClickHouse Cloud, чтобы мгновенно получать ценные аналитические данные и принимать решения на основе данных

В аналитике “реальное время” обычно означает, что для пользователя всё происходит как будто вживую. Пользователь обновляет панель мониторинга, открывает таблицу лидеров или разбирает инцидент и ожидает, что данные будут отражать то, что произошло только что. С технической точки зрения это означает не просто обеспечивать выполнение аналитических запросов с низкой задержкой, но и делать это при непрерывной вставке больших объёмов данных.

​

Свойства системы Real-time аналитики

Когда клиенты оценивают платформу Real-time аналитики, они часто сосредотачиваются только на задержке запросов. «Может ли она вернуть ответ за 50 мс?» — вполне разумный вопрос, и большинство аналитических движков могут уверенно ответить на него утвердительно, если выделить достаточно вычислительных ресурсов для статического набора данных.

Но вопрос, который определяет реальный пользовательский опыт, сложнее. Он в том, может ли система вернуть ответ за 50 мс по данным, поступившим секунду назад, пока ингестия всё ещё продолжается и другие пользователи тоже выполняют запросы.

Чтобы оценить доступность данных, нужно смотреть на сквозное время от поступления данных до получения результата, у которого есть три составляющие.

• Время на приём: Сколько времени требуется, чтобы новые данные попали в платформу и были надёжно сохранены?
• Время на преобразование и подготовку: Сколько времени требуется, чтобы очистить данные, обогатить их, выполнить JOIN, предварительную агрегацию или обновить структуры, обслуживающие запросы (materialized views, rollups, индексы)?
• Время на выполнение запроса: Сколько времени требуется, чтобы построить план и выполнить чтение после того, как данные стали доступны?

​

Как ClickHouse обеспечивает Real-time аналитику