Сопоставление типов

Сопоставление типов в ClickHouse и Elasticsearch

Elasticsearch и ClickHouse поддерживают широкий спектр типов данных, но их нижележащее хранилище и модели запросов фундаментально различаются. В этом разделе приведено сопоставление часто используемых типов полей Elasticsearch с их эквивалентами в ClickHouse, где они существуют, а также дан контекст, который поможет при миграции. Если эквивалента нет, в комментариях приведены альтернативы или примечания.

Тип Elasticsearch	Эквивалент в ClickHouse	Примечания
boolean	UInt8 или Bool	В новых версиях ClickHouse Boolean поддерживается как псевдоним для UInt8.
keyword	String	Используется для фильтрации по точному совпадению, группировки и сортировки.
text	String	Возможности полнотекстового поиска в ClickHouse ограничены; токенизация требует пользовательской логики с использованием таких функций, как tokens, в сочетании с функциями для работы с массивами.
long	Int64	64-битное целое число со знаком.
integer	Int32	32-битное целое число со знаком.
short	Int16	16-битное целое число со знаком.
byte	Int8	8-битное целое число со знаком.
unsigned_long	UInt64	64-битное целое число без знака.
double	Float64	64-битное число с плавающей точкой.
float	Float32	32-битное число с плавающей точкой.
half_float	Float32 или BFloat16	Наиболее близкий эквивалент. В ClickHouse нет 16-битного числа с плавающей точкой. В ClickHouse есть BFloat16 — он отличается от half-float IEEE-754: half-float обеспечивает более высокую точность при меньшем диапазоне, тогда как bfloat16 жертвует точностью ради более широкого диапазона, что делает его лучше подходящим для задач машинного обучения.
scaled_float	Decimal(x, y)	Используется для хранения числовых значений с фиксированной точкой.
date	DateTime	Эквивалентные типы даты и времени с точностью до секунды.
date_nanos	DateTime64	ClickHouse поддерживает точность до наносекунд с DateTime64(9).
binary	String, FixedString(N)	Для бинарных полей требуется декодирование из base64.
ip	IPv4, IPv6	Доступны встроенные типы IPv4 и IPv6.
object	Nested, Map, Tuple, JSON	В ClickHouse JSON-подобные объекты можно моделировать с помощью Nested или JSON.
flattened	String	Тип flattened в Elasticsearch хранит целые объекты JSON как отдельные поля, обеспечивая гибкий, бессхемный доступ к вложенным ключам без полного mapping. В ClickHouse похожую функциональность можно реализовать с помощью типа String, но для этого потребуется обработка в materialized view.
nested	Nested	Столбцы ClickHouse Nested предоставляют схожую семантику для сгруппированных вложенных полей, если используется flatten_nested=0.
join	NA	Прямого аналога отношений parent-child нет. В ClickHouse это и не требуется, так как поддерживаются JOIN между таблицами.
alias	Alias модификатор столбца	Псевдонимы поддерживаются через модификатор поля. К таким псевдонимам можно применять функции, например size String ALIAS formatReadableSize(size_bytes)
range types (*_range)	Tuple(start, end) или Array(T)	В ClickHouse нет встроенного типа range, но числовые диапазоны и диапазоны дат можно представить с помощью структур Tuple(start, end) или Array. Для диапазонов IP (ip_range) храните значения CIDR как String и проверяйте их с помощью функций вроде isIPAddressInRange(). В качестве альтернативы можно использовать lookup-словари на основе ip_trie для эффективной фильтрации.
aggregate_metric_double	AggregateFunction(...) и SimpleAggregateFunction(...)	Используйте состояние агрегатной функции и materialized view для моделирования предварительно агрегированных метрик. Все функции агрегации поддерживают состояние агрегатной функции.
histogram	Tuple(Array(Float64), Array(UInt64))	Вручную представляйте бакеты и счётчики с помощью массивов или пользовательских схем.
annotated-text	String	Нет встроенной поддержки поиска с учётом сущностей или аннотаций.
completion, search_as_you_type	NA	Нет встроенного движка для автодополнения или подсказок. Это можно воспроизвести с помощью String и функций поиска.
semantic_text	NA	Нет встроенного семантического поиска — сгенерируйте эмбеддинги и используйте векторный поиск.
token_count	Int32	Используйте на этапе ингестии, чтобы вручную вычислять количество токенов, например с помощью функции length(tokens()), в том числе через материализованный столбец
dense_vector	Array(Float32)	Используйте массивы для хранения эмбеддингов
sparse_vector	Map(UInt32, Float32)	Имитируйте разреженные векторы с помощью map. Встроенной поддержки разреженных векторов нет.
rank_feature / rank_features	Float32, Array(Float32)	Встроенного повышения релевантности во время выполнения запроса нет, но его можно реализовать вручную в логике скоринга.
geo_point	Tuple(Float64, Float64) или Point	Используйте кортеж вида (широта, долгота). Point также доступен как тип ClickHouse.
geo_shape, shape	Ring, LineString, MultiLineString, Polygon, MultiPolygon	Встроенная поддержка геометрических объектов и пространственной индексации.
percolator	NA	Концепция индексации запросов отсутствует. Вместо этого используйте стандартный SQL и incremental materialized views.
version	String	В ClickHouse нет встроенного типа для версий. Храните версии как строки и при необходимости используйте пользовательские функции (UDF) для семантического сравнения. Если нужны запросы по диапазону, рассмотрите нормализацию к числовым форматам.

​

Примечания

• Массивы: в Elasticsearch все поля изначально поддерживают массивы. В ClickHouse массивы должны быть явно определены (например, Array(String)); их преимущество в том, что к конкретным позициям можно обращаться и выполнять по ним запросы, например an_array[1].

• Мультиполя: Elasticsearch позволяет индексировать одно и то же поле несколькими способами (например, и как text, и как keyword). В ClickHouse такой подход нужно моделировать с помощью отдельных столбцов или представлений.

• Типы Map и JSON - в ClickHouse тип Map обычно используется для моделирования динамических структур ключ-значение, таких как resourceAttributes и logAttributes. Этот тип обеспечивает гибкую ингестию без схемы, позволяя добавлять произвольные ключи во время выполнения, — по смыслу это похоже на объекты JSON в Elasticsearch. Однако важно учитывать следующие ограничения:

  • Единый тип значений: столбцы Map в ClickHouse должны иметь согласованный тип значений (например, Map(String, String)). Значения смешанных типов не поддерживаются без приведения.
  • Издержки производительности: доступ к любому ключу в Map требует загрузки всей структуры Map в память, что может негативно сказываться на производительности.
  • Нет подстолбцов: в отличие от JSON, ключи в Map не представлены как настоящие подстолбцы, что ограничивает возможности ClickHouse по эффективному индексированию, сжатию и выполнению запросов.

  Из-за этих ограничений ClickStack отказывается от Map в пользу улучшенного типа JSON в ClickHouse. Тип JSON устраняет многие недостатки Map:

  • Настоящее столбцовое хранение: каждый путь в JSON хранится как подстолбец, что обеспечивает эффективное сжатие, фильтрацию и векторизованное выполнение запросов.

  • Поддержка смешанных типов: разные типы данных (например, целые числа, строки, массивы) могут сосуществовать по одному и тому же пути без приведения или унификации типов.

  • Масштабируемость файловой системы: внутренние ограничения на динамические ключи (max_dynamic_paths) и типы (max_dynamic_types) предотвращают взрывной рост числа файлов столбцов на диске даже для наборов ключей большой мощности.

  • Плотное хранение: null и отсутствующие значения хранятся разреженно, чтобы избежать лишних накладных расходов.

    Тип JSON особенно хорошо подходит для рабочих нагрузок обсервабилити, сочетая гибкость ингестии без схемы с производительностью и масштабируемостью встроенных типов ClickHouse, — это делает его идеальной заменой Map в динамических полях атрибутов.

    Для получения дополнительных сведений о типе JSON рекомендуем руководство по JSON и статью «How we built a new powerful JSON data type for ClickHouse».