Реестры схем для Kafka ClickPipe

Как интегрировать ClickPipes с реестром схем для управления схемами.

ClickPipes поддерживает интеграцию с реестром схем для декодирования топиков в форматах Avro и Protobuf.

​

Поддерживаемые реестры схем для Kafka ClickPipes

Поддерживаются реестры схем, совместимые с API Confluent Schema Registry. К ним относятся:

• Confluent Schema Registry
• Redpanda Schema Registry

ClickPipes пока не поддерживает AWS Glue Schema Registry и Azure Schema Registry. Если вам нужна поддержка этих реестров схем, обратитесь к нашей команде.

​

Конфигурация

Чтобы интегрироваться с реестром схем при настройке ClickPipes, необходимо использовать один из следующих способов:

1. Укажите полный путь к subject схемы (например, https://registry.example.com/subjects/events)
   • При необходимости можно указать конкретную версию, добавив /versions/[version] к URL (в противном случае ClickPipes получит последнюю версию).
2. Укажите полный путь к ID схемы (например, https://registry.example.com/schemas/ids/1000)
3. Укажите корневой URL реестра схем (например, https://registry.example.com)

​

Как это работает

ClickPipes динамически получает и применяет схему из настроенного реестра схем.

• Если в сообщении есть встроенный ID схемы, он будет использован для получения схемы.
• Если в сообщении нет встроенного ID схемы, для получения схемы будет использован ID схемы или имя subject, указанные в конфигурации ClickPipe.
• Если сообщение записано без встроенного ID схемы и в конфигурации ClickPipe не указан ни ID схемы, ни имя subject, схема не будет получена, а сообщение будет пропущено; в таблицу ошибок ClickPipes будет записана ошибка SOURCE_SCHEMA_ERROR.
• Если сообщение не соответствует схеме, оно будет пропущено; в таблицу ошибок ClickPipes будет записана ошибка DATA_PARSING_ERROR.
• Только для схем Protobuf: ClickPipes загрузит все импортированные схемы, указанные как зависимости. Схемы Avro с внешними ссылками пока не поддерживаются.

​

Сопоставление схемы

К сопоставлению между полученной схемой и целевой таблицей ClickHouse применяются следующие правила:

• Если схема содержит поле, которое отсутствует в сопоставлении с целевой таблицей ClickHouse, это поле игнорируется.
• Если в схеме отсутствует поле, определённое в сопоставлении с целевой таблицей ClickHouse, соответствующий столбец ClickHouse будет заполнен “нулевым” значением, например 0 или пустой строкой. Обратите внимание, что выражения DEFAULT не поддерживаются.
• Если поле схемы и столбец ClickHouse несовместимы, вставка этой строки/сообщения завершится ошибкой, и ошибка будет записана в таблицу ошибок ClickPipes. Обратите внимание, что поддерживаются некоторые неявные преобразования (например, между числовыми типами), но не все (например, поле записи Avro нельзя вставить в столбец ClickHouse типа Int32).