データインジェスト - ClickHouse Documentation

ClickHouse は、データインテグレーションや変換のためのさまざまなソリューションと連携できます。詳細については、以下のページを参照してください。

データインジェストツール	説明
Airbyte	オープンソースのデータインテグレーションプラットフォームです。ELT データパイプラインを作成でき、140 を超える標準搭載コネクタが付属しています。
Apache Spark	単一ノードのマシンまたはクラスター上で、データエンジニアリング、データサイエンス、機械学習を実行するためのマルチ言語エンジンです。
Apache Flink	Flink の DataStream API を介して ClickHouse にリアルタイムでデータを取り込み、バッチ書き込みにも対応します。
Amazon Glue	Amazon Web Services (AWS) が提供する完全マネージド型のサーバーレスなデータインテグレーションサービスで、分析、機械学習、アプリケーション開発向けに、データの検出、準備、変換を簡素化します。
Artie	本番データを ClickHouse にレプリケートする完全マネージド型のリアルタイムデータストリーミングプラットフォームで、顧客向け分析、運用ワークフロー、本番環境での Agentic AI を実現します。
Azure Synapse	Microsoft Azure が提供する完全マネージド型のクラウドベース分析サービスで、ビッグデータとデータウェアハウジングを組み合わせ、SQL、Apache Spark、データパイプラインを使用した大規模なデータインテグレーション、変換、分析を簡素化します。
Azure Data Factory	大規模なデータワークフローを作成、スケジュール、オーケストレーションできるクラウドベースのデータインテグレーションサービスです。
Apache Beam	開発者がバッチおよびストリーム (連続) データ処理パイプラインの両方を定義して実行できる、オープンソースの統一プログラミングモデルです。
BladePipe	サブ秒レベルのレイテンシーで、プラットフォーム間のシームレスなデータフローを実現するリアルタイムのエンドツーエンドデータインテグレーションツールです。
dbt	SELECT 文を記述するだけで、分析エンジニアがデータウェアハウス内のデータを変換できるようにします。
dlt	Python スクリプトに追加することで、さまざまな、しばしば複雑なデータソースから、適切に構造化されたライブデータセットへデータを読み込めるオープンソースライブラリです。
Estuary	柔軟なデプロイオプションにより、ミリ秒レベルのレイテンシーを持つ ETL パイプラインを実現するデータプラットフォームです。
Fivetran	クラウドデータプラットフォーム間、およびそれらへの入力・それらからの出力を含むデータ移動を自動化するプラットフォームです。
NiFi	ソフトウェアシステム間のデータフローを自動化するために設計された、オープンソースのワークフロー管理ソフトウェアです。
Vector	組織が自社のオブザーバビリティデータを制御できるようにする、高性能なオブザーバビリティデータパイプラインです。