Amazon Redshift 是 Amazon Web Services 提供的一种广受欢迎的云数据仓库解决方案。本指南介绍了将数据从 Redshift 实例迁移到 ClickHouse 的不同方法。我们将介绍三种方案：
从 ClickHouse 实例的角度来看，你可以选择：
-
推送 使用第三方 ETL/ELT 工具或服务将数据推送到 ClickHouse
-
拉取 借助 ClickHouse JDBC Bridge 从 Redshift 拉取数据
-
中转 使用 S3 对象存储，采用“先卸载后加载”的方式
本教程以 Redshift 作为数据源。不过，这里介绍的迁移方法并非 Redshift 独有，对于任何兼容的数据源，都可以参考类似步骤进行迁移。
将数据从 Redshift 推送到 ClickHouse
- 可以利用 ETL/ELT 软件现有的连接器目录。
- 内置数据同步能力 (追加/覆盖/增量逻辑) 。
- 支持数据转换场景 (例如，参阅我们的 dbt 集成指南) 。
- 你需要搭建并维护 ETL/ELT 相关基础设施。
- 这会在架构中引入第三方组件，可能成为潜在的扩展性瓶颈。
从 Redshift 拉取数据到 ClickHouse
INSERT INTO ... SELECT 查询：
- 适用于所有兼容 JDBC 的工具
- 一种优雅的方案，可直接在 ClickHouse 中查询多个外部数据源
- 需要一个 ClickHouse JDBC Bridge 实例，这可能会成为潜在的扩展性瓶颈
尽管 Redshift 基于 PostgreSQL，但无法使用 ClickHouse 的 PostgreSQL 表函数或表引擎，因为 ClickHouse 要求 PostgreSQL 版本为 9 或更高，而 Redshift API 基于更早的版本 (8.x) 。
部署 ClickHouse JDBC Bridge
部署 ClickHouse JDBC Bridge。更多信息请参阅我们的用户指南：外部数据源 JDBC如果您使用的是 ClickHouse Cloud，则需要在单独的环境中运行 ClickHouse JDBC Bridge，并使用 remoteSecure 函数连接到 ClickHouse Cloud 配置您的 Redshift 数据源
为 ClickHouse JDBC Bridge 配置 Redshift 数据源。例如，/etc/clickhouse-jdbc-bridge/config/datasources/redshift.json {
"redshift-server": {
"aliases": [
"redshift"
],
"driverUrls": [
"https://s3.amazonaws.com/redshift-downloads/drivers/jdbc/2.1.0.4/redshift-jdbc42-2.1.0.4.jar"
],
"driverClassName": "com.amazon.redshift.jdbc.Driver",
"jdbcUrl": "jdbc:redshift://redshift-cluster-1.ckubnplpz1uv.us-east-1.redshift.amazonaws.com:5439/dev",
"username": "awsuser",
"password": "<password>",
"maximumPoolSize": 5
}
}
从 ClickHouse 查询您的 Redshift 实例
在 ClickHouse JDBC Bridge 部署完成并运行后，您就可以开始从 ClickHouse 查询 Redshift 实例SELECT *
FROM jdbc('redshift', 'select username, firstname, lastname from users limit 5')
Query id: 1b7de211-c0f6-4117-86a2-276484f9f4c0
┌─username─┬─firstname─┬─lastname─┐
│ PGL08LJI │ Vladimir │ Humphrey │
│ XDZ38RDD │ Barry │ Roy │
│ AEB55QTM │ Reagan │ Hodge │
│ OWY35QYB │ Tamekah │ Juarez │
│ MSD36KVR │ Mufutau │ Watkins │
└──────────┴───────────┴──────────┘
5 rows in set. Elapsed: 0.438 sec.
SELECT *
FROM jdbc('redshift', 'select count(*) from sales')
Query id: 2d0f957c-8f4e-43b2-a66a-cc48cc96237b
┌──count─┐
│ 172456 │
└────────┘
1 rows in set. Elapsed: 0.304 sec.
将数据从 Redshift 导入 ClickHouse
下面演示如何使用 INSERT INTO ... SELECT 语句导入数据# 创建包含 3 列的表
CREATE TABLE users_imported
(
`username` String,
`firstname` String,
`lastname` String
)
ENGINE = MergeTree
ORDER BY firstname
Query id: c7c4c44b-cdb2-49cf-b319-4e569976ab05
Ok.
0 rows in set. Elapsed: 0.233 sec.
INSERT INTO users_imported (*) SELECT *
FROM jdbc('redshift', 'select username, firstname, lastname from users')
Query id: 9d3a688d-b45a-40f4-a7c7-97d93d7149f1
Ok.
0 rows in set. Elapsed: 4.498 sec. Processed 49.99 thousand rows, 2.49 MB (11.11 thousand rows/s., 554.27 KB/s.)
使用 S3 将数据从 Redshift 中转至 ClickHouse
- Redshift 和 ClickHouse 都具备强大的 S3 集成能力。
- 可利用现有功能，例如 Redshift 的
UNLOAD 命令以及 ClickHouse 的 S3 表函数 / 表引擎。
- 得益于 ClickHouse 对 S3 的并行读写和高吞吐能力，可轻松实现扩展。
- 可以利用 Apache Parquet 这类高级压缩格式。
- 该过程需要两个步骤 (先从 Redshift 卸载，再加载到 ClickHouse) 。
使用 UNLOAD 将数据导出到 S3 存储桶
使用 Redshift 的 UNLOAD 功能，将数据导出到现有的私有 S3 存储桶中：这会在 S3 中生成包含原始数据的分片文件在 ClickHouse 中创建表
在 ClickHouse 中创建表：CREATE TABLE users
(
username String,
firstname String,
lastname String
)
ENGINE = MergeTree
ORDER BY username
CREATE TABLE ... EMPTY AS SELECT 尝试推断表结构：CREATE TABLE users
ENGINE = MergeTree ORDER BY username
EMPTY AS
SELECT * FROM s3('https://your-bucket.s3.amazonaws.com/unload/users/*', '<aws_access_key>', '<aws_secret_access_key>', 'CSV')
将 S3 文件加载到 ClickHouse 中
使用 INSERT INTO ... SELECT 语句将 S3 文件加载到 ClickHouse 中：INSERT INTO users SELECT *
FROM s3('https://your-bucket.s3.amazonaws.com/unload/users/*', '<aws_access_key>', '<aws_secret_access_key>', 'CSV')
Query id: 2e7e219a-6124-461c-8d75-e4f5002c8557
Ok.
0 rows in set. Elapsed: 0.545 sec. Processed 49.99 thousand rows, 2.34 MB (91.72 thousand rows/s., 4.30 MB/s.)
此示例使用 CSV 作为中转格式。不过，对于生产工作负载，我们推荐 Apache Parquet 作为大规模迁移的最佳选择，因为它自带压缩，既能缩短传输时间，也能节省部分存储成本。 (默认情况下，每个行组都使用 SNAPPY 压缩。) ClickHouse 还会利用 Parquet 的列式特性来加快数据摄取。
