描述
入门
用法
版本策略
- API 发生变更时,主版本号递增
- 向后兼容的 SQL 变更会递增次版本号
- 仅涉及二进制文件的变更会递增补丁版本号
- 库版本 (在 PostgreSQL 18 及以上版本中由
PG_MODULE_MAGIC定义) 包含完整的语义化版本号,可在pgch_version()函数的输出或 Postgrespg_get_loaded_modules()函数中查看。 - 扩展版本 (在 control 文件中定义) 仅包含主版本号
和次版本号,可在
pg_catalog.pg_extension表中、pg_available_extension_versions()函数的输出以及\dx pg_clickhouse中查看。
v0.1.0 到 v0.1.1,会让所有已加载 v0.1 的
数据库直接受益,无需运行 ALTER EXTENSION 即可获得升级后的改进。
另一方面,次版本号或主版本号递增的 release
会附带 SQL 升级脚本,所有包含该扩展的现有数据库都必须运行 ALTER EXTENSION pg_clickhouse UPDATE 才能完成升级并获得相应改进。
DDL SQL 参考
CREATE EXTENSION
WITH SCHEMA 将其安装到指定的 schema 中 (推荐) :
ALTER EXTENSION
-
安装 pg_clickhouse 的新版本后,使用
UPDATE子句: -
使用
SET SCHEMA将该扩展移至新的 schema:
DROP EXTENSION
CASCADE 子句可将它们一并删除:
CREATE SERVER
driver:要使用的 ClickHouse 连接驱动,可以是 “binary” 或 “http”。必填。dbname:连接时要使用的 ClickHouse 数据库。默认为 “default”。fetch_size:HTTP 流式传输的近似批次大小 (以字节为单位) 。批次会按 行边界拆分。默认为50000000(50 MB) 。0会禁用 流式传输并缓冲完整响应。外部表可以覆盖该 值。host:ClickHouse 服务器的主机名。默认为 “localhost”;port:连接到 ClickHouse 服务器时使用的端口。默认值 如下:- 如果
driver为 “binary” 且host是 ClickHouse Cloud 主机,则为 9440 - 如果
driver为 “binary” 且host不是 ClickHouse Cloud 主机,则为 9004 - 如果
driver为 “http” 且host是 ClickHouse Cloud 主机,则为 8443 - 如果
driver为 “http” 且host不是 ClickHouse Cloud 主机,则为 8123
- 如果
ALTER SERVER
DROP SERVER
CASCADE 可
一并删除这些依赖对象:
CREATE USER MAPPING
taxi_srv 外部服务器 连接时,可将当前 PostgreSQL 用户映射为远程 ClickHouse 用户:
user:ClickHouse 用户名。默认为 “default”。password:ClickHouse 用户的密码。
ALTER USER MAPPING
DROP USER MAPPING
IMPORT FOREIGN SCHEMA
LIMIT TO 将导入限制到特定表:
EXCEPT 排除表:
CREATE FOREIGN TABLE
database:远程数据库的名称。默认使用为 外部服务器 定义的数据库。fetch_size:HTTP streaming 的近似批次大小 (以字节为单位) 。会覆盖 server 级别的fetch_size。默认值为50000000(50 MB) 。0会禁用 streaming,并缓冲整个响应。table_name:远程表的名称。默认使用为 外部表 指定的名称。engine:ClickHouse 表使用的[表引擎]。对于CollapsingMergeTree()和AggregatingMergeTree(),pg_clickhouse 会自动将参数应用到在该表上执行的函数表达式上。
-
column_name:ClickHouse 侧的列名。在反解析查询和 insert 时,会优先使用该名称,而不是 PostgreSQL attribute 名称。 这对于将未加引号的小写 PostgreSQL 列名映射到 区分大小写的 ClickHouse 列非常有用,例如: -
AggregateFunction:应用于 [AggregateFunction 类型]列的 aggregate function 名称。将数据类型映射为传递给该函数的 ClickHouse 类型, 并通过相应的列选项指定 aggregate function 的名称,pg_clickhouse 会自动为计算该列的 aggregate function 追加Merge。 -
SimpleAggregateFunction:应用于 [SimpleAggregateFunction 类型]列的 aggregate function 名称。将数据类型映射为 传递给该函数的 ClickHouse 类型,并通过相应的 列选项指定 aggregate function 的名称。
ALTER FOREIGN TABLE
DROP FOREIGN TABLE
CASCADE 子句一并将它们删除:
DML SQL 参考
EXPLAIN
VERBOSE 选项会触发输出 ClickHouse “Remote SQL” 查询:
SELECT
nodes 表创建一个本地副本,并连接到该副本,而不是远程表:
node_id 而不是本地列分组,然后稍后再与查找表连接:
node_id 的聚合下推,从而将必须拉回 Postgres 的
行数从 1000 行 (全部
行) 减少到仅 8 行,每个节点一行。
PREPARE, EXECUTE, DEALLOCATE
{param:type} 风格的[查询参数]:
参数:
INSERT
COPY
⚠️ Batch API 限制 pg_clickhouse 尚未支持 PostgreSQL FDW 的批次 insert API。因此,COPY 目前使用 INSERT 语句来 插入记录。后续版本将对此进行改进。
LOAD
SET
pg_clickhouse.session_settings
pg_clickhouse.session_settings 参数用于配置应用于后续查询的 [ClickHouse
设置]。示例:
join_use_nulls 1, group_by_use_nulls 1, final 1。将其设置为空
字符串即可使用 ClickHouse server 的设置。
date_time_output_format:http 驱动要求其为 “iso”format_tsv_null_representation:http 驱动要求使用默认值output_format_tsv_crlf_end_of_line:http 驱动要求使用默认值
pg_clickhouse.session_settings;可以使用[共享库预加载],或者
直接使用该扩展中的任一对象,以确保其已被加载。
pg_clickhouse.pushdown_regex
pg_clickhouse.pushdown_regex 参数用于控制 pg_clickhouse
是否下推正则表达式函数和运算符。默认会进行下推;
将此参数设置为 false 可防止其被下推:
ALTER ROLE
SET 命令,可为特定角色预加载 pg_clickhouse
和/或 SET 其参数:
RESET 命令重置 pg_clickhouse 的预加载
和/或参数:
预加载
session_preload_libraries
数据类型
| ClickHouse | PostgreSQL | 说明 |
|---|---|---|
| Bool | boolean | |
| Date | date | |
| Date32 | date | |
| DateTime | timestamptz | |
| Decimal | numeric | |
| Float32 | real | |
| Float64 | double precision | |
| IPv4 | inet | |
| IPv6 | inet | |
| Int16 | smallint | |
| Int32 | integer | |
| Int64 | bigint | |
| Int8 | smallint | |
| JSON | jsonb, json | |
| String | text, bytea | |
| UInt16 | integer | |
| UInt32 | bigint | |
| UInt64 | bigint | 值大于 BIGINT 最大值时会报错 |
| UInt8 | smallint | |
| UUID | uuid |
BYTEA
SELECT 查询将输出:
函数与算子参考
函数
clickhouse_raw_query
host=localhost port=8123。支持的连接
参数如下:
host:要连接到的主机;必填。port:要连接到的 HTTP 端口;默认为8123,除非host是 ClickHouse Cloud 主机,此时默认值为8443dbname:要连接到的数据库名称。username:连接时使用的用户名;默认为defaultpassword:用于身份验证的密码;默认无密码
EXECUTE 权限;请考虑仅向确实需要执行临时 ClickHouse
查询的角色 GRANT 权限,例如专用的 ClickHouse 管理员角色:
适用于不返回任何记录的查询,但如果查询确实返回值,
则会作为单个文本值返回:
下推函数
pg_clickhouse 会下推条件表达式 (HAVING 和 WHERE 子句) 中使用的一部分 PostgreSQL 内置函数。该子集与 ClickHouse 中对应函数的映射关系如下:
abs: absfactorial: factorialmod(int2/int4/int8/numeric): 取模pow&power(float8/numeric): powround: roundsin,cos,tan,atan,atan2,sinh,cosh,tanh,asinh,degrees,radians,pi:对应同名的 ClickHouse math functions。asin、acos、atanh、acosh不会下推:对于超出范围的输入,PG 会报错,而 CH 会返回NaN。date_part:date_part('day'): toDayOfMonthdate_part('doy'): toDayOfYeardate_part('dow'): toDayOfWeekdate_part('year'): toYeardate_part('month'): toMonthdate_part('hour'): toHourdate_part('minute'): toMinutedate_part('second'): toSeconddate_part('quarter'): toQuarterdate_part('isoyear'): toISOYeardate_part('week'): toISOYeardate_part('epoch'): toISOYear
date_trunc:date_trunc('week'): toMondaydate_trunc('second'): toStartOfSeconddate_trunc('minute'): toStartOfMinutedate_trunc('hour'): toStartOfHourdate_trunc('day'): toStartOfDaydate_trunc('month'): toStartOfMonthdate_trunc('quarter'): toStartOfQuarterdate_trunc('year'): toStartOfYear
extract(field FROM source): 映射与date_part一致date(timestamp)&date(timestamptz): toDate (反解析后为 CH 别名date)array_position:indexOfarray_cat: arrayConcatarray_append: arrayPushBackarray_prepend: arrayPushFrontarray_remove: arrayRemovearray_length&cardinality:lengtharray_to_string: arrayStringConcatstring_to_array: splitByStringsplit_part:splitByString + 数组下标trim_array: arrayResizearray_fill: arrayWithConstantarray_reverse: arrayReversearray_shuffle: arrayShufflearray_sample: arrayRandomSamplearray_sort: arraySort / arrayReverseSortbtrim: trimBothltrim: ltrimrtrim: rtrimconcat_ws: concatWithSeparatorlower(text): lowerUTF8upper(text): upperUTF8substring(text, ...)&substr(text, ...): substringUTF8substring(bytea, ...)&substr(bytea, ...): 子串length(text): lengthUTF8length(bytea)&octet_length: lengthreverse(text): reverseUTF8reverse(bytea): reversestrpos:positionUTF8regexp_like: 匹配regexp_replace:对应 replaceRegexpOne;当存在g标志时,对应 replaceRegexpOneregexp_split_to_array: splitByRegexpmd5: MD5json_extract_path_text: 子列语法json_extract_path: toJSONString + 子列语法jsonb_extract_path_text: 子列语法jsonb_extract_path:toJSONString + 子列语法bit_count(bytea): bitCountto_timestamp(float8): fromUnixTimestampto_char(timestamp[tz], fmt): formatDateTime 当fmt是一个字符串常量,且其中每个关键字在 ClickHouse 中都能找到完全对应的等价写法时。有关支持的关键字,请参阅 Compatibility Notes 中的 to_char()。否则,该函数会在 PostgreSQL 本地执行。statement_timestamp,transaction_timestamp, &clock_timestamp: nowInBlock64 (nowInBlock64(9, $session_timezone))CURRENT_DATE: now 和 toDate (toDate(now($session_timezone)))now,CURRENT_TIMESTAMP, &LOCALTIMESTAMP: now64 (now64(9, $session_timezone))CURRENT_TIMESTAMP(n)&LOCALTIMESTAMP(n): now64 (now64(n, $session_timezone))CURRENT_DATABASE:由 PostgreSQL 函数作为值传入。CURRENT_SCHEMA:作为值从 PostgreSQL 函数中传入。CURRENT_CATALOG:作为值从 PostgreSQL 函数传入。CURRENT_USER:作为值由 PostgreSQL 函数传递。USER:作为值从 PostgreSQL 函数传递。CURRENT_ROLE:其值由 PostgreSQL 函数传递。SESSION_USER:作为值从 PostgreSQL 函数中传入。
下推运算符
- 数组切片 (
arr[L:U]): arraySlice @>(数组包含) : hasAll<@(数组包含于) : hasAll&&(数组有交集) : hasAny~(正则表达式匹配) : match!~(正则表达式不匹配) : match~*(不区分大小写的正则表达式无匹配) : match!~*(不区分大小写的正则表达式不匹配) : match->>(将 JSON/JSONB 中的元素提取为文本) : 子列语法->(提取 JSON/JSONB) : toJSONString + 子列语法
自定义函数
pg_clickhouse 创建的自定义函数,为部分在 PostgreSQL 中没有对应实现的 ClickHouse 函数提供外部查询下推支持。如果其中任何函数无法下推,就会引发异常。
扩展下推
re2
re2match→ matchre2extract→ extractre2extractall→ extractAllre2regexpextract→ regexpExtractre2extractgroups→ extractGroupsre2replaceregexpone→ replaceRegexpOnere2replaceregexpall→ replaceRegexpAllre2countmatches→ countMatchesre2countmatchescaseinsensitive→ countMatchesCaseInsensitivere2multimatchany→ multiMatchAnyre2multimatchanyindex→ multiMatchAnyIndexre2multimatchallindices→ multiMatchAllIndices
intarray
idx→ indexOf
fuzzystrmatch
soundex:soundexlevenshtein(两个参数) :editDistanceUTF8
下推类型转换
CAST(x AS bigint) 这类类型转换。对于不兼容的类型,下推会失败;例如,如果本例中的 x 是 ClickHouse 的 UInt64,ClickHouse 将拒绝进行该类型转换。
为了将类型转换下推到不兼容的数据类型,pg_clickhouse 提供了以下函数。如果这些函数未被下推,就会在 PostgreSQL 中引发异常。
下推聚合
自定义聚合函数
pg_clickhouse 创建的自定义聚合函数,为部分在 PostgreSQL
中没有对应函数的 ClickHouse 聚合函数提供外部
查询下推支持。如果这些函数中有任何一个无法下推,就会抛出
异常。
下推有序集合聚合函数
ORDER BY 表达式作为 实参 传递。例如,以下 PostgreSQL 查询:
ORDER BY 后缀 DESC 和 `NULLS FIRST“ 不受支持,并会报错。
percentile_cont(double): quantilequantile(double): quantilequantileExact(double): quantileExact
下推窗口函数
OVER (PARTITION BY ... ORDER BY ...) 子句的形式;在适用时,也包括窗口帧定义。
- row_number
- rank
- dense_rank
- ntile
- cume_dist
- percent_rank
- lead
- lag
- first_value
- last_value
- nth_value
min/max(带OVER子句)
row_number、rank、dense_rank、ntile、cume_dist、
percent_rank) 在下推时会省略其窗口帧子句,因为 ClickHouse
不支持为这些函数指定窗口帧。
兼容性说明
正则表达式
-
PostgreSQL 支持 POSIX Regular Expressions,而 ClickHouse 支持
RE2 Regular Expressions。请注意它们在行为上的差异:当正则表达式将由 ClickHouse
计算时 (例如在
WHERE子句中) ,应编写 RE2;当其将由 Postgres 计算时 (例如在SELECT子句中) ,应编写 POSIX。 -
pg_clickhouse 会将 Postgres 的 [Regex flags] 前置到
ClickHouse 正则表达式的
(?)中,从而实现下推。例如:会变成请注意这里包含了-s;这是为了禁用 ClickHouse 默认启用的s, 从而使其行为与 Postgres 正则表达式保持一致。 如果 Postgres 函数调用中的标志包含s,pg_clickhouse 则不会加入-s。 遗憾的是,这种行为会破坏 Postgres 24 及更早版本中某些正则表达式的兼容性。 -
两者唯一共同支持、因此可在由 ClickHouse 计算时使用的标志有:
i: 不区分大小写m: 多行模式s: 让.匹配\np: 部分换行敏感匹配 (与s的处理方式相同)t: 紧凑语法 (默认值,会被 pg_clickhouse 移除)
- 传递给正则表达式函数的任何其他标志都会导致该函数无法下推。
-
例外情况是
regexp_replace(),它还支持g标志。当设置了g时,pg_clickhouse 会使用replaceRegexpAll()而不是replaceRegexpOne(),并在前置其他标志之前移除该标志。 -
Postgres
regexp_replace()的 replacement 参数支持使用\&表示整个匹配,而 ClickHouse 则使用\0表示整个匹配。 当该函数下推到 ClickHouse 时,请务必使用\0。
to_char()
timestamp 和 timestamp with time zone,PostgreSQL 的 to_char()
只有在其格式实参为非 NULL 的字符串常量,且其中每个 PostgreSQL 关键字都能找到
与 ClickHouse 完全逐字节一致的对应项时,才会下推到 ClickHouse formatDateTime。
如果格式是动态的 (不是 Const) ,或包含任何不受支持的关键字或 modifier,
则该调用会回退为在 PostgreSQL 本地求值——绝不会在部分翻译的情况下尝试下推,
因此输出会保持与 PG 兼容。
用于 numeric、interval 及其他
非 timestamp 类型的双参数 to_char() 形式永远不会下推;ClickHouse formatDateTime 仅
用于格式化日期时间值。
已转换的关键字
| PostgreSQL | ClickHouse | 含义 |
|---|---|---|
YYYY, yyyy | %Y | 4 位年份 |
YY, yy | %y | 2 位年份 |
MM, mm | %m | 补零的月份 (01–12) |
DD, dd | %d | 补零的日 (01–31) |
DDD, ddd | %j | 补零的一年中的第几天 (001–366) |
HH24, hh24 | %H | 补零的 24 小时制小时 (00–23) |
HH, hh, HH12, hh12 | %I | 补零的 12 小时制小时 (01–12) |
MI, mi | %i | 补零的分钟 (00–59) |
SS, ss | %S | 补零的秒 (00–59) |
Q, q | %Q | 季度 (1–4) |
Mon | %b | 月份名称缩写,例如 Oct |
Dy | %a | 星期名称缩写,例如 Mon |
AM, PM | %p | 上下午标识,始终为大写 |
引用文本和字面量
"..." 包裹的文本会原样传递,其中任何字面的 %
都会加倍为 %%,以转义 ClickHouse 的说明符前缀。引号外的 \"
也会作为字面量 " 原样传递。在 "..." 内部,反斜杠
只会转义 ";其他反斜杠序列都会被视为字面文本。
David E. Wheeler