Движок PostgreSQL позволяет выполнять запросы SELECT и INSERT к данным, хранящимся на удалённом сервере PostgreSQL.
В настоящее время движок таблицы поддерживает только PostgreSQL версии 12 и выше.
Ознакомьтесь с нашим сервисом Managed Postgres. Благодаря NVMe-хранилищу, физически размещённому рядом с вычислительными ресурсами, он обеспечивает до 10 раз более высокую производительность для рабочих нагрузок, ограниченных скоростью диска, по сравнению с альтернативами, использующими сетевые хранилища, такие как EBS, а также позволяет реплицировать данные из Postgres в ClickHouse с помощью коннектора Postgres CDC в ClickPipes.
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
name1 type1 [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1],
name2 type2 [DEFAULT|MATERIALIZED|ALIAS expr2] [TTL expr2],
...
) ENGINE = PostgreSQL({host:port, database, table, user, password[, schema, [, on_conflict]] | named_collection[, option=value [,..]]})
См. подробное описание запроса CREATE TABLE.
Структура таблицы может отличаться от структуры исходной таблицы PostgreSQL:
- Имена столбцов должны совпадать с именами в исходной таблице PostgreSQL, но можно использовать только часть этих столбцов и в любом порядке.
- Типы столбцов могут отличаться от типов в исходной таблице PostgreSQL. ClickHouse пытается преобразовывать значения в типы данных ClickHouse.
- Настройка external_table_functions_use_nulls определяет, как обрабатывать столбцы с типом Nullable. Значение по умолчанию: 1. Если указано 0, табличная функция не создаёт столбцы с типом Nullable и вставляет значения по умолчанию вместо null. Это также применимо к значениям NULL внутри массивов.
Параметры движка
host:port — адрес сервера PostgreSQL.
database — имя удалённой базы данных.
table — имя удалённой таблицы.
user — пользователь PostgreSQL.
password — пароль пользователя.
schema — схема таблицы, отличная от используемой по умолчанию. Необязательно.
on_conflict — стратегия разрешения конфликтов. Пример: ON CONFLICT DO NOTHING. Необязательно. Примечание: добавление этой опции сделает вставку менее эффективной.
Именованные коллекции (доступны начиная с версии 21.11) рекомендуются для продакшн-окружения. Вот пример:
<named_collections>
<postgres_creds>
<host>localhost</host>
<port>5432</port>
<user>postgres</user>
<password>****</password>
<schema>schema1</schema>
</postgres_creds>
</named_collections>
Некоторые параметры можно переопределить аргументами key-value:
SELECT * FROM postgresql(postgres_creds, table='table1');
SELECT-запросы на стороне PostgreSQL выполняются как COPY (SELECT ...) TO STDOUT внутри PostgreSQL-транзакции в режиме только для чтения, с коммитом после каждого SELECT-запроса.
Простые предложения WHERE, такие как =, !=, >, >=, <, <= и IN, выполняются на сервере PostgreSQL.
Все JOIN, агрегации, сортировка, условия IN [ array ] и ограничение сэмплирования LIMIT выполняются в ClickHouse только после завершения запроса к PostgreSQL.
INSERT-запросы на стороне PostgreSQL выполняются как COPY "table_name" (field1, field2, ... fieldN) FROM STDIN внутри PostgreSQL-транзакции с автокоммитом после каждого оператора INSERT.
Типы Array в PostgreSQL преобразуются в массивы ClickHouse.
Будьте внимательны: в PostgreSQL массив, созданный как type_name[], может содержать многомерные массивы с разным количеством измерений в разных строках одного и того же столбца таблицы. В ClickHouse же допускаются только многомерные массивы с одинаковым количеством измерений во всех строках одного и того же столбца.
Поддерживается несколько реплик, которые должны быть перечислены через |. Например:
CREATE TABLE test_replicas (id UInt32, name String) ENGINE = PostgreSQL(`postgres{2|3|4}:5432`, 'clickhouse', 'test_replicas', 'postgres', 'mysecretpassword');
Поддерживается задание приоритета реплик для источника словаря PostgreSQL. Чем больше число в map, тем ниже приоритет. Наивысший приоритет — 0.
В примере ниже у реплики example01-1 наивысший приоритет:
<postgresql>
<port>5432</port>
<user>clickhouse</user>
<password>qwerty</password>
<replica>
<host>example01-1</host>
<priority>1</priority>
</replica>
<replica>
<host>example01-2</host>
<priority>2</priority>
</replica>
<db>db_name</db>
<table>table_name</table>
<where>id=10</where>
<invalidate_query>SQL_QUERY</invalidate_query>
</postgresql>
</source>
postgres=# CREATE TABLE "public"."test" (
"int_id" SERIAL,
"int_nullable" INT NULL DEFAULT NULL,
"float" FLOAT NOT NULL,
"str" VARCHAR(100) NOT NULL DEFAULT '',
"float_nullable" FLOAT NULL DEFAULT NULL,
PRIMARY KEY (int_id));
CREATE TABLE
postgres=# INSERT INTO test (int_id, str, "float") VALUES (1,'test',2);
INSERT 0 1
postgresql> SELECT * FROM test;
int_id | int_nullable | float | str | float_nullable
--------+--------------+-------+------+----------------
1 | | 2 | test |
(1 row)
Создание таблицы в ClickHouse и подключение к таблице PostgreSQL, созданной выше
В этом примере используется движок таблицы PostgreSQL, чтобы подключить таблицу ClickHouse к таблице PostgreSQL и выполнять в базе данных PostgreSQL операторы SELECT и INSERT:
CREATE TABLE default.postgresql_table
(
`float_nullable` Nullable(Float32),
`str` String,
`int_id` Int32
)
ENGINE = PostgreSQL('localhost:5432', 'public', 'test', 'postgres_user', 'postgres_password');
Вставка исходных данных из таблицы PostgreSQL в таблицу ClickHouse с помощью запроса SELECT
Табличная функция postgresql копирует данные из PostgreSQL в ClickHouse. Это часто используют, чтобы повысить производительность запросов, выполняя запросы и аналитику в ClickHouse, а не в PostgreSQL; также её можно использовать для миграции данных из PostgreSQL в ClickHouse. Поскольку мы будем копировать данные из PostgreSQL в ClickHouse, используем в ClickHouse движок таблицы MergeTree и назовём её postgresql_copy:
CREATE TABLE default.postgresql_copy
(
`float_nullable` Nullable(Float32),
`str` String,
`int_id` Int32
)
ENGINE = MergeTree
ORDER BY (int_id);
INSERT INTO default.postgresql_copy
SELECT * FROM postgresql('localhost:5432', 'public', 'test', 'postgres_user', 'postgres_password');
Вставка инкрементальных данных из таблицы PostgreSQL в таблицу ClickHouse
Если после первоначальной вставки нужно выполнять постоянную синхронизацию между таблицей PostgreSQL и таблицей ClickHouse, в ClickHouse можно использовать предложение WHERE, чтобы вставлять только те данные, которые были добавлены в PostgreSQL на основе временной метки или уникального ID.
Для этого потребуется отслеживать максимальный ID или временную метку, добавленные ранее, например:
SELECT max(`int_id`) AS maxIntID FROM default.postgresql_copy;
Затем вставка значений из таблицы PostgreSQL, превышающих максимальное значение
INSERT INTO default.postgresql_copy
SELECT * FROM postgresql('localhost:5432', 'public', 'test', 'postges_user', 'postgres_password');
WHERE int_id > maxIntID;
Выборка данных из итоговой таблицы ClickHouse
SELECT * FROM postgresql_copy WHERE str IN ('test');
┌─float_nullable─┬─str──┬─int_id─┐
│ ᴺᵁᴸᴸ │ test │ 1 │
└────────────────┴──────┴────────┘
Использование нестандартной схемы
postgres=# CREATE SCHEMA "nice.schema";
postgres=# CREATE TABLE "nice.schema"."nice.table" (a integer);
postgres=# INSERT INTO "nice.schema"."nice.table" SELECT i FROM generate_series(0, 99) as t(i)
CREATE TABLE pg_table_schema_with_dots (a UInt32)
ENGINE PostgreSQL('localhost:5432', 'clickhouse', 'nice.table', 'postgrsql_user', 'password', 'nice.schema');
См. также
Последнее изменение 10 июня 2026 г.