Vista normal
Vista parametrizada
Vista materializada
OR REPLACE e IF NOT EXISTS son mutuamente excluyentes: combinarlos da lugar a un error de sintaxis.
CREATE OR REPLACE MATERIALIZED VIEW
CREATE OR REPLACE MATERIALIZED VIEW reemplaza de forma atómica una vista materializada existente y su tabla de almacenamiento subyacente (si la hay). La operación requiere un motor de base de datos Atomic o Replicated.
- Sin la cláusula
TO: se elimina la tabla interna anterior y se crea una nueva. Los datos existentes en la tabla interna se pierden, salvo que se especifiquePOPULATE. - Con la cláusula
TO: solo se reemplaza la definición de la vista; la tabla de destino y sus datos no se ven afectados. - Compatible con
REFRESH,ON CLUSTERy todas las opciones del motor.POPULATEsolo se admite en bases de datosAtomic; se rechaza en bases de datosReplicated(consulte la nota sobrePOPULATEmás abajo). - Requiere los privilegios
CREATE VIEWyDROP VIEW.
CREATE OR REPLACE MATERIALIZED VIEW solo es compatible con los motores de base de datos Atomic o Replicated. No es compatible con el motor de base de datos Ordinary.TO [db].[table], debes especificar ENGINE: el motor de tabla para almacenar los datos.
Al crear una vista materializada con TO [db].[table], tampoco puedes usar POPULATE.
Una vista materializada se implementa de la siguiente manera: al insertar datos en la tabla especificada en SELECT, una parte de los datos insertados se transforma mediante esta consulta SELECT, y el resultado se inserta en la vista.
Las vistas materializadas en ClickHouse usan nombres de columna en lugar del orden de las columnas durante la inserción en la tabla de destino. Si algunos nombres de columna no están presentes en el resultado de la consulta
SELECT, ClickHouse usa un valor predeterminado, incluso si la columna no es Nullable. Una práctica segura es añadir alias para cada columna al usar vistas materializadas.Las vistas materializadas en ClickHouse se implementan más bien como triggers de inserción. Si hay alguna agregación en la consulta de la vista, se aplica solo al lote de datos recién insertados. Cualquier cambio en los datos existentes de la tabla de origen (como update, delete, drop partition, etc.) no modifica la vista materializada.Las vistas materializadas en ClickHouse no tienen un comportamiento determinista en caso de error. Esto significa que los bloques que ya se hayan escrito se conservarán en la tabla de destino, pero no se conservarán los bloques posteriores al error.De forma predeterminada, si falla el envío a una de las vistas, la consulta INSERT también fallará, y es posible que algunos bloques no se escriban en la tabla de destino. Esto se puede cambiar usando la configuración materialized_views_ignore_errors (debes establecerla para la consulta INSERT); si configuras materialized_views_ignore_errors=true, se ignorará cualquier error al enviar a las vistas y todos los bloques se escribirán en la tabla de destino.Ten en cuenta también que materialized_views_ignore_errors está establecido en true de forma predeterminada para las tablas system.*_log.POPULATE, los datos existentes de la tabla se insertan en la vista al crearla, como si se hiciera un CREATE TABLE ... AS SELECT .... De lo contrario, la consulta contiene solo los datos insertados en la tabla después de crear la vista. No recomendamos usar POPULATE, ya que los datos insertados en la tabla durante la creación de la vista no se insertarán en ella.
Dado que
POPULATE funciona como CREATE TABLE ... AS SELECT ..., tiene limitaciones:- No es compatible con base de datos
Replicated - No es compatible con ClickHouse Cloud
INSERT ... SELECT por separado.SELECT puede contener DISTINCT, GROUP BY, ORDER BY, LIMIT. Tenga en cuenta que las transformaciones correspondientes se realizan de forma independiente en cada bloque de datos insertados. Por ejemplo, si se establece GROUP BY, los datos se agregan durante la inserción, pero solo dentro de un único paquete de datos insertados. Los datos no se volverán a agregar después. La excepción es cuando se usa un ENGINE que realiza la agregación de datos por sí mismo, como SummingMergeTree.
Si la vista materializada usa la construcción TO [db.]name, puede aplicar DETACH a la vista, ejecutar ALTER en la tabla de destino y luego hacer ATTACH de la vista previamente separada con DETACH.
Tenga en cuenta que la vista materializada se ve afectada por la configuración optimize_on_insert. Los datos se fusionan antes de insertarse en una vista.
Las vistas tienen el mismo aspecto que las tablas normales. Por ejemplo, aparecen en el resultado de la consulta SHOW TABLES.
Para eliminar una vista, use DROP VIEW. Aunque DROP TABLE también funciona para las VIEW.
SQL security
DEFINER y SQL SECURITY permiten especificar qué usuario de ClickHouse se utilizará al ejecutar la consulta subyacente de la vista.
SQL SECURITY tiene tres valores válidos: DEFINER, INVOKER o NONE. Puede especificar cualquier usuario existente o CURRENT_USER en la cláusula DEFINER.
La siguiente tabla explica qué permisos se requieren para cada usuario al seleccionar datos de una vista.
Tenga en cuenta que, independientemente de la opción de SQL security, en todos los casos sigue siendo necesario tener GRANT SELECT ON <view> para poder leer de ella.
| Opción de SQL security | Vista | Vista materializada |
|---|---|---|
DEFINER alice | alice debe tener el privilegio SELECT sobre la tabla fuente de la vista. | alice debe tener el privilegio SELECT sobre la tabla fuente de la vista y el privilegio INSERT sobre la tabla de destino de la vista. |
INVOKER | El usuario debe tener el privilegio SELECT sobre la tabla fuente de la vista. | No se puede especificar SQL SECURITY INVOKER para las vistas materializadas. |
NONE | - | - |
SQL SECURITY NONE es una opción obsoleta. Cualquier usuario con permisos para crear vistas con SQL SECURITY NONE podrá ejecutar cualquier consulta arbitraria.
Por lo tanto, es necesario tener GRANT ALLOW SQL SECURITY NONE TO <user> para crear una vista con esta opción.DEFINER/SQL SECURITY, se usan los valores predeterminados:
SQL SECURITY:INVOKERpara las vistas normales yDEFINERpara las vistas materializadas (configurable en Settings)DEFINER:CURRENT_USER(configurable en Settings)
DEFINER/SQL SECURITY, el valor predeterminado es SQL SECURITY NONE para la vista materializada y SQL SECURITY INVOKER para la vista normal.
Para cambiar SQL security de una vista existente, use
Ejemplos
Live View
Vista materializada actualizable
interval es una secuencia de intervalos simples:
- Si se especifica
APPEND, cada actualización inserta filas en la tabla sin eliminar las existentes. La inserción no es atómica, igual que en una consultaINSERT INTO ... SELECTnormal. - De lo contrario, cada actualización reemplaza atómicamente el contenido previo de la tabla.
- No hay trigger de inserción. Cuando se insertan datos nuevos en la tabla especificada en
SELECT, no se envían automáticamente a la vista materializada actualizable. En su lugar, los datos solo se insertan durante las ejecuciones de actualización periódicas o manuales. - La consulta
SELECTno tiene restricciones. Se permiten funciones de tabla (por ejemplo,url()), vistas, UNION y JOIN.
La configuración de la parte
REFRESH ... SETTINGS de la consulta corresponde a los parámetros de actualización (por ejemplo, refresh_retries), y es distinta de la configuración normal (por ejemplo, max_threads). La configuración normal puede especificarse con SETTINGS al final de la consulta.Programación de actualización
RANDOMIZE FOR ajusta aleatoriamente el momento en que se realiza cada actualización, por ejemplo:
REFRESH EVERY 1 MINUTE tarda 2 minutos en actualizarse, simplemente se actualizará cada 2 minutos. Si después se vuelve más rápida y empieza a actualizarse en 10 segundos, volverá a actualizarse cada minuto. (En particular, no se actualizará cada 10 segundos para compensar actualizaciones omitidas: no existe tal retraso acumulado).
Además, una actualización se inicia inmediatamente después de crear la vista materializada, a menos que se especifique EMPTY en la consulta CREATE. Si se especifica EMPTY, la primera actualización se realiza según la programación.
En una DB Replicated
APPEND, la coordinación puede deshabilitarse con SETTINGS all_replicas = 1. Esto hace que las réplicas realicen las actualizaciones de forma independiente. En este caso, ReplicatedMergeTree no es necesario.
En el modo no APPEND, solo se admite la actualización coordinada. Para una actualización no coordinada, use la base de datos Atomic y la consulta CREATE ... ON CLUSTER para crear vistas materializadas actualizables en todas las réplicas.
La coordinación se realiza mediante Keeper. La ruta del znode se determina mediante la configuración de servidor default_replica_path.
Dependencias de actualización
DEPENDS ON sincroniza las actualizaciones de distintas tablas. Por ejemplo, supongamos que hay una secuencia de dos vistas materializadas actualizables:
DEPENDS ON, ambas vistas empezarán a actualizarse a medianoche, y destination normalmente verá en source los datos de ayer. Si añadimos una dependencia:
destination comenzará solo después de que haya finalizado la actualización de source de ese día, por lo que destination se basará en datos actualizados.
Alternativamente, se puede lograr el mismo resultado con:
1 HOUR puede ser cualquier duración inferior al período de actualización de source. La tabla dependiente no se actualizará con más frecuencia que ninguna de sus dependencias. Esta es una forma válida de configurar una cadena de vistas actualizables sin especificar el período de actualización real más de una vez.
Algunos ejemplos más:
REFRESH EVERY 1 DAY OFFSET 10 MINUTE(destination) depende deREFRESH EVERY 1 DAY(source)
Si la actualización desourcetarda más de 10 minutos,destinationesperará.REFRESH EVERY 1 DAY OFFSET 1 HOURdepende deREFRESH EVERY 1 DAY OFFSET 23 HOUR
Similar al caso anterior, aunque las actualizaciones correspondientes se produzcan en días naturales distintos. La actualización dedestinationdel díaX+1esperará a la actualización desourcedel díaX(si tarda más de 2 horas).REFRESH EVERY 2 HOURdepende deREFRESH EVERY 1 HOUR
La actualización de2 HOURse produce después de la de1 HOURen horas alternas; por ejemplo, después de la actualización de medianoche, luego después de la de las 2 a. m., etc.REFRESH EVERY 1 MINUTEdepende deREFRESH EVERY 2 HOUR
destinationse actualiza una vez después de cada actualización desource, es decir, cada 2 horas. En la práctica,1 MINUTEse ignora.REFRESH AFTER 1 HOURdepende deREFRESH AFTER 1 HOUR
Actualmente, esto no se recomienda.
DEPENDS ON solo funciona entre vistas materializadas actualizables. Incluir una tabla normal en la lista DEPENDS ON impedirá que la vista llegue a actualizarse (las dependencias pueden eliminarse con ALTER; consulta Cambio de los parámetros de actualización).Parámetros de actualización
refresh_retries- Cuántas veces reintentar si la consulta de actualización falla con una excepción. Si fallan todos los reintentos, se pasa a la siguiente hora de actualización programada. 0 significa que no hay reintentos; -1, que los reintentos son infinitos. Predeterminado: 2.refresh_retry_initial_backoff_ms- Retraso antes del primer reintento, sirefresh_retriesno es cero. Cada reintento posterior duplica el retraso, hastarefresh_retry_max_backoff_ms. Predeterminado: 100 ms.refresh_retry_max_backoff_ms- Límite del crecimiento exponencial del retraso entre intentos de actualización. Predeterminado: 60000 ms (1 minuto).all_replicas- En una base de datos Replicated conAPPEND, controla si todas las réplicas se actualizan de forma independiente o si solo una réplica se actualiza en cada momento programado. No se puede cambiar después de crear la vista. Predeterminado:false.prefer_dependency_replica- Cuando la vista tieneDEPENDS ON, la réplica que ejecutó la actualización primaria tiene prioridad para ejecutar la actualización dependiente; las demás réplicas retrasan su intento enprefer_dependency_replica_delay_ms. Es útil conSharedMergeTreepara evitar que el retraso de replicación provoque la falta de datos en cadenas de actualizaciones dependientes. Predeterminado:false.prefer_dependency_replica_delay_ms- Cuánto tiempo esperan las réplicas no preferidas antes de intentar ejecutar una actualización dependiente cuandoprefer_dependency_replicaestá habilitado. Predeterminado: 2000 ms.
Cambiar los parámetros de actualización
ALTER TABLE ... MODIFY REFRESH:
EVERY o AFTER) es obligatoria: la sentencia siempre sustituye todos los parámetros de actualización —la programación, RANDOMIZE FOR, DEPENDS ON y los parámetros de actualización— por los especificados. Todo lo que se omita se restablece a su valor predeterminado (configuración) o se elimina (dependencias, aleatorización).
-
Para cambiar solo los parámetros de actualización (por ejemplo,
refresh_retries), repita la programación actual: -
ALTER TABLE ... MODIFY SETTING refresh_retries = ...no es compatible con las vistas materializadas; debe hacerse medianteMODIFY REFRESH. -
No se admite añadir ni quitar
APPEND. -
La configuración
all_replicasno puede cambiarse después de la creación.
Otras operaciones
system.view_refreshes. En particular, incluye el progreso de la actualización (si está en curso), la hora de la última y de la próxima actualización, y el mensaje de excepción si una actualización falló.
Para detener, iniciar, activar o cancelar actualizaciones manualmente, use SYSTEM STOP|START|REFRESH|WAIT|CANCEL VIEW.
Para esperar a que se complete una actualización, use SYSTEM WAIT VIEW. En particular, resulta útil para esperar a que termine la actualización inicial tras crear una vista.
Dato curioso: la consulta de actualización puede leer de la vista que se está actualizando y ver la versión de los datos anterior a la actualización. Esto significa que puede implementar el juego de la vida de Conway: https://pastila.nl/?00021a4b/d6156ff819c83d490ad2dcec05676865#O0LGWTO7maUQIA4AcGUtlA==
Window View
Esta es una función experimental que puede cambiar de forma incompatible con versiones anteriores en futuras versiones. Habilite el uso de las Window View y de la consulta
WATCH mediante la opción de configuración allow_experimental_window_view. Introduzca el comando set allow_experimental_window_view = 1.MATERIALIZED VIEW. Una window view necesita un motor de almacenamiento interno para guardar datos intermedios. El almacenamiento interno puede especificarse mediante la cláusula INNER ENGINE; la window view usará AggregatingMergeTree como motor interno predeterminado.
Al crear una window view sin TO [db].[table], debe especificar ENGINE, el motor de tabla para almacenar los datos.
Funciones de ventana de tiempo
ATRIBUTOS DE TIEMPO
time_attr de la función de ventana de tiempo en una columna de la tabla o mediante la función now(). La siguiente consulta crea una window view con tiempo de procesamiento.
WATERMARK.
Window view proporciona tres estrategias de watermark:
STRICTLY_ASCENDING: Emite un watermark con la marca temporal máxima observada hasta el momento. Las filas con una marca temporal inferior a la marca temporal máxima no se consideran tardías.ASCENDING: Emite un watermark con la marca temporal máxima observada hasta el momento menos 1. Las filas con una marca temporal igual o inferior a la marca temporal máxima no se consideran tardías.BOUNDED: WATERMARK=INTERVAL. Emite watermarks que corresponden a la marca temporal máxima observada menos el retraso especificado.
WATERMARK:
ALLOWED_LATENESS=INTERVAL. Un ejemplo de gestión de la tardanza es:
SELECT especificada en la window view mediante la sentencia ALTER TABLE ... MODIFY QUERY. La estructura de datos resultante de la nueva consulta SELECT debe ser la misma que la de la consulta SELECT original, con o sin la cláusula TO [db.]name. Tenga en cuenta que los datos de la ventana actual se perderán porque el estado intermedio no se puede reutilizar.
Supervisión de nuevas ventanas
TO para enviar los resultados a una tabla.
LIMIT para definir el número de actualizaciones que se recibirán antes de finalizar la consulta. La cláusula EVENTS puede usarse para obtener una forma abreviada de la consulta WATCH, donde, en lugar del resultado de la consulta, solo se obtiene la watermark más reciente de la consulta.
Configuración
window_view_clean_interval: El intervalo de limpieza de window view, en segundos, para liberar datos obsoletos. El sistema conservará las ventanas que no se hayan activado por completo según la hora del sistema o la configuración deWATERMARK, y eliminará el resto de los datos.window_view_heartbeat_interval: El intervalo de heartbeat, en segundos, para indicar que la consulta watch sigue activa.wait_for_window_view_fire_signal_timeout: Tiempo de espera para recibir la señal de activación de window view durante el procesamiento por tiempo de evento.
Ejemplo
data, cuya estructura es:
WATCH para obtener los resultados.
data,
WATCH debería mostrar los resultados de la siguiente manera:
TO.
*window_view*).
Uso de Window View
- Monitoreo: Agrega y calcula las métricas de los logs a lo largo del tiempo, y envía los resultados a una tabla de destino. El dashboard puede usar la tabla de destino como tabla de origen.
- Análisis: Agrega y preprocesa automáticamente los datos dentro de la ventana de tiempo. Esto puede ser útil al analizar una gran cantidad de logs. El preprocesamiento elimina cálculos repetidos en múltiples consultas y reduce la latencia de las consultas.
- Blog: Cómo trabajar con datos de series temporales en ClickHouse
- Blog: Creación de una solución de observabilidad con ClickHouse - Parte 2 - Trazas
Vistas temporales
- Duración de la sesión Una vista temporal existe solo durante la sesión actual. Se elimina automáticamente cuando la sesión finaliza.
- Sin base de datos No se puede calificar una vista temporal con un nombre de base de datos. Existe fuera de las bases de datos (en el espacio de nombres de la sesión).
-
No replicadas / sin ON CLUSTER
Los objetos temporales son locales a la sesión y no pueden crearse con
ON CLUSTER. - Resolución de nombres Si un objeto temporal (tabla o vista) tiene el mismo nombre que un objeto persistente y una consulta hace referencia a ese nombre sin una base de datos, se usa el objeto temporal.
-
Objeto lógico (sin almacenamiento)
Una vista temporal solo almacena su texto
SELECT(usa internamente el motorView). No conserva datos y no admiteINSERT. -
Cláusula ENGINE
No es necesario especificar
ENGINE; si se indica comoENGINE = View, se ignora o se trata como la misma vista lógica. -
Seguridad / privilegios
Para crear una vista temporal se requiere el privilegio
CREATE TEMPORARY VIEW, que se concede implícitamente medianteCREATE VIEW. -
SHOW CREATE
Use
SHOW CREATE TEMPORARY VIEW view_name;para mostrar el DDL de una vista temporal.
Sintaxis
OR REPLACE no se admite para las vistas temporales (para mantener la coherencia con las tablas temporales). Si necesita “reemplazar” una vista temporal, elimínela y vuelva a crearla.
Ejemplos
No permitidos / limitaciones
CREATE OR REPLACE TEMPORARY VIEW ...→ no permitido (usaDROP+CREATE).CREATE TEMPORARY MATERIALIZED VIEW .../WINDOW VIEW→ no permitido.CREATE TEMPORARY VIEW db.view AS ...→ no permitido (sin calificador de base de datos).CREATE TEMPORARY VIEW view ON CLUSTER 'name' AS ...→ no permitido (los objetos temporales son locales a la sesión).POPULATE,REFRESH,TO [db.table], motores internos y todas las cláusulas específicas de las MV → no aplicables a las vistas temporales.
Notas sobre las consultas distribuidas
Memory), sus datos pueden enviarse a servidores remotos durante la ejecución de consultas distribuidas, del mismo modo que ocurre con las tablas temporales.