urlCluster

Permite procesar archivos desde una URL en paralelo desde varios nodos de un clúster especificado. En el iniciador, crea una conexión con todos los nodos del clúster, expande el asterisco en la ruta del archivo de la URL y distribuye dinámicamente cada archivo. En el nodo worker, le pregunta al iniciador cuál es la siguiente tarea que debe procesar y la procesa. Esto se repite hasta que se hayan completado todas las tareas.

Sintaxis

urlCluster(cluster_name, URL, format, structure)

Argumentos

Argumento	Descripción
`cluster_name`	Nombre de un clúster que se utiliza para construir un conjunto de direcciones y parámetros de conexión para servidores remotos y locales.
`URL`	Dirección del servidor HTTP o HTTPS que puede aceptar solicitudes `GET`. Tipo: String.
`format`	Formato de los datos. Tipo: String.
`structure`	Estructura de la tabla en el formato `'UserID UInt64, Name String'`. Determina los nombres y tipos de las columnas. Tipo: String.

Valor devuelto

Una tabla con el formato y la estructura especificados, y con datos de la URL indicada.

Ejemplos

Obtener las 3 primeras líneas de una tabla que contiene columnas de tipo String y UInt32 de un servidor HTTP que responde en formato CSV.

Cree un servidor HTTP básico con las herramientas estándar de Python 3 e inícielo:

from http.server import BaseHTTPRequestHandler, HTTPServer

class CSVHTTPServer(BaseHTTPRequestHandler):
    def do_GET(self):
        self.send_response(200)
        self.send_header('Content-type', 'text/csv')
        self.end_headers()

        self.wfile.write(bytes('Hello,1\nWorld,2\n', "utf-8"))

if __name__ == "__main__":
    server_address = ('127.0.0.1', 12345)
    HTTPServer(server_address, CSVHTTPServer).serve_forever()

SELECT * FROM urlCluster('cluster_simple','http://127.0.0.1:12345', CSV, 'column1 String, column2 UInt32')

Globs en la URL

Los patrones entre { } se usan para generar un conjunto de segmentos o para especificar direcciones de failover. Para ver los tipos de patrones admitidos y ejemplos, consulte la descripción de la función remote. El carácter | dentro de los patrones se usa para especificar direcciones de failover. Se recorren en el mismo orden en que aparecen en el patrón. El número de direcciones generadas está limitado por el ajuste glob_expansion_max_elements. Las direcciones se generan una a una a medida que se asignan tareas a los nodos del cluster, por lo que glob_expansion_max_elements limita cuántas direcciones puede leer una sola consulta, no el tamaño del patrón, tal como se describe para la función url. Los predicados sobre _path o _file se aplican a cada dirección en el momento en que se genera, de modo que las direcciones descartadas también se generan y cuentan para el límite; solo se envían las que coinciden.

Referencia de SQL

Tipos de datos

Motores

Funciones

Formatos

Configuración

Tablas del sistema

Lagos de datos

Sintaxis

Argumentos

Valor devuelto

Ejemplos

Globs en la URL

​Sintaxis

​Argumentos

​Valor devuelto

​Ejemplos

​Globs en la URL

​Relacionados

Sintaxis

Argumentos

Valor devuelto

Ejemplos

Globs en la URL

Relacionados