urlCluster

Permet de traiter en parallèle des fichiers à partir d’une URL depuis plusieurs nœuds d’un cluster spécifié. Sur l’initiateur, une connexion est établie avec tous les nœuds du cluster, l’astérisque présent dans le chemin de fichier de l’URL est développé, puis chaque fichier est réparti dynamiquement. Sur le nœud worker, celui-ci demande à l’initiateur la tâche suivante à traiter, puis la traite. Cette opération est répétée jusqu’à ce que toutes les tâches soient terminées.

Syntaxe

urlCluster(cluster_name, URL, format, structure)

Arguments

Argument	Description
`cluster_name`	Nom d’un cluster servant à construire un ensemble d’adresses et de paramètres de connexion pour des serveurs distants et locaux.
`URL`	Adresse d’un serveur HTTP ou HTTPS pouvant accepter des requêtes `GET`. Type : String.
`format`	Format des données. Type : String.
`structure`	Structure de la table au format `'UserID UInt64, Name String'`. Détermine les noms et les types des colonnes. Type : String.

Valeur renvoyée

Une table au format et à la structure spécifiés, contenant les données de l’URL définie.

Exemples

Récupération des 3 premières lignes d’une table contenant des colonnes de type String et UInt32 depuis un serveur HTTP qui répond au format CSV.

Créez un serveur HTTP simple à l’aide des outils standard de Python 3, puis démarrez-le :

from http.server import BaseHTTPRequestHandler, HTTPServer

class CSVHTTPServer(BaseHTTPRequestHandler):
    def do_GET(self):
        self.send_response(200)
        self.send_header('Content-type', 'text/csv')
        self.end_headers()

        self.wfile.write(bytes('Hello,1\nWorld,2\n', "utf-8"))

if __name__ == "__main__":
    server_address = ('127.0.0.1', 12345)
    HTTPServer(server_address, CSVHTTPServer).serve_forever()

SELECT * FROM urlCluster('cluster_simple','http://127.0.0.1:12345', CSV, 'column1 String, column2 UInt32')

Globs dans l’URL

Les motifs dans { } sont utilisés pour générer un ensemble de shards ou pour spécifier des adresses de basculement. Pour connaître les types de motifs pris en charge ainsi que des exemples, consultez la description de la fonction remote. Le caractère | à l’intérieur des motifs est utilisé pour spécifier des adresses de basculement. Celles-ci sont parcourues dans le même ordre que celui dans lequel elles sont listées dans le motif. Le nombre d’adresses générées est limité par le paramètre glob_expansion_max_elements. Les adresses sont générées une par une à mesure que les tâches sont confiées aux nœuds du cluster. Ainsi, glob_expansion_max_elements limite le nombre d’adresses qu’une requête peut lire plutôt que la taille du motif, comme l’explique la documentation de la fonction url. Un prédicat _path ou _file est appliqué à chaque adresse lors de sa génération : les adresses qu’il rejette sont donc elles aussi générées et comptabilisées dans cette limite ; seules celles qui satisfont le prédicat sont transmises.

Référence SQL

Types de données

Moteurs

Fonctions

Formats

Paramètres

Tables système

Lacs de données

Syntaxe

Arguments

Valeur renvoyée

Exemples

Globs dans l’URL

​Syntaxe

​Arguments

​Valeur renvoyée

​Exemples

​Globs dans l’URL

​Voir aussi

Syntaxe

Arguments

Valeur renvoyée

Exemples

Globs dans l’URL

Voir aussi