Skip to main content

​
detectCharset

Introduite dans : v22.2.0
Cette fonction est expérimentale et peut évoluer de manière imprévisible, avec des changements non rétrocompatibles dans les versions futures. Définissez allow_experimental_nlp_functions = 1 pour l’activer.
Détecte le jeu de caractères d’une chaîne d’entrée encodée dans un format non UTF8. Syntaxe
Arguments
  • s — Le texte à analyser. String
Valeur renvoyée Renvoie une chaîne contenant le code du jeu de caractères détecté String Exemples Utilisation de base
Query
Response

​
detectLanguage

Introduit dans : v22.2.0
Cette fonction est expérimentale et peut changer de manière imprévisible, avec des modifications non rétrocompatibles, dans de futures versions. Définissez allow_experimental_nlp_functions = 1 pour l’activer.
Détecte la langue de la chaîne d’entrée encodée en UTF8. La fonction utilise la bibliothèque CLD2 pour la détection et renvoie le code de langue ISO à 2 lettres. Plus l’entrée est longue, plus la détection de la langue sera précise. Syntaxe
Arguments
  • text_to_be_analyzed — Le texte à analyser. String
Valeur renvoyée Renvoie le code ISO à 2 lettres de la langue détectée. Autres résultats possibles : un = inconnu, aucune langue n’a pu être détectée, other = la langue détectée n’a pas de code à 2 lettres. String Exemples Utilisation de base
Query
Response

​
detectLanguageMixed

Introduit dans : v22.2.0
Cette fonction est expérimentale et peut évoluer de façon imprévisible, avec des changements non rétrocompatibles, dans les futures versions. Définissez allow_experimental_nlp_functions = 1 pour l’activer.
Semblable à la fonction detectLanguage, detectLanguageMixed renvoie une Map de codes de langue à 2 lettres associés au pourcentage de chaque langue dans le texte. Syntaxe
Arguments
  • s — Le texte à analyser String
Valeur renvoyée Renvoie une map dont les clés sont des codes ISO à 2 lettres et les valeurs correspondantes le pourcentage du texte détecté pour cette langue Map(String, Float32) Exemples Langues mixtes
Query
Response

​
detectLanguageUnknown

Introduit dans : v22.2.0
Cette fonction est expérimentale et peut évoluer de manière imprévisible, avec des changements non rétrocompatibles, dans les versions futures. Définissez allow_experimental_nlp_functions = 1 pour l’activer.
Semblable à la fonction detectLanguage, à la différence que la fonction detectLanguageUnknown fonctionne avec des chaînes non encodées en UTF8. Préférez cette version si votre jeu de caractères est UTF-16 ou UTF-32. Syntaxe
Arguments
  • s — Le texte à analyser. String
Valeur renvoyée Renvoie le code ISO à 2 lettres de la langue détectée. Autres résultats possibles : un = inconnu, aucune langue n’a pu être détectée, other = la langue détectée n’a pas de code à 2 lettres. String Exemples Utilisation de base
Query
Response

​
lemmatize

Introduit dans : v21.9.0
Cette fonction est expérimentale et peut évoluer de façon imprévisible, avec des changements non rétrocompatibles, dans les versions futures. Définissez allow_experimental_nlp_functions = 1 pour l’activer.
Effectue la lemmatisation d’un mot donné. Cette fonction nécessite des dictionnaires pour fonctionner, disponibles sur GitHub. Pour plus de détails sur le chargement d’un dictionnaire à partir d’un fichier local, consultez la page “Définition des dictionnaires”. Syntaxe
Arguments
  • lang — Langue dont les règles seront utilisées. String
  • word — Mot en minuscules à lemmatiser. String
Valeur renvoyée Renvoie la forme lemmatisée du mot String Exemples Lemmatisation en anglais
Query
Response

​
stem

Introduit dans : v21.9.0 Effectue le stemming d’un mot ou d’un tableau de mots à l’aide des algorithmes Snowball. Chaque chaîne d’entrée doit être un seul mot en minuscules ; les chaînes contenant des espaces provoquent une exception. La présence de caractères majuscules produit des résultats indéfinis. Renvoie String pour les entrées scalaires (y compris FixedString) et Array(String) pour les entrées de tableau. Les variantes Nullable et LowCardinality de String et FixedString sont prises en charge. La liste des identifiants de langue pris en charge est disponible dans system.stemmers. Syntaxe
Arguments
  • word — Un mot unique en minuscules (ou un tableau de mots) à soumettre à la racinisation. Doit être en minuscules — la présence de caractères majuscules produit des résultats indéfinis. Accepte String, FixedString, Array(String), Array(FixedString), Array(Nullable(String)) ou Array(Nullable(FixedString)). String ou FixedString ou Array(String) ou Array(FixedString)
  • language — Langue dont les règles de racinisation seront appliquées. Les identifiants canoniques sont répertoriés dans system.stemmers (par ex. ‘english’, ‘german’, ‘porter’). Snowball accepte également les codes ISO 639 à 2 ou 3 lettres (par ex. ‘en’, ‘eng’) comme alias lorsqu’ils sont définis, mais la couverture varie selon la langue — privilégiez les noms de system.stemmers pour une meilleure portabilité. String
Valeur renvoyée La forme racinisée du mot (String), ou un tableau de mots racinisés (Array(String)). String ou Array(String) Exemples Racinisation d’un mot unique
Query
Response
Racinisation d’un tableau de mots
Query
Response
Racinisation d’une valeur FixedString
Query
Response
Racinisation d’un mot de type Nullable
Query
Response

​
synonyms

Introduit dans : v21.9.0
Cette fonction est expérimentale et peut évoluer de façon imprévisible, avec des changements non rétrocompatibles, dans les futures versions. Définissez allow_experimental_nlp_functions = 1 pour l’activer.
Trouve les synonymes d’un mot donné. Il existe deux types d’extensions de synonymes :
  • plain
  • wordnet
Avec le type d’extension plain, vous devez fournir le chemin vers un fichier texte simple, dans lequel chaque ligne correspond à un ensemble de synonymes donné. Les mots de cette ligne doivent être séparés par des espaces ou des tabulations. Avec le type d’extension wordnet, vous devez fournir le chemin vers un répertoire contenant le thésaurus WordNet. Le thésaurus doit contenir un index des sens WordNet. Syntaxe
Arguments
  • ext_name — Nom de l’extension dans laquelle la recherche s’effectue. String
  • word — Mot recherché dans l’extension. String
Valeur renvoyée Renvoie un tableau de synonymes pour le mot donné. Array(String) Exemples Trouver des synonymes
Query
Response