Skip to main content

​
detectCharset

Introduzido em: v22.2.0
Esta função é experimental e poderá mudar de maneiras imprevisíveis e incompatíveis com versões anteriores em lançamentos futuros. Defina allow_experimental_nlp_functions = 1 para habilitá-la.
Detecta o conjunto de caracteres de uma string de entrada codificada em um formato diferente de UTF-8. Sintaxe
Argumentos
  • s — O texto a ser analisado. String
Valor retornado Retorna uma string com o código do conjunto de caracteres detectado String Exemplos Uso básico
Query
Response

​
detectLanguage

Introduzido em: v22.2.0
Esta função é experimental e pode mudar de formas imprevisíveis e incompatíveis com versões anteriores em lançamentos futuros. Defina allow_experimental_nlp_functions = 1 para habilitá-la.
Detecta o idioma da string de entrada codificada em UTF-8. A função usa a biblioteca CLD2 para fazer a detecção e retorna o código de idioma ISO de 2 letras. Quanto maior a entrada, mais precisa será a detecção do idioma. Sintaxe
Argumentos
  • text_to_be_analyzed — O texto a ser analisado. String
Valor retornado Retorna o código ISO de 2 letras do idioma detectado. Outros resultados possíveis: un = desconhecido, não foi possível detectar nenhum idioma; other = o idioma detectado não tem um código de 2 letras. String Exemplos Uso básico
Query
Response

​
detectLanguageMixed

Introduzida em: v22.2.0
Esta função é experimental e pode mudar de formas imprevisíveis e incompatíveis com versões anteriores em lançamentos futuros. Defina allow_experimental_nlp_functions = 1 para ativá-la.
Semelhante à função detectLanguage, detectLanguageMixed retorna um Map de códigos de idioma de 2 letras mapeados para a porcentagem de determinado idioma no texto. Sintaxe
Argumentos
  • s — O texto a ser analisado String
Valor retornado Retorna um map cujas chaves são códigos ISO de 2 letras, e os valores correspondentes representam a porcentagem do texto identificada para cada idioma Map(String, Float32) Exemplos Idiomas mistos
Query
Response

​
detectLanguageUnknown

Introduzido em: v22.2.0
Esta função é experimental e pode mudar de formas imprevisíveis e incompatíveis com versões anteriores em lançamentos futuros. Defina allow_experimental_nlp_functions = 1 para habilitá-la.
Semelhante à função detectLanguage, exceto que a função detectLanguageUnknown funciona com strings codificadas em formatos que não são UTF-8. Prefira esta versão quando o conjunto de caracteres for UTF-16 ou UTF-32. Sintaxe
Argumentos
  • s — O texto a ser analisado. String
Valor retornado Retorna o código ISO de 2 letras do idioma detectado. Outros resultados possíveis: un = desconhecido, não foi possível detectar nenhum idioma, other = o idioma detectado não tem código de 2 letras. String Exemplos Uso básico
Query
Response

​
lemmatize

Introduzido em: v21.9.0
Esta função é experimental e pode mudar de formas imprevisíveis e incompatíveis com versões anteriores em lançamentos futuros. Defina allow_experimental_nlp_functions = 1 para habilitá-la.
Realiza a lematização de uma palavra fornecida. Esta função precisa de dicionários para funcionar, que podem ser obtidos no GitHub. Para mais detalhes sobre como carregar um dicionário de um arquivo local, consulte a página “Definindo Dicionários”. Sintaxe
Argumentos
  • lang — Idioma cujas regras serão aplicadas. String
  • word — Palavra em letras minúsculas a ser lematizada. String
Valor retornado Retorna a forma lematizada da palavra String Exemplos Lematização em inglês
Query
Response

​
stem

Introduzido em: v21.9.0 Realiza stemming em uma palavra ou em um array de palavras usando os algoritmos Snowball. Cada string de entrada deve ser uma única palavra em minúsculas — strings que contenham espaços em branco causam uma exceção. O uso de caracteres maiúsculos produz resultados indefinidos. Retorna String para entradas escalares (incluindo FixedString) e Array(String) para entradas em array. Há suporte para as variantes Nullable e LowCardinality de String e FixedString. A lista de identificadores de idioma compatíveis está disponível em system.stemmers. Sintaxe
Argumentos
  • word — Uma única palavra em minúsculas (ou um array de palavras) para reduzir ao radical. Deve estar em minúsculas — caracteres maiúsculos produzem resultados indefinidos. Aceita String, FixedString, Array(String), Array(FixedString), Array(Nullable(String)) ou Array(Nullable(FixedString)). String ou FixedString ou Array(String) ou Array(FixedString)
  • language — Idioma cujas regras de stemming serão aplicadas. Os identificadores canônicos estão listados em system.stemmers (por exemplo, ‘english’, ‘german’, ‘porter’). O Snowball também aceita códigos ISO 639 de 2 ou 3 letras (por exemplo, ‘en’, ‘eng’) como aliases quando definidos, mas a cobertura varia conforme o idioma — prefira os nomes de system.stemmers para garantir portabilidade. String
Valor retornado A forma reduzida ao radical da palavra (String) ou um array de palavras reduzidas ao radical (Array(String)). String ou Array(String) Exemplos Reduzindo uma única palavra ao radical
Query
Response
Stemming de um array de palavras
Query
Response
Stemming de FixedString
Query
Response
Aplicando stemming a uma palavra Nullable
Query
Response

​
synonyms

Introduzido na versão: v21.9.0
Esta função é experimental e pode mudar de forma imprevisível, com alterações incompatíveis com versões anteriores, em lançamentos futuros. Defina allow_experimental_nlp_functions = 1 para habilitá-la.
Encontra sinônimos de uma determinada palavra. Há dois tipos de extensões de sinônimos:
  • plain
  • wordnet
Com o tipo de extensão plain, você precisa fornecer o caminho para um arquivo de texto simples, em que cada linha corresponde a um determinado conjunto de sinônimos. As palavras nessa linha devem ser separadas por espaços ou tabulações. Com o tipo de extensão wordnet, você precisa fornecer o caminho para um diretório que contenha o tesauro WordNet. O tesauro deve conter um índice de sentidos do WordNet. Sintaxe
Argumentos
  • ext_name — Nome da extensão em que a busca será realizada. String
  • word — Palavra que será pesquisada na extensão. String
Valor retornado Retorna um array de sinônimos para a palavra especificada. Array(String) Exemplos Encontrar sinônimos
Query
Response