detectCharset
Introducido en: v22.2.0 Detecta el juego de caracteres de una cadena de entrada codificada en un formato distinto de UTF-8. Sintaxiss— Texto que se va a analizar.String
String
Ejemplos
Uso básico
Query
Response
detectLanguage
Introducido en: v22.2.0 Detecta el idioma de la cadena de entrada codificada en UTF-8. La función utiliza la biblioteca CLD2 para la detección y devuelve el código de idioma ISO de dos letras. Cuanto más larga sea la entrada, más precisa será la detección del idioma. Sintaxistext_to_be_analyzed— El texto que se va a analizar.String
un = desconocido, no se puede detectar ningún idioma; other = el idioma detectado no tiene un código de 2 letras. String
Ejemplos
Uso básico
Query
Response
detectLanguageMixed
Introducido en: v22.2.0 Similar a la funcióndetectLanguage, pero detectLanguageMixed devuelve un Map de códigos de idioma de 2 letras asociados al porcentaje de cada idioma en el texto.
Sintaxis
s— El texto que se va a analizarString
Map(String, Float32)
Ejemplos
Idiomas mezclados
Query
Response
detectLanguageUnknown
Introducido en: v22.2.0 Similar a la funcióndetectLanguage, excepto que la función detectLanguageUnknown funciona con cadenas codificadas en formatos distintos de UTF-8.
Prefiera esta versión cuando el juego de caracteres sea UTF-16 o UTF-32.
Sintaxis
s— El texto que se va a analizar.String
un = desconocido, no se puede detectar ningún idioma; other = el idioma detectado no tiene un código de 2 letras. String
Ejemplos
Uso básico
Query
Response
lemmatize
Introducido en: v21.9.0 Realiza la lematización de una palabra dada. Esta función requiere diccionarios para funcionar, que pueden obtenerse de github. Para obtener más información sobre cómo cargar un diccionario desde un archivo local, consulte la página “Definición de diccionarios”. Sintaxislang— Idioma al que se aplicarán las reglas.Stringword— Palabra en minúsculas que debe lematizarse.String
String
Ejemplos
Lematización en inglés
Query
Response
stem
Introducido en: v21.9.0 Aplica stemming a una palabra o a un Array de palabras mediante los algoritmos Snowball. Cada cadena de entrada debe ser una única palabra en minúsculas; las cadenas que contienen espacios en blanco provocan una excepción. Si se pasan caracteres en mayúsculas, los resultados no están definidos. Devuelve String para entradas escalares (incluido FixedString) y Array(String) para entradas de Array. Se admiten variantes Nullable y LowCardinality de String y FixedString. La lista de identificadores de idioma admitidos está disponible en system.stemmers. Sintaxisword— Una única palabra en minúsculas (o un array de palabras) a la que aplicar stemming. Debe estar en minúsculas; los caracteres en mayúsculas producen resultados indefinidos. Acepta String, FixedString, Array(String), Array(FixedString), Array(Nullable(String)) o Array(Nullable(FixedString)).StringoFixedStringoArray(String)oArray(FixedString)language— Idioma cuyas reglas de stemming se aplicarán. Los identificadores canónicos se enumeran en system.stemmers (p. ej., ‘english’, ‘german’, ‘porter’). Snowball también acepta códigos ISO 639 de 2 o 3 letras (p. ej., ‘en’, ‘eng’) como alias cuando están definidos, pero la cobertura varía según el idioma; para una mayor portabilidad, prefiera los nombres desystem.stemmers.String
String o Array(String)
Ejemplos
Aplicación de stemming a una única palabra
Query
Response
Query
Response
Query
Response
Query
Response
synonyms
Introducido en: v21.9.0 Encuentra sinónimos de una palabra determinada. Hay dos tipos de extensiones de sinónimos:plainwordnet
plain, debes proporcionar la ruta a un archivo de texto simple, donde cada línea corresponde a un determinado conjunto de sinónimos.
Las palabras de esta línea deben estar separadas por espacios o tabuladores.
Con el tipo de extensión wordnet, debes proporcionar la ruta a un directorio que contenga el tesauro de WordNet.
El tesauro debe contener un índice de sentidos de WordNet.
Sintaxis
ext_name— Nombre de la extensión en la que se realizará la búsqueda.Stringword— Palabra que se buscará en la extensión.String
Array(String)
Ejemplos
Buscar sinónimos
Query
Response