دوال معالجة اللغة الطبيعية (NLP)

​

detectCharset

detectCharset(s)

• s — النص المراد تحليله. String

SET allow_experimental_nlp_functions = 1;
SELECT detectCharset('Ich bleibe für ein paar Tage.')

WINDOWS-1252

​

detectLanguage

detectLanguage(s)

• text_to_be_analyzed — النص المراد تحليله. String

SET allow_experimental_nlp_functions = 1;
SELECT detectLanguage('Je pense que je ne parviendrai jamais à parler français comme un natif.')

fr

​

detectLanguageMixed

detectLanguageMixed(s)

• s — النص المراد تحليله String

SET allow_experimental_nlp_functions = 1;
SELECT detectLanguageMixed('二兎を追う者は一兎をも得ず二兎を追う者は一兎をも得ず A vaincre sans peril, on triomphe sans gloire.')

{'ja':0.62,'fr':0.36}

​

detectLanguageUnknown

detectLanguageUnknown('s')

• s — النص المطلوب تحليله. String

SET allow_experimental_nlp_functions = 1;
SELECT detectLanguageUnknown('Ich bleibe für ein paar Tage.')

de

​

lemmatize

lemmatize(lang, word)

• lang — اللغة التي ستُطبَّق قواعدها. String
• word — كلمة مكتوبة بأحرف صغيرة يلزم إرجاعها إلى أصلها الصرفي. String

SET allow_experimental_nlp_functions = 1;
SELECT lemmatize('en', 'wolves')

wolf

​

stem

stem(word, language)

• word — كلمة واحدة مكتوبة بأحرف صغيرة (أو مصفوفة من الكلمات) لتجذيرها. يجب أن تكون بأحرف صغيرة — إذ تؤدي الأحرف الكبيرة إلى نتائج غير محددة. يقبل String و FixedString و Array(String) و Array(FixedString) و Array(Nullable(String)) أو Array(Nullable(FixedString)). String أو FixedString أو Array(String) أو Array(FixedString)
• language — اللغة التي ستُطبَّق قواعد التجذير الخاصة بها. تُدرَج المعرّفات القياسية في system.stemmers (مثل ‘english’ و ‘german’ و ‘porter’). يقبل Snowball أيضًا رموز ISO 639 المكوّنة من حرفين أو ثلاثة (مثل ‘en’ و ‘eng’) كأسماء مستعارة حيثما كانت معرّفة، لكن التغطية تختلف باختلاف اللغة — لذا يُفضَّل استخدام الأسماء من system.stemmers لضمان قابلية النقل. String

SELECT stem('blessing', 'en') AS res

bless

SELECT stem(['blessing', 'disguise'], 'en') AS res

['bless','disguis']

SELECT stem(toFixedString('blessing', 10), 'en') AS res

bless

SELECT stem(toNullable('blessing'), 'en') AS res

bless

​

synonyms

• plain
• wordnet

synonyms(ext_name, word)

• ext_name — اسم الامتداد الذي سيُجرى البحث فيه. String
• word — الكلمة المطلوب البحث عنها في الامتداد. String

SET allow_experimental_nlp_functions = 1;
SELECT synonyms('en', 'important')

['important','big','critical','crucial','essential']