Обзор
Функции, упомянутые в этом разделе, оптимизированы для максимальной производительности и по большей части не соответствуют стандарту RFC-3986.
К именам функций, реализующих RFC-3986, добавляется
RFC, и обычно они работают медленнее.RFC можно использовать при работе с общедоступными зарегистрированными доменами, которые не содержат ни пользовательской информации, ни символов @.
В таблице ниже показано, какие символы в URL могут (✔) или не могут (✗) быть разобраны соответствующими вариантами RFC и без RFC:
Символы, помеченные
*, являются подразделителями в RFC 3986 и допустимы в пользовательской информации после символа @.
Существует два типа URL-функций:
- Функции, которые извлекают части URL. Если соответствующая часть в URL отсутствует, возвращается пустая строка.
- Функции, которые удаляют часть URL. Если в URL нет ничего подобного, он остается без изменений.
Приведенные ниже функции сгенерированы из системной таблицы
system.functions.URLHierarchy
Добавленный в: v1.1.0 Возвращает массив, содержащий URL, усечённый справа по символам/, ? и # в пути и строке запроса. Последовательные символы-разделители считаются одним. Результат включает протокол и хост в качестве первого элемента, а затем всё более длинные пути, образующие иерархию.
Синтаксис
url— URL-адрес для обработки.String
Array(String)
Примеры
Базовое использование
Query
Response
URLPathHierarchy
Добавленный в: v1.1.0 Возвращает массив, содержащий компонент путь URL, обрезанный в конце по символам/, ? и #. В отличие от URLHierarchy, результат не включает протокол и хост — он начинается с путь. Идущие подряд символы-разделители считаются одним.
Синтаксис
url— URL-адрес для обработки.String
Array(String)
Примеры
Базовое использование
Query
Response
cutFragment
Добавленный в: v1.1.0 Удаляет идентификатор фрагмента из URL, включая символ #. Синтаксисurl— URL.String
String
Примеры
Пример использования
Query
Response
cutQueryString
Добавленный в: v1.1.0 Удаляет из URL строку запроса, включая вопросительный знак. Синтаксисurl— URL.String
String
Примеры
Пример использования
Query
Response
cutQueryStringAndFragment
Добавленный в: v1.1.0 Удаляет из URL строку запроса и идентификатор фрагмента, включая символы ? и #. Синтаксисurl— URL.String
String
Примеры
Пример использования
Query
Response
cutToFirstSignificantSubdomain
Добавленный в: v1.1.0 Возвращает часть домена, включающую поддомены верхнего уровня вплоть до первого значимого поддомена. Синтаксисurl— URL или строка домена для обработки.String
String
Примеры
Пример использования
Query
Response
cutToFirstSignificantSubdomainCustom
Добавленный в: v21.1.0 Возвращает часть домена, включающую поддомены верхнего уровня вплоть до первого значимого поддомена включительно. Принимает имя пользовательского списка TLD. Эта функция может быть полезна, если вам нужен актуальный список TLD или у вас есть собственный список. Пример конфигурацииurl— URL или строка домена, которую нужно обработать.Stringtld_list_name— имя пользовательского списка TLD, настроенного в ClickHouse.const String
String
Примеры
Использование пользовательского списка TLD для нестандартных доменов
Query
Response
cutToFirstSignificantSubdomainCustomRFC
Добавленный в: v22.10.0 Возвращает часть домена, включающую поддомены верхнего уровня вплоть до первого значимого поддомена. Принимает имя пользовательского списка TLD. Эта функция может быть полезна, если вам нужен актуальный список TLD или если у вас есть собственный список. Похожа на cutToFirstSignificantSubdomainCustom, но соответствует RFC 3986. Пример конфигурацииurl— URL или строка домена для обработки в соответствии с RFC 3986. -tld_list_name— имя пользовательского списка TLD, настроенного в ClickHouse.
String
Примеры
Пример использования
Query
Response
cutToFirstSignificantSubdomainCustomWithWWW
Добавленный в: v21.1.0 Возвращает часть домена, включающую поддомены верхнего уровня до первого значимого поддомена, не удаляя ‘www’. Принимает имя пользовательского списка TLD. Это может быть полезно, если вам нужен обновлённый список TLD или если у вас есть собственный список. Пример конфигурацииurl— URL или строка домена для обработки. -tld_list_name— имя пользовательского списка TLD, настроенного в ClickHouse.
String
Примеры
Пример использования
Query
Response
cutToFirstSignificantSubdomainCustomWithWWWRFC
Добавленный в: v22.10.0 Возвращает часть домена, включающую поддомены верхнего уровня вплоть до первого значимого поддомена, не удаляяwww.
Принимает имя пользовательского списка TLD.
Может быть полезно, если вам нужен актуальный список TLD или у вас есть собственный список.
Похоже на cutToFirstSignificantSubdomainCustomWithWWW, но соответствует RFC 3986.
Пример конфигурации
url— URL или строка домена, которые нужно обработать в соответствии с RFC 3986. -tld_list_name— имя пользовательского списка TLD, настроенного в ClickHouse.
www. String
Примеры
Разбор по RFC 3986 с сохранением www и пользовательским списком TLD
Query
Response
cutToFirstSignificantSubdomainRFC
Добавленный в: v22.10.0 Возвращает часть домена, включающую поддомены верхнего уровня вплоть до “первого значимого поддомена”. АналогичнаcutToFirstSignificantSubdomain, но соответствует RFC 3986.
Синтаксис
url— URL или строка домена для обработки в соответствии с RFC 3986.String
String
Примеры
Пример использования
Query
Response
cutToFirstSignificantSubdomainWithWWW
Добавленный в: v20.12.0 Возвращает часть домена, включающую поддомены верхнего уровня вплоть до “первого значимого поддомена”, не удаляя ‘www.’. АналогичноcutToFirstSignificantSubdomain, но сохраняет префикс ‘www.’, если он есть.
Синтаксис
url— URL или строка домена для обработки.String
String
Примеры
Пример использования
Query
Response
cutToFirstSignificantSubdomainWithWWWRFC
Добавленный в: v22.10.0 Возвращает часть домена, включающую поддомены верхнего уровня вплоть до “первого значимого поддомена”, не удаляя ‘www’. АналогичноcutToFirstSignificantSubdomainWithWWW, но соответствует RFC 3986.
Синтаксис
url— URL или строка домена для обработки в соответствии с RFC 3986.
String
Примеры
Пример использования
Query
Response
cutURLParameter
Добавленный в: v1.1.0 Удаляет из URL первое вхождениеname=value для каждого запрошенного параметра.
Сопоставляются только параметры, записанные в виде name=, поэтому параметр-флаг без значения остаётся неизменным; например, cutURLParameter('http://bigmir.net/?a&c=d', 'a') возвращает URL без изменений.
Эта функция не кодирует и не декодирует символы в именах параметров; например, Client ID и Client%20ID считаются разными именами параметров.
Синтаксис
url— URL.Stringname— имя параметра URL.StringилиArray(String)
name=value для каждого запрошенного параметра. String
Примеры
Пример использования
Query
Response
cutWWW
Добавленный в: v1.1.0 Удаляет начальныйwww. из домена URL, если он есть.
Синтаксис
url— URL.String
www. в домене. String
Примеры
Пример использования
Query
Response
decodeURLComponent
Добавленный в: v1.1.0 Принимает строку в URL-кодировке и декодирует её, возвращая в исходный, читаемый вид. Синтаксисurl— URL.String
String
Примеры
Пример использования
Query
Response
decodeURLFormComponent
Добавленный в: v1.1.0 Декодирует URL-кодированные строки по правилам кодирования данных форм (RFC-1866): знаки+ преобразуются в пробелы, а символы в процентной кодировке декодируются.
Синтаксис
url_decode
Аргументы
url— URL.String
String
Примеры
Пример использования
Query
Response
domain
Добавленный в: v1.1.0 Извлекает имя хоста из URL. URL можно указать как с протоколом, так и без него. Синтаксисurl— URL.String
String
Примеры
Пример использования
Query
Response
domainRFC
Добавленный в: v22.10.0 Извлекает имя хоста из URL. Аналогичноdomain, но соответствует RFC 3986.
Синтаксис
url_extract_host
Аргументы
url— URL.String
String
Примеры
Пример использования
Query
Response
domainWithoutWWW
Добавленный в: v1.1.0 Возвращает домен URL без начальногоwww., если оно присутствует.
Синтаксис
url— URL.String
www.), в противном случае — пустую строку. String
Примеры
Пример использования
Query
Response
domainWithoutWWWRFC
Добавленный в: v1.1.0 Возвращает домен без ведущегоwww., если он есть. Аналогична domainWithoutWWW, но соответствует RFC 3986.
Синтаксис
url— URL.String
www.), в противном случае — пустую строку. String
Примеры
Пример использования
Query
Response
encodeURLComponent
Добавленный в: v22.3.0 Принимает обычную строку и преобразует её в URL-кодированный формат (percent-encoding), в котором специальные символы заменяются их эквивалентами в процентной кодировке. Синтаксисurl— URL.String
String
Примеры
Пример использования
Query
Response
encodeURLFormComponent
Добавленный в: v22.3.0 Кодирует строки по правилам кодирования форм (RFC-1866): пробелы заменяются на знак +, а специальные символы подвергаются кодированию percent-encoded. Синтаксисurl_encode
Аргументы
url— URL.String
String
Примеры
Пример использования
Query
Response
extractURLParameter
Добавленный в: v1.1.0 Возвращает значение параметраname в URL, если он присутствует; в противном случае возвращает пустую строку.
Если параметров с таким именем несколько, возвращается первое вхождение.
Функция предполагает, что параметр в аргументе url закодирован так же, как и в аргументе name.
Синтаксис
String
Примеры
Пример использования
Query
Response
extractURLParameterNames
Добавленный в: v1.1.0 Возвращает массив строк с именами URL-параметров. Значения не декодируются. Синтаксисurl— URL.String
Array(String)
Примеры
Пример использования
Query
Response
extractURLParameters
Добавленный в: v1.1.0 Возвращает массив строкname=value с параметрами URL.
Значения не декодируются.
Синтаксис
url— URL.String
name=value, соответствующих параметрам URL. Array(String)
Примеры
Пример использования
Query
Response
firstSignificantSubdomain
Добавленный в: v1.1.0 Возвращает “первый значимый поддомен”. Первым значимым поддоменом считается домен второго уровня, если это ‘com’, ‘net’, ‘org’ или ‘co’. В противном случае это домен третьего уровня. Например, firstSignificantSubdomain(‘https://news.clickhouse.com/') = ‘clickhouse’, firstSignificantSubdomain (‘https://news.clickhouse.com.tr/') = ‘clickhouse’. Список “незначимых” доменов второго уровня и другие подробности реализации в будущем могут измениться. Синтаксис- Отсутствуют.
Query
Response
firstSignificantSubdomainCustom
Добавленный в: v21.1.0 Возвращает первый значимый поддомен URL с использованием пользовательского списка TLD (доменов верхнего уровня). Имя пользовательского списка TLD указывает на конфигурацию, определяющую, какие суффиксы доменов следует считать доменами верхнего уровня. Это полезно для нестандартных иерархий TLD. Функция использует упрощённый алгоритм разбора URL, предполагающий, что протокол и всё, что следует за ним, уже удалены. Синтаксисurl— URL-адрес, из которого нужно извлечь поддомен.Stringtld_list_name— Имя пользовательского списка TLD из конфигурации.String
String
Примеры
Базовое использование
Query
Response
firstSignificantSubdomainCustomRFC
Добавленный в: v22.10.0 АналогичнаfirstSignificantSubdomainCustom, но использует разбор URL в соответствии с RFC 3986 вместо упрощённого алгоритма.
Синтаксис
url— URL-адрес, из которого нужно извлечь поддомен.Stringtld_list_name— имя пользовательского списка TLD из конфигурации.String
String
Примеры
Базовое использование
Query
Response
firstSignificantSubdomainRFC
Добавленный в: v22.10.0 Возвращает “первый значимый поддомен” согласно RFC 1034. Синтаксис- Отсутствуют.
fragment
Добавленный в: v1.1.0 Возвращает идентификатор фрагмента без начального символа #. Синтаксисurl— URL.String
#. String
Примеры
Пример использования
Query
Response
netloc
Добавленный в: v20.5.0 Извлекает сетевой адрес (username:password@host:port) из URL.
Синтаксис
url— URL.String
username:password@host:port из указанного URL. String
Примеры
Пример использования
Query
Response
path
Добавленный в: v1.1.0 Возвращает путь URL без строки запроса. Синтаксисurl— URL-адрес.String
String
Примеры
Пример использования
Query
Response
pathFull
Добавленный в: v1.1.0 То же, что иpath, но включает строку запроса и фрагмент URL-адреса.
Синтаксис
url— URL.String
String
Примеры
Пример использования
Query
Response
port
Добавленный в: v20.5.0 Возвращает порт URL илиdefault_port, если URL не содержит порт или его не удалось разобрать.
Синтаксис
url— URL.Stringdefault_port— Необязательный параметр. Номер порта, возвращаемый по умолчанию. По умолчанию0.UInt16
UInt16
Примеры
Пример использования
Query
Response
portRFC
Добавленный в: v22.10.0 Возвращает порт илиdefault_port, если URL не содержит порта или его не удаётся разобрать.
Аналогично port, но соответствует RFC 3986.
Синтаксис
url— URL.Stringdefault_port— Необязательный параметр. Номер порта, возвращаемый по умолчанию. По умолчанию0.UInt16
UInt16
Примеры
Пример использования
Query
Response
протокол
Добавленный в: v1.1.0 Извлекает протокол из URL. Примеры типичных возвращаемых значений: http, https, ftp, mailto, tel, magnet. Синтаксисurl_extract_protocol
Аргументы
url— URL.String
String
Примеры
Пример использования
Query
Response
queryString
Добавленный в: v1.1.0 Возвращает строку запроса URL без начального знака вопроса, символа# и всего, что следует после #.
Синтаксис
url— URL.String
String
Примеры
Пример использования
Query
Response
queryStringAndFragment
Добавленный в: v1.1.0 Возвращает строку запроса и идентификатор фрагмента URL. Синтаксисurl— URL.String
String
Примеры
Пример использования
Query
Response
topLevelDomain
Добавленный в: v1.1.0 Извлекает домен верхнего уровня из URL.URL можно указать как с протоколом, так и без него.
Например:
url— URL.String
String
Примеры
Пример использования
Query
Response
topLevelDomainRFC
Добавленный в: v22.10.0 Извлекает из URL домен верхнего уровня. АналогичнаtopLevelDomain, но соответствует RFC 3986.
Синтаксис
url— URL.String
String
Примеры
Пример использования
Query
Response