xgboost (XGBOOST) в момент загрузки обучает модель градиентного бустинга XGBoost на обучающих строках из исходной таблицы, а затем предсказывает числовое значение целевой переменной для любого переданного вектора возможностей. Столбцы возможностей образуют ключ словаря, а единственный атрибут — это целевая переменная, которую обучается предсказывать модель.
Он подходит для задач регрессии и бинарной классификации на табличных данных с числовыми возможностями — например, для прогнозирования значения по нескольким измерениям или для оценки строк относительно обученной целевой переменной. Многоклассовые целевые функции не поддерживаются (см. Параметры структуры).
Интеграция с XGBoost является экспериментальной. Перед созданием словаря Поддерживается только
XGBOOST или вызовом predictXGBoost включите её с помощью настройки enable_xgboost:CREATE DICTIONARY: словарь XGBOOST, определённый в файле конфигурации сервера, загрузить не удастся.predictXGBoost — единственный способ обращаться к словарю: функция принимает возможности в виде отдельных аргументов, возвращает предсказание и поддерживает дополнительные параметры предсказания. Словарь хранит обученную модель, а не строки, поэтому общий интерфейс словарей — dictGet, dictHas и SELECT * FROM dict — не поддерживается и возвращает ошибку.
Быстрый старт
В этом примере мы обучим регрессор на линейной целевой функцииy = 2*x1 + 3*x2.
1. Создайте исходную таблицу с обучающими строками: сначала столбцы возможностей, затем целевой столбец:
XGBOOST: столбцы возможностей служат ключом, а y — целевым атрибутом:
PRIMARY KEY (x1, x2) делает x1 и x2 возможностями. Целевая переменная, которую учится предсказывать модель, — y: она определяется как единственный столбец, не входящий в ключ. Параметры в LAYOUT — это гиперпараметры XGBoost (см. Параметры структуры).
4. Предсказание — predictXGBoost принимает возможности по порядку их следования и возвращает предсказание:
2*1 + 3*2 = 8, поэтому предсказание модели близко к 8.
Как это работает
Обучение (в момент загрузки). Каждая строка источника представляет собой наблюдение вида(features..., target). При загрузке словаря источник считывается блок за блоком, после чего модель однократно обучается на всём наборе данных. Значения возможностей и целевые значения считываются как числа с плавающей точкой, поэтому столбцы ключа должны быть числовыми, а целевой атрибут — иметь тип с плавающей точкой (см. Структура словаря).
Предсказание (во время выполнения запроса). Для предсказания модель принимает вектор возможностей — в том же порядке, в котором объявлены столбцы ключа, — пропускает его через обученный бустер и возвращает значение типа Float64. Возможность со значением NULL передаётся модели как отсутствующее значение, которое XGBoost обрабатывает так, как научился при обучении, поэтому предсказание никогда не равно NULL. Если все возможности — константы, модель вычисляется один раз на блок, а не для каждой строки.
Модель не сохраняется. Она существует только в памяти, пока загружен словарь, и заново обучается на данных источника при каждой загрузке — в том числе после перезапуска сервера.
Переобучение модели. Поскольку при каждой загрузке модель обучается с нуля, команда SYSTEM RELOAD DICTIONARY переобучает её на текущем содержимом исходной таблицы:
LIFETIME также приводит к повторному обучению, поскольку перезагрузка по истечении времени жизни — это обычная загрузка. Используйте его для периодического обновления модели по мере роста объёма обучающих данных.
Структура словаря
СловарьXGBOOST имеет фиксированную форму:
PRIMARY KEY— это один или несколько столбцов нативного числового типа (целые числа и числа с плавающей точкой), которые служат возможностями модели. Во время выполнения запроса этот «ключ» представляет собой вектор возможностей, передаваемый для получения предсказания, а не сохранённый ключ для поиска. Порядок возможностей совпадает с порядком объявления столбцов ключа, иpredictXGBoostсопоставляет свои позиционные аргументы именно с этим порядком.- Помимо них, объявите ровно один атрибут типа
Float32илиFloat64: целевую переменную, которую учится предсказывать модель. Этот атрибут всегда автоматически определяется как единственный столбец, не входящий в ключ возможностей, — параметра для указания его имени нет, а объявление более одного атрибута приводит к ошибке.
Параметры структуры
Допускаются только перечисленные ниже параметры; любое другое имя приводит к ошибке загрузки, поэтому опечатки выявляются при обучении модели, а не игнорируются молча. Параметрnum_iterations обрабатывается ClickHouse (см. его описание); все остальные параметры передаются в бустер XGBoost без изменений в виде строки, и для них действуют значения по умолчанию и допустимые диапазоны самого XGBoost — см. справочник параметров XGBoost.
Имена параметров регистронезависимы, и каждый параметр можно указать только один раз. Значение должно быть положительным целым числом, числом с плавающей точкой или строкой в кавычках: отрицательный литерал отклоняется самим DDL словаря ещё до того, как его получит структура, поэтому задать отрицательный
seed невозможно.
Например, словарь, в котором также задан размер шага eta:
Параметры предсказания
predictXGBoost принимает необязательный концевой константный аргумент типа Map с параметрами предсказания XGBoost. Он указывается после возможностей и создаётся с помощью map:
XGBoosterPredictFromDMatrix. Допускаются только перечисленные ниже ключи; любой другой ключ приводит к ошибке запроса. Все параметры являются целыми числами или логическими значениями, поэтому значения Map должны иметь целочисленный тип.
Примечания
-
Семантика вычислительного словаря. Это вычислительный словарь: в нём хранится обученная модель, а не строки, и обращаться к нему с запросами можно только через
predictXGBoost. Общий интерфейс словарей не поддерживается и возвращает ошибку:dictGet(сохранённого атрибута для поиска нет — “ключ” представляет собой вектор возможностей, по которому строится предсказание),dictHas(ключи не хранятся),SELECT * FROM dictи соединение со словарём как с таблицей. ПосколькуpredictXGBoost— единственная точка входа, для каждого предсказания должна быть включена настройкаenable_xgboost. -
Только числовые столбцы. Каждый столбец возможностей (ключа) должен иметь нативный числовой тип, а целевой атрибут — тип
Float32илиFloat64. При обучении и предсказании значения считываются как числа с плавающей точкой. Аргументы возможностей функцииpredictXGBoostтакже могут иметь типNullable, см. раздел Как это работает. -
system.dictionariesне показывает сохранённых элементов. Вместо хранения строк словарь обучает модель, поэтомуelement_countравен0, как и у словаряdirect.bytes_allocatedтоже равен0: обученная модель принадлежит XGBoost, а он не сообщает, сколько памяти она занимает.query_countиfound_rateучитывают строки, переданные в модель функциейpredictXGBoost; вызов, все возможности которого являются константами, вычисляется один раз на блок, поэтому учитывается одна строка на блок, а не каждая строка. -
При неудачной перезагрузке сохраняется предыдущая модель. Если повторное обучение завершается сбоем — исходная таблица удалена, её схема изменилась, гиперпараметр больше не принимается, — словарь не начинает выдавать ошибки при предсказании. Вместо этого он продолжает использовать последнюю успешно обученную модель и записывает ошибку. Чтобы определить, отражает ли модель актуальные исходные данные, сравните
last_successful_update_timeсlast_exceptionвsystem.dictionaries: -
Сообщения XGBoost записываются в журнал сервера. Они пишутся через логгер
XGBoostс тем уровнем, который назначает им XGBoost, и привязываются к запросу, выполняющему обучение или предсказание, поэтому также появляются вsystem.text_log. Чтобы видеть больше сообщений, увеличьтеverbosity. -
Порядок возможностей имеет значение.
predictXGBoostсопоставляет позиционные аргументы возможностей со столбцами ключа в порядке их объявления, при этом число аргументов возможностей должно совпадать с числом столбцов ключа.