Skip to main content
Словарь xgboost (XGBOOST) в момент загрузки обучает модель градиентного бустинга XGBoost на обучающих строках из исходной таблицы, а затем предсказывает числовое значение целевой переменной для любого переданного вектора возможностей. Столбцы возможностей образуют ключ словаря, а единственный атрибут — это целевая переменная, которую обучается предсказывать модель. Он подходит для задач регрессии и бинарной классификации на табличных данных с числовыми возможностями — например, для прогнозирования значения по нескольким измерениям или для оценки строк относительно обученной целевой переменной. Многоклассовые целевые функции не поддерживаются (см. Параметры структуры).
Интеграция с XGBoost является экспериментальной. Перед созданием словаря XGBOOST или вызовом predictXGBoost включите её с помощью настройки enable_xgboost:
Поддерживается только CREATE DICTIONARY: словарь XGBOOST, определённый в файле конфигурации сервера, загрузить не удастся.
predictXGBoost — единственный способ обращаться к словарю: функция принимает возможности в виде отдельных аргументов, возвращает предсказание и поддерживает дополнительные параметры предсказания. Словарь хранит обученную модель, а не строки, поэтому общий интерфейс словарей — dictGet, dictHas и SELECT * FROM dict — не поддерживается и возвращает ошибку.

Быстрый старт

В этом примере мы обучим регрессор на линейной целевой функции y = 2*x1 + 3*x2. 1. Создайте исходную таблицу с обучающими строками: сначала столбцы возможностей, затем целевой столбец:
2. Вставьте обучающие данные:
3. Создайте словарь со структурой XGBOOST: столбцы возможностей служат ключом, а y — целевым атрибутом:
PRIMARY KEY (x1, x2) делает x1 и x2 возможностями. Целевая переменная, которую учится предсказывать модель, — y: она определяется как единственный столбец, не входящий в ключ. Параметры в LAYOUT — это гиперпараметры XGBoost (см. Параметры структуры). 4. Предсказание — predictXGBoost принимает возможности по порядку их следования и возвращает предсказание:
Истинное значение равно 2*1 + 3*2 = 8, поэтому предсказание модели близко к 8.

Как это работает

Обучение (в момент загрузки). Каждая строка источника представляет собой наблюдение вида (features..., target). При загрузке словаря источник считывается блок за блоком, после чего модель однократно обучается на всём наборе данных. Значения возможностей и целевые значения считываются как числа с плавающей точкой, поэтому столбцы ключа должны быть числовыми, а целевой атрибут — иметь тип с плавающей точкой (см. Структура словаря).
При обучении весь обучающий набор хранится в памяти. Чтение источника блоками не означает обучения вне оперативной памяти (out-of-core): блоки накапливаются, а не обрабатываются и отбрасываются по одному, поэтому весь обучающий набор оказывается в памяти ещё до первого раунда бустинга и остаётся там до последнего.
Предсказание (во время выполнения запроса). Для предсказания модель принимает вектор возможностей — в том же порядке, в котором объявлены столбцы ключа, — пропускает его через обученный бустер и возвращает значение типа Float64. Возможность со значением NULL передаётся модели как отсутствующее значение, которое XGBoost обрабатывает так, как научился при обучении, поэтому предсказание никогда не равно NULL. Если все возможности — константы, модель вычисляется один раз на блок, а не для каждой строки. Модель не сохраняется. Она существует только в памяти, пока загружен словарь, и заново обучается на данных источника при каждой загрузке — в том числе после перезапуска сервера. Переобучение модели. Поскольку при каждой загрузке модель обучается с нуля, команда SYSTEM RELOAD DICTIONARY переобучает её на текущем содержимом исходной таблицы:
Ненулевое значение LIFETIME также приводит к повторному обучению, поскольку перезагрузка по истечении времени жизни — это обычная загрузка. Используйте его для периодического обновления модели по мере роста объёма обучающих данных.

Структура словаря

Словарь XGBOOST имеет фиксированную форму:
  • PRIMARY KEY — это один или несколько столбцов нативного числового типа (целые числа и числа с плавающей точкой), которые служат возможностями модели. Во время выполнения запроса этот «ключ» представляет собой вектор возможностей, передаваемый для получения предсказания, а не сохранённый ключ для поиска. Порядок возможностей совпадает с порядком объявления столбцов ключа, и predictXGBoost сопоставляет свои позиционные аргументы именно с этим порядком.
  • Помимо них, объявите ровно один атрибут типа Float32 или Float64: целевую переменную, которую учится предсказывать модель. Этот атрибут всегда автоматически определяется как единственный столбец, не входящий в ключ возможностей, — параметра для указания его имени нет, а объявление более одного атрибута приводит к ошибке.
Столбец, не соответствующий этим требованиям, отклоняется при загрузке словаря, а не при его создании.

Параметры структуры

Допускаются только перечисленные ниже параметры; любое другое имя приводит к ошибке загрузки, поэтому опечатки выявляются при обучении модели, а не игнорируются молча. Параметр num_iterations обрабатывается ClickHouse (см. его описание); все остальные параметры передаются в бустер XGBoost без изменений в виде строки, и для них действуют значения по умолчанию и допустимые диапазоны самого XGBoost — см. справочник параметров XGBoost. Имена параметров регистронезависимы, и каждый параметр можно указать только один раз. Значение должно быть положительным целым числом, числом с плавающей точкой или строкой в кавычках: отрицательный литерал отклоняется самим DDL словаря ещё до того, как его получит структура, поэтому задать отрицательный seed невозможно. Например, словарь, в котором также задан размер шага eta:

Параметры предсказания

predictXGBoost принимает необязательный концевой константный аргумент типа Map с параметрами предсказания XGBoost. Он указывается после возможностей и создаётся с помощью map:
Имена параметров соответствуют параметрам предсказания функции XGBoost XGBoosterPredictFromDMatrix. Допускаются только перечисленные ниже ключи; любой другой ключ приводит к ошибке запроса. Все параметры являются целыми числами или логическими значениями, поэтому значения Map должны иметь целочисленный тип.

Примечания

  • Семантика вычислительного словаря. Это вычислительный словарь: в нём хранится обученная модель, а не строки, и обращаться к нему с запросами можно только через predictXGBoost. Общий интерфейс словарей не поддерживается и возвращает ошибку: dictGet (сохранённого атрибута для поиска нет — “ключ” представляет собой вектор возможностей, по которому строится предсказание), dictHas (ключи не хранятся), SELECT * FROM dict и соединение со словарём как с таблицей. Поскольку predictXGBoost — единственная точка входа, для каждого предсказания должна быть включена настройка enable_xgboost.
  • Только числовые столбцы. Каждый столбец возможностей (ключа) должен иметь нативный числовой тип, а целевой атрибут — тип Float32 или Float64. При обучении и предсказании значения считываются как числа с плавающей точкой. Аргументы возможностей функции predictXGBoost также могут иметь тип Nullable, см. раздел Как это работает.
  • system.dictionaries не показывает сохранённых элементов. Вместо хранения строк словарь обучает модель, поэтому element_count равен 0, как и у словаря direct. bytes_allocated тоже равен 0: обученная модель принадлежит XGBoost, а он не сообщает, сколько памяти она занимает. query_count и found_rate учитывают строки, переданные в модель функцией predictXGBoost; вызов, все возможности которого являются константами, вычисляется один раз на блок, поэтому учитывается одна строка на блок, а не каждая строка.
  • При неудачной перезагрузке сохраняется предыдущая модель. Если повторное обучение завершается сбоем — исходная таблица удалена, её схема изменилась, гиперпараметр больше не принимается, — словарь не начинает выдавать ошибки при предсказании. Вместо этого он продолжает использовать последнюю успешно обученную модель и записывает ошибку. Чтобы определить, отражает ли модель актуальные исходные данные, сравните last_successful_update_time с last_exception в system.dictionaries:
  • Сообщения XGBoost записываются в журнал сервера. Они пишутся через логгер XGBoost с тем уровнем, который назначает им XGBoost, и привязываются к запросу, выполняющему обучение или предсказание, поэтому также появляются в system.text_log. Чтобы видеть больше сообщений, увеличьте verbosity.
  • Порядок возможностей имеет значение. predictXGBoost сопоставляет позиционные аргументы возможностей со столбцами ключа в порядке их объявления, при этом число аргументов возможностей должно совпадать с числом столбцов ключа.