Включение режима производительности автоматически устанавливает движок выполнения
chdb. Отдельно вызывать config.use_chdb() не нужно.Используйте режим производительности, если:
- Обрабатываете большие наборы данных (от сотен тысяч до миллионов строк)
- Запускаете рабочие нагрузки с интенсивной агрегацией (groupby, sum, mean, count)
- Порядок строк не имеет значения (например, для агрегированных результатов, отчетов и панелей мониторинга)
- Вам нужна максимальная пропускная способность SQL и минимальные накладные расходы
- Вас беспокоит использование памяти (параллельное чтение Parquet, без промежуточных
DataFrame)
- Вам нужно точное поведение pandas (порядок строк, MultiIndex, dtypes)
- Для вас важно, чтобы
first()/last()возвращали действительно первую/последнюю строку - Вы используете
shift(),diff(),cumsum(), которые зависят от порядка строк - Вы пишете тесты, сравнивающие вывод DataStore с pandas
В режиме производительности порядок строк не гарантируется ни для каких операций. Это относится к следующему:
- Результаты фильтрации
- Результаты агрегирования GroupBy
head()/tail()без явногоsort_values()- Агрегации
first()/last()
sort_values():
ColumnExpr (например, ds[condition].groupby('col')['val'].sum()) выполняется как один SQL-запрос, а не в два этапа, как в режиме pandas:
Режим производительности (
compat_mode) и движок выполнения (execution_engine) — независимые параметры конфигурации:
При установке
compat_mode='performance' параметр execution_engine автоматически получает значение chdb, поскольку режим производительности предназначен для выполнения SQL.
При тестировании в режиме производительности результаты могут отличаться от pandas порядком строк и структурой данных. Используйте следующие стратегии:
- Движок выполнения — Выбор движка (auto/chDB/pandas)
- Руководство по производительности — Общие рекомендации по оптимизации
- Основные отличия от pandas — Различия в поведении