В режиме
auto (по умолчанию) DataStore выбирает для каждой операции оптимальный движок:
- SQL-совместимая фильтрация (
filter(),where()) - Выбор столбцов (
select()) - Сортировка (
sort(),orderby()) - Группировка и агрегация (
groupby().agg()) - Соединение (
join(),merge()) - Удаление дубликатов (
distinct(),drop_duplicates()) - Ограничение (
limit(),head(),tail())
- Пользовательские apply-функции (
apply(custom_func)) - Сложные сводные таблицы с пользовательскими агрегациями
- Операции, которые невозможно выразить в SQL
- Если на входе уже pandas DataFrame
Принудительно выполняйте все операции через ClickHouse SQL:
- Обработка больших наборов данных (миллионы строк)
- Ресурсоёмкие рабочие нагрузки агрегации
- Когда нужна максимальная SQL-оптимизация
- Единообразное поведение во всех операциях
- Пользовательские функции Python могут не поддерживаться
- Для некоторых возможностей, специфичных для pandas, требуется преобразование
Принудительно выполняйте все операции через pandas:
- Тестирование совместимости с pandas
- Использование возможностей pandas
- Отладка проблем, связанных с pandas
- Когда данные уже представлены в формате pandas
Настройте движок для операций, объединяющих столбцы из разных DataStore:
Результаты бенчмарка на 10 млн строк:
Ключевые выводы:
- chDB особенно хорошо показывает себя в агрегациях и сложных конвейерах
- pandas немного быстрее при простых одиночных операциях
- Используйте режим
auto, чтобы получить лучшее из обоих вариантов