- Данные: 10 миллионов строк
- Оборудование: стандартный ноутбук
- Формат файла: CSV
- Операции GroupBy: DataStore до 19,93 раза быстрее
- Сложные конвейеры: DataStore в 5–6 раз быстрее (за счёт SQL pushdown)
- Простые операции среза: Производительность сопоставима — разность незначительна
- Лучший сценарий использования: Многошаговые операции с GroupBy/агрегацией
- Zero-copy:
to_df()работает без накладных расходов на преобразование данных
В большинстве сценариев DataStore не уступает pandas по производительности или превосходит его. Однако в следующих случаях pandas может быть немного быстрее:
ВажноДаже в сценариях, где DataStore работает «медленнее», производительность обычно сопоставима с pandas — для практического использования разница пренебрежимо мала. Преимущества DataStore при сложных операциях с лихвой перевешивают такие редкие случаи.Для более тонкой настройки выполнения см. Настройка движка выполнения.
DataStore использует zero-copy при чтении и записи pandas DataFrame. Это означает:
to_df()практически ничего не стоит — без сериализации и копирования данных в памяти- Создание DataStore из pandas DataFrame происходит мгновенно
- Память используется совместно между DataStore и представлениями pandas
Для рабочих нагрузок с интенсивной агрегацией, где вам не требуется точный формат вывода pandas (порядок строк, столбцы MultiIndex, корректировка dtype), включите режим производительности для максимальной пропускной способности: