Operations выполняются сразу:
- Оптимизация запросов: Несколько операций объединяются в один SQL-запрос
- Отсечение столбцов: Считываются только необходимые столбцы
- Pushdown фильтров: Фильтры применяются на стороне источника
- Эффективное использование памяти: Загружаются только нужные данные
DataStore выполняет вычисления, когда нужны реальные значения:
Порядок строк всегда сохраняется:
rowNumberInAllBlocks()), чтобы порядок оставался согласованным с pandas.
- Источники на основе файлов (CSV, Parquet, JSON и т. д.)
- Источники pandas DataFrame
- Операции фильтрации
- Выбор столбцов
- После явного вызова
sort()илиsort_values() - Операции, задающие порядок (
nlargest(),nsmallest(),head(),tail())
- После агрегаций
groupby()(используйтеsort_values(), чтобы обеспечить стабильный порядок) - После
merge()/join()с некоторыми типами JOIN - В режиме производительности (
config.use_performance_mode()): порядок строк не гарантируется для любых операций. См. режим производительности.
inplace=True не поддерживается. Всегда присваивайте результат:
- Построение запросов (отложенное вычисление)
- Потокобезопасность
- Упростить отладку
- Более аккуратный код
Полная поддержка индексов:
- Источник DataFrame: сохраняет индекс pandas
- Источник File: использует простой целочисленный индекс
pandas не распознаёт объекты типа DataStore:
Используются типы numpy/pandas:
Все данные хранятся в памяти:
- ошибки pandas: Из библиотеки pandas
- ошибки DataStore: Из chDB или ClickHouse
При миграции с pandas:
- Измените инструкцию import
- Уберите параметры
inplace=True - Явно добавьте
to_df()там, где требуется pandas DataFrame - Добавьте сортировку, если важен порядок строк
- Используйте
to_pandas()для сравнительных тестов - Протестируйте на данных репрезентативного объёма