- Оптимизация запросов: Несколько операций компилируются в один оптимизированный SQL-запрос
- Pushdown фильтров: Фильтры применяются на уровне источника данных
- Исключение лишних столбцов: Считываются только нужные столбцы
- Отложенные решения: Движок выполнения можно выбрать при выполнении
- Просмотр плана: Перед выполнением запроса можно просмотреть план и отладить его
Выполнение автоматически запускается, когда требуются фактические значения:
Примеры:
Примеры:
Операции DataStore используют трёхфазную модель выполнения: Операции, которые можно представить в виде SQL-запроса, накапливаются:
Используйте
explain(), чтобы увидеть, что будет выполнено:
Query
Response
verbose=True для получения более подробной информации:
DataStore кэширует результаты выполнения, чтобы избежать лишних запросов.
DataStore эффективно обрабатывает операции, сочетающие SQL и Pandas: Они преобразуются в SQL:
filter(),where()select()groupby(),agg()sort(),orderby()limit(),offset()join(),union()distinct()- Операции со столбцами (математика, сравнение, строковые методы)
apply()с пользовательскими функциямиpivot_table()со сложными агрегациямиstack(),unstack()- операции над уже выполненными DataFrames
DataStore может выполнять операции на разных движках:
- Выстраивайте Operations в цепочку перед выполнением - Сначала сформируйте полный запрос, затем запускайте его один раз
- Фильтруйте как можно раньше - Уменьшайте объём данных как можно ближе к источнику
- Выбирайте только нужные столбцы - Отсечение столбцов повышает производительность
- Используйте
explain(), чтобы понять выполнение - Выполните Debug перед запуском - Поручите SQL агрегации - ClickHouse оптимизирован для этого
- Помните о триггерах выполнения - Избегайте случайного преждевременного запуска
- Используйте кэширование с умом - Понимайте, когда кэш сбрасывается