- Группируйте данные в батчи с порогами 30 секунд или 200 МБ
- Включите async_insert для автоматического батчинга
- Используйте буферные таблицы для батчинга на стороне сервера
- Настройте Kafka для контролируемого размера батчей
ALTER на таблицах объёмом в несколько терабайт могут потреблять значительные ресурсы и даже блокировать базы данных. В одном из примеров из сообщества изменение типа Integer на Float для 14 ТБ данных привело к блокировке всей базы данных и потребовало её восстановления из резервных копий.
Отслеживайте ресурсоёмкие мутации:
max_bytes_before_external_group_by — этот параметр помогает предотвратить сбои из-за нехватки памяти при больших операциях GROUP BY. Подробнее об этой настройке читайте здесь.
insert_distributed_sync, чтобы задействовать параллельную обработку и немедленную отправку данных в сегменты.
Следите за накоплением временных данных при использовании distributed таблиц.
Рекомендуемые сообществом пороговые значения для мониторинга:
- Число частей на партицию: желательно менее 100
- Задержанные вставки: должно оставаться равным нулю
- Частота вставок: для оптимальной производительности — примерно не более 1 в секунду