- ClickHouse Cloud теперь доступен в регионе GCP us-east1 (Южная Каролина)
- Добавлена возможность настраивать AWS Private Link и GCP Private Service Connect через OpenAPI
- Добавлен автоматический вход в SQL-консоль, если у вас есть роль Developer
- Упрощен процесс настройки перехода в режим простоя во время онбординга
- Коннектор DBT: добавлена поддержка DBT до v1.7
- Metabase: добавлена поддержка Metabase v0.48
- коннектор Power BI: добавлена возможность запуска в PowerBI Cloud
- Добавлена возможность настраивать разрешения для внутреннего пользователя ClickPipes
- Kafka Connect
- Улучшены логика дедупликации и ингестия типов Nullable.
- Добавлена поддержка текстовых форматов (CSV, TSV)
- Apache Beam: добавлена поддержка типов Boolean и LowCardinality
- Клиент Nodejs: добавлена поддержка формата Parquet
- Исправлены 3 уязвимости — подробности см. в журнале изменений по безопасности:
- CVE 2023-47118 (CVSS 7.0) — уязвимость переполнения буфера кучи, затрагивающая нативный интерфейс, который по умолчанию использует порт 9000/tcp
- CVE-2023-48704 (CVSS 7.0) — уязвимость переполнения буфера кучи, затрагивающая нативный интерфейс, который по умолчанию использует порт 9000/tcp
- CVE 2023-48298 (CVSS 5.9) — уязвимость выхода за нижнюю границу диапазона целого числа в кодеке сжатия FPC
- Существенно повышена производительность чтения файлов Parquet. Подробности см. в блоге о релизе 23.8.
- Добавлена поддержка вывода типов для JSON. Подробности см. в блоге о релизе 23.9.
- Представлены мощные функции для аналитиков, такие как
ArrayFold. Подробности см. в блоге о релизе 23.10. - Несовместимое с предыдущими версиями изменение, заметное для пользователей: параметр
input_format_json_try_infer_numbers_from_stringsтеперь по умолчанию отключён, чтобы не выполнять вывод чисел из строк в формате JSON. Иначе возможны ошибки разбора, если выборочные данные содержат строки, похожие на числа. - Десятки новых возможностей, улучшений производительности и исправлений ошибок. Подробности см. в журнале изменений ядра базы данных.
- Улучшен процесс входа и аутентификации.
- Улучшены подсказки по запросам на основе ИИ для более эффективной работы с большими схемами.
- Приёмник Kafka Connect: добавлена поддержка прокси, сопоставления
topic-tablenameи настройки свойств доставки exactly-once для Keeper. - Клиент Node.js: добавлена поддержка формата Parquet.
- Metabase: добавлена поддержка функции
datetimeDiff. - Клиент Python: добавлена поддержка специальных символов в именах столбцов. Исправлена привязка параметра часового пояса.
- Сервисы уровня Development теперь доступны в AWS в регионах
ap-south-1(Мумбаи) иap-southeast-1(Сингапур) - Добавлена поддержка ротации ключей шифрования, управляемых клиентом (CMEK)
- Добавлена возможность настраивать детализированные параметры налогообложения при добавлении кредитной карты
- MySQL
- Улучшена поддержка Tableau Online и QuickSight через MySQL
- коннектор Kafka
- Добавлен новый StringConverter для поддержки текстовых форматов (CSV, TSV)
- Добавлена поддержка типов данных Bytes и Decimal
- Изменено поведение Retryable Exceptions: теперь повторная попытка выполняется всегда (даже при errors.tolerance=all)
- клиент Node.js
- Исправлена проблема, из-за которой потоковая передача больших датасетов приводила к некорректным результатам
- клиент Python
- Исправлены тайм-ауты при больших вставках
- Исправлена проблема с Date32 в NumPy/Pandas - клиент Go
- Исправлены ошибки при вставке пустого map в JSON-столбец, очистке буфера сжатия, экранировании запроса, а также panic при zero/nil для IPv4 и IPv6
- Добавлен watchdog для отменённых вставок
- DBT
- Улучшена поддержка distributed таблиц и добавлены тесты
- Повышено удобство работы с SQL-консолью (например, сохраняется ширина столбцов между выполнениями запросов)
- Повышена производительность SQL-консоли
- Java-клиент:
- Сменена используемая по умолчанию сетевая библиотека, чтобы повысить производительность и повторно использовать открытые соединения
- Добавлена поддержка прокси
- Добавлена поддержка защищённых соединений с использованием Trust Store
- клиент Node.js: исправлено поведение keep-alive при выполнении запросов вставки
- Metabase: исправлена сериализация столбцов IPv4/IPv6
- Добавлен сценарий самообслуживания для безопасного доступа к Amazon S3 через роли IAM (см. доступ к данным Amazon S3 через роли IAM)
- Добавлены подсказки по запросам на базе ИИ в рамках закрытой предварительной версии (чтобы опробовать их, обратитесь в службу поддержки ClickHouse Cloud.)
- Объявлено о переходе ClickPipes — готового сервиса для ингестии данных — в стадию General Availability для Kafka, Confluent Cloud и Amazon MSK (см. блог о релизе)
- Kafka Connect ClickHouse Sink перешел в стадию General Availability
- Расширена поддержка пользовательских настроек ClickHouse через свойство
clickhouse.settings - Улучшено поведение дедупликации с учетом динамических полей
- Добавлена поддержка
tableRefreshIntervalдля повторного получения изменений таблицы из ClickHouse
- Расширена поддержка пользовательских настроек ClickHouse через свойство
- Исправлены проблема с SSL-подключением и сопоставление типов данных между PowerBI и ClickHouse
- Добавлены оставшиеся кредиты и повторные попытки оплаты для поддержки списаний из Индии
- коннектор Kafka: добавлена поддержка настройки параметров ClickHouse, добавлена опция конфигурации error.tolerance
- PowerBI Desktop: выпущена бета-версия официального коннектора
- Grafana: добавлена поддержка геотипа Point, исправлены панели на панели мониторинга Data Analyst, исправлен макрос timeInterval
- клиент Python: совместим с Pandas 2.1.0, прекращена поддержка Python 3.7, добавлена поддержка Nullable для типа JSON
- клиент Node.js: добавлена поддержка настройки default_format
- клиент Go: исправлена обработка типа bool, сняты ограничения на строки
- Добавлена поддержка протокола MySQL, что, помимо прочего, обеспечивает совместимость со многими BI-инструментами. Чтобы включить эту возможность для вашей организации, обратитесь в службу поддержки.
- Представлен новый официальный коннектор Power BI
- Добавлена поддержка представления «Выполняющиеся запросы» в SQL-консоли
- Добавлена поддержка табличной функции Azure Table, геотипы данных признаны готовыми к использованию в продакшне, а также повышена производительность JOIN — подробности см. в блоге о релизе 23.5
- Поддержка интеграции с MongoDB расширена до версии 6.0 — подробности см. в блоге о релизе 23.6
- Производительность записи в формат Parquet увеличена в 6 раз, добавлена поддержка языка запросов PRQL и улучшена совместимость с SQL — подробности см. в презентации к релизу 23.7
- Десятки новых возможностей, улучшений производительности и исправлений ошибок — см. подробные журналы изменений для версий 23.5, 23.6 и 23.7
- коннектор Kafka: добавлена поддержка типов Avro Date и Time
- JavaScript-клиент: выпущена стабильная версия для веб-среды
- Grafana: улучшена логика фильтрации, обработка имени базы данных и добавлена поддержка TimeInteval с субсекундной точностью
- Клиент Go: исправлено несколько проблем с батчами и асинхронной загрузкой данных
- Metabase: добавлена поддержка v0.47, добавлена имперсонация подключения, исправлены сопоставления типов данных
- Представлена закрытая предварительная версия ClickPipes для Kafka — облачного движка интеграции, который делает приём огромных объёмов данных из Kafka и Confluent Cloud таким же простым, как нажатие нескольких кнопок. Запишитесь в лист ожидания здесь.
- JavaScript-клиент: добавлена поддержка веб-окружений (браузер, Cloudflare workers). Код переработан, чтобы сообщество могло создавать коннекторы для пользовательских окружений.
- Kafka Connector: добавлена поддержка встроенной схемы с типами Kafka Timestamp и Time
- клиент Python: исправлены проблемы со сжатием при вставке и при чтении LowCardinality
- Добавлен новый интерфейс загрузки данных с расширенными параметрами создания таблиц
- Добавлена возможность загружать файл по URL через Cloud Console
- Улучшен процесс работы с приглашениями: появились дополнительные возможности присоединиться к другой организации и просматривать все ожидающие приглашения
- Новый регион AWS в Австралии: Сидней (ap-southeast-2)
- Сервисы выделенного уровня для ресурсоёмких рабочих нагрузок, чувствительных к задержкам (чтобы настроить это, обратитесь в поддержку)
- Использование собственного ключа (BYOK) для шифрования данных на диске (чтобы настроить это, обратитесь в поддержку)
- Улучшена панель мониторинга метрик обсервабилити для асинхронных вставок
- Улучшена работа чат-бота при интеграции со службой поддержки
- NodeJS client: исправлена ошибка, из-за которой соединение завершалось из-за тайм-аута сокета
- клиент Python: в запросы вставки добавлен QuerySummary, добавлена поддержка специальных символов в имени базы данных
- Metabase: обновлена версия JDBC-драйвера, добавлена поддержка DateTime64, улучшена производительность.
- Кэш запросов можно включить в ClickHouse Cloud. Когда он включён, результаты успешных запросов по умолчанию кэшируются на одну минуту, а последующие запросы используют кэшированный результат.
- ClickHouse Cloud on GCP теперь доступен в стадии GA; поддерживаются интеграция с GCP Marketplace, Private Service Connect и автоматическое создание резервных копий (подробности см. в блоге и пресс-релизе)
- Теперь доступен Terraform-провайдер для Cloud API
- Добавлена новая единая страница настроек сервисов
- Скорректирована точность учета хранилища и вычислительных ресурсов
- клиент Python: повышена производительность вставки, переработаны внутренние зависимости для поддержки многопроцессной обработки
- коннектор Kafka: теперь его можно загрузить и установить в Confluent Cloud, добавлены повторные попытки при временных проблемах с подключением, некорректное состояние коннектора теперь сбрасывается автоматически
- Добавлена поддержка JOIN для параллельных реплик (для настройки обратитесь в службу поддержки)
- Повышена производительность легковесных удалений
- Улучшено кэширование при обработке крупных вставок
- Расширены возможности создания локальных словарей для пользователей, отличных от «default»
- Поддержка API для ClickHouse Cloud. Новый Cloud API позволяет без лишних усилий интегрировать управление сервисами в существующий конвейер CI/CD и управлять сервисами программно
- Доступ к S3 с использованием ролей IAM. Теперь вы можете использовать роли IAM для безопасного доступа к своим приватным бакетам Amazon Simple Storage Service (S3) (чтобы настроить это, обратитесь в службу поддержки)
- Горизонтальное масштабирование. Рабочие нагрузки, которым требуется больше параллелизма, теперь можно настраивать с числом реплик до 10 (чтобы включить эту возможность, пожалуйста, обратитесь в службу поддержки)
- Автомасштабирование на основе CPU. Для рабочих нагрузок, ограниченных CPU, теперь доступны дополнительные триггеры для политик автомасштабирования
- Перенос сервиса Dev в сервис Production (чтобы включить эту возможность, обратитесь в службу поддержки)
- Добавлены настройки масштабирования в процессе создания инстанса
- Исправлено формирование строки подключения, если пароль по умолчанию отсутствует в памяти
- клиент Go: исправлена проблема, приводившая к неравномерному распределению подключений в собственном протоколе, добавлена поддержка пользовательских настроек в собственном протоколе
- клиент Node.js: прекращена поддержка Node.js v14, добавлена поддержка v20
- коннектор Kafka: добавлена поддержка типа LowCardinality
- Metabase: исправлена группировка по временному диапазону, улучшена поддержка целых чисел во встроенных вопросах Metabase
- Повышены эффективность и производительность рабочих нагрузок с интенсивной записью
- Внедрена стратегия инкрементного резервного копирования для повышения скорости и эффективности создания резервных копий
ОбновлениеClickHouse Cloud on GCP теперь имеет статус GA, см. запись от 20 июня выше.
ClickHouse Cloud on GCP теперь имеет статус GA, см. запись от 20 июня выше.
- Доступно полностью управляемое предложение ClickHouse с разделением хранилища и вычислительных ресурсов, работающее на базе Google Compute и Google Cloud Storage
- Доступно в регионах Айова (us-central1), Нидерланды (europe-west4) и Сингапур (asia-southeast1)
- Поддерживает сервисы Development и Production во всех трёх изначальных регионах
- Обеспечивает высокий уровень безопасности по умолчанию: сквозное шифрование при передаче данных, шифрование данных в состоянии покоя, списки разрешённых IP-адресов
- клиент Go: добавлена поддержка переменных окружения для прокси
- Grafana: добавлена возможность указывать пользовательские настройки ClickHouse и переменные окружения для прокси при настройке источника данных Grafana
- коннектор Kafka: улучшена обработка пустых записей
- В списке пользователей добавлен индикатор использования многофакторной аутентификации (MFA)
- Добавлен более гибкий контроль разрешения на завершение запросов для администраторов
- В SQL-консоль добавлен тип диаграммы «тепловая карта»
- Улучшена страница использования в биллинге: теперь на ней отображаются израсходованные кредиты по каждой расчетной размерности
- Коннектор Kafka: добавлен механизм повторных попыток для временных ошибок соединения
- Клиент Python: добавлен параметр
max_connection_age, чтобы HTTP-соединения не переиспользовались бесконечно долго. Это может помочь в некоторых сценариях балансировки нагрузки - Клиент Node.js: добавлена поддержка Node.js v20
- Java-клиент: улучшена поддержка аутентификации с использованием клиентских сертификатов, а также добавлена поддержка вложенных типов Tuple/Map/Nested
- Сокращено время запуска сервиса при большом количестве частей
- Оптимизирована логика отмены длительно выполняющихся запросов в SQL-консоли
- Исправлена ошибка, из-за которой не удавалось импортировать демонстрационный набор данных «Базовые станции сотовой связи»
- Добавлена возможность общаться со службой поддержки в реальном времени
- коннектор Kafka: добавлена поддержка типов Nullable
- клиент Go: добавлена поддержка внешних таблиц, а также привязок параметров логического типа и типа указателя
- Добавлена возможность удалять большие таблицы при переопределении настроек
max_table_size_to_dropиmax_partition_size_to_drop
- Повышена скорость холодных чтений благодаря предварительной выборке из S3 с помощью настройки
allow_prefetched_read_pool_for_remote_filesystem
- Легковесные удаления готовы для использования в продакшне — подробности см. в блоге о релизе 23.3
- Добавлена поддержка многоэтапного PREWHERE — подробности см. в блоге о релизе 23.2
- Десятки новых возможностей, улучшений производительности и исправлений ошибок — подробности см. в подробных changelog для 23.3 и 23.2
- Добавлена возможность программно отправлять запросы к конечным точкам ClickHouse Cloud через Cloud Endpoints API
- В расширенные настройки масштабирования добавлена настройка «minimum idle timeout»
- В модальном окне загрузки данных для определения схемы добавлено best-effort распознавание datetime
- Metabase: Добавлена поддержка нескольких схем
- Клиент Go: Исправлена проверка активности бездействующих TLS‑соединений
- Клиент Python
- Добавлена поддержка внешних данных в методах запросов
- Добавлена поддержка часовых поясов в результатах запросов
- Добавлена поддержка переменной окружения
no_proxy/NO_PROXY - Исправлена привязка параметров на стороне сервера для значения NULL в типах Nullable
- Исправлено поведение, из-за которого при выполнении
INSERT INTO ... SELECT ...из SQL-консоли ошибочно применялось то же ограничение на количество строк, что и для запросовSELECT
- Основные конечные точки базы данных теперь требуют соблюдения правил сложности паролей
- Сокращено время восстановления крупных резервных копий
- Оптимизирован процесс онбординга: добавлены новые настройки по умолчанию и более компактные представления
- Сокращены задержки при регистрации и входе
- Grafana:
- Добавлена поддержка отображения данных trace, хранящихся в ClickHouse, в Trace View
- Улучшены фильтры временного диапазона и добавлена поддержка специальных символов в именах таблиц
- Superset: Добавлена нативная поддержка ClickHouse
- Приёмник Kafka Connect: Добавлены автоматическое преобразование дат и обработка столбцов Null
- Metabase: Реализована совместимость с v0.46
- клиент Python: Исправлена вставка во временные таблицы и добавлена поддержка Pandas Null
- клиент Go: Нормализованы типы Date с учётом часового пояса
- Java-клиент
- В SQL-парсер добавлена поддержка ключевых слов compression, infile и outfile
- Добавлена перегрузка для учётных данных
- Исправлена работа батчей с
ON CLUSTER
- клиент Node.js
- Добавлена поддержка форматов JSONStrings, JSONCompact, JSONCompactStrings, JSONColumnsWithMetadata
- Теперь
query_idможно передавать всем основным методам клиента
- Исправлена ошибка, из-за которой первичное выделение ресурсов и запуск новых сервисов занимали слишком много времени
- Исправлена ошибка, из-за которой из-за неправильной настройки кэша снижалась производительность запросов
- Добавлены расширенные панели мониторинга обсервабилити (предварительная версия)
- В панели мониторинга обсервабилити добавлена диаграмма использования памяти
- Улучшены интервалы и обработка переводов строк в табличном представлении SQL Console
- Оптимизировано расписание резервного копирования: резервные копии создаются только при изменении данных
- Сокращено время выполнения крупных резервных копий
- Добавлена возможность увеличить лимит на удаление таблиц и партиций, переопределив настройки
max_table_size_to_dropиmax_partition_size_to_dropна уровне запроса или соединения - В лог запросов добавлен исходный IP-адрес, чтобы можно было применять квоты и управление доступом на основе исходного IP-адреса
- Клиент Python: Улучшена поддержка Pandas и исправлены проблемы, связанные с часовыми поясами
- Metabase: Совместимость с Metabase 0.46.x и поддержка SimpleAggregateFunction
- Kafka-Connect: Неявное преобразование дат и улучшенная обработка столбцов с NULL
- Java-клиент: Преобразование Nested в Java Map
- ARRAY JOIN с типом Map
- Шестнадцатеричные и двоичные литералы по стандарту SQL
- Новые функции, включая
age(),quantileInterpolatedWeighted(),quantilesInterpolatedWeighted() - Возможность использовать структуру таблицы назначения для вставки в
generateRandomбез аргументов - Улучшена логика создания и переименования баз данных, что позволяет повторно использовать прежние имена
- Подробнее см. слайды вебинара о релизе 23.1 и журнал изменений релиза 23.1
- Kafka-Connect: Добавлена поддержка Amazon MSK
- Metabase: Первый стабильный релиз 1.0.0
- Коннектор стал доступен в Metabase Cloud
- Добавлена возможность просматривать все доступные базы данных
- Исправлена синхронизация базы данных с типом AggregationFunction
- DBT-clickhouse: Добавлена поддержка последней версии DBT v1.4.1
- клиент Python: Улучшена поддержка прокси и SSH-туннелирования; внесён ряд исправлений и оптимизаций производительности для DataFrame Pandas
- клиент Node.js: Добавлена возможность привязывать
query_idк результату запроса; его можно использовать для получения метрик запроса изsystem.query_log - клиент Go: Оптимизировано сетевое соединение с ClickHouse Cloud
- В журнал активности теперь добавляются изменения расширенных настроек масштабирования и перехода в режим простоя
- В письма для сброса пароля добавлена информация о user agent и IP-адресе
- Улучшен процесс регистрации через Google OAuth
- Ускорен выход крупных сервисов из состояния бездействия
- Снижена задержка чтения для сервисов с большим количеством таблиц и партиций
- Исправлено поведение, из-за которого при сбросе пароля сервиса не соблюдалась политика паролей
- Проверка адреса электронной почты в приглашениях в организацию стала регистронезависимой
- плагин Metabase: стал официальным решением, поддерживаемым ClickHouse
- плагин dbt: добавлена поддержка нескольких потоков
- плагин Grafana: улучшена обработка ошибок подключения
- клиент Python: поддержка стриминга для операции вставки
- клиент Go: исправления ошибок: закрытие отменённых подключений, улучшена обработка ошибок подключения
- клиент JS: обратно несовместимые изменения в exec/insert; query_id добавлен в возвращаемые типы
- крупный релиз клиента Java / JDBC-драйвера
- Обратно несовместимые изменения: удалены устаревшие методы, классы и пакеты
- Добавлена поддержка драйвера R2DBC и вставки из файлов
- Добавлена поддержка представлений и materialized views в SQL-консоли
- Ускорен сброс пароля для остановленных и простаивающих инстансов
- Улучшено поведение при уменьшении масштаба за счёт более точного отслеживания активности
- Исправлена ошибка, из-за которой CSV-экспорт из SQL-консоли выполнялся не полностью
- Исправлена ошибка, приводившая к периодическим сбоям при загрузке демонстрационных данных
- Добавлена поддержка словарей для дополнительных источников, включая внешние ClickHouse, Cassandra, MongoDB, MySQL, PostgreSQL и Redis
- Расширена поддержка JOIN: добавлен Grace Hash JOIN
- Добавлена поддержка Binary JSON (BSON) для чтения файлов
- Добавлена поддержка стандартного синтаксиса SQL GROUP BY ALL
- Новые математические функции для десятичных операций с фиксированной точностью
- Полный список изменений см. в блоге о релизе 22.12 и подробном списке изменений 22.12
- Улучшено автодополнение в SQL-консоли
- Регион по умолчанию теперь выбирается с учетом континента
- Улучшена страница Billing Usage: теперь на ней отображаются как единицы биллинга, так и единицы на сайте
- Релиз DBT v1.3.2
- Добавлена экспериментальная поддержка инкрементальной стратегии delete+insert
- Новый макрос s3source
- клиент Python v0.4.8
- Поддержка вставки в File
- Привязка параметров запроса на стороне сервера
- клиент Go v2.5.0
- Снижено использование памяти при сжатии
- Привязка параметров запроса на стороне сервера
- Улучшена производительность чтения для запросов, которые получают большое количество небольших файлов из объектного хранилища
- Для новых сервисов параметр compatibility устанавливается в значение версии, с которой сервис был изначально запущен