

- Снижение задержки конечной точки, особенно при холодном старте
- Расширенные средства управления RBAC для конечных точек
- Настраиваемые домены, разрешенные для CORS
- Потоковая передача результатов
- Поддержка всех совместимых с ClickHouse выходных форматов

MEMORY_LIMIT_EXCEEDED, были отправлены уведомления по электронной почте.
Пожалуйста, обновитесь до:
- Kafka-Connect: > 1.2.5
- ClickHouse-Connect (Java): > 0.8.6




Клиенты, которым требуется повышенная защита защищенной медицинской информации (PHI), теперь могут начать использовать ClickHouse Cloud в Google Cloud Platform (GCP). ClickHouse внедрил административные, физические и технические меры защиты, предусмотренные правилом безопасности HIPAA, и теперь предлагает настраиваемые параметры безопасности, которые можно применять в зависимости от вашего конкретного сценария использования и рабочей нагрузки. Подробнее о доступных параметрах безопасности см. на нашей странице возможностей безопасности. Сервисы доступны в GCP
us-central-1 для клиентов с типом сервиса Dedicated и требуют заключения соглашения Business Associate Agreement (BAA). Чтобы запросить доступ к этой возможности или присоединиться к списку ожидания для дополнительных регионов GCP, AWS и Azure, свяжитесь с отделом продаж или службой поддержки.
Недавно мы объявили о закрытой предварительной версии Compute-Compute Separation для AWS. Мы рады сообщить, что теперь она доступна и для GCP, и для Azure.
Compute-compute separation позволяет назначать отдельные сервисы как сервисы с возможностью чтения и записи или только для чтения, помогая вам подобрать оптимальную конфигурацию вычислительных ресурсов для вашего приложения с точки зрения стоимости и производительности. Подробнее см. в документации.
Клиенты, использующие многофакторную аутентификацию, теперь могут получать коды восстановления, которые можно использовать в случае потери телефона или случайного удаления токена. Клиентам, которые впервые настраивают MFA, код будет предоставлен во время настройки. Клиенты с уже настроенной MFA могут получить код восстановления, удалив текущий токен MFA и добавив новый.
Мы рады поделиться последними обновлениями ClickPipes — самого простого способа выполнять ингестию данных в ваш сервис ClickHouse. Эти новые возможности дают больше контроля над ингестией данных и улучшают видимость метрик производительности.
Пользовательские сертификаты аутентификации для Kafka
ClickPipes for Kafka теперь поддерживает пользовательские сертификаты аутентификации для брокеров Kafka с использованием SASL и публичного SSL/TLS. Теперь во время настройки ClickPipe вы можете легко загрузить собственный сертификат в разделе SSL Certificate, чтобы обеспечить более безопасное подключение к Kafka.
Представляем метрики задержки для Kafka и Kinesis
Видимость производительности имеет решающее значение. В ClickPipes теперь доступен график задержки, который показывает время от публикации сообщения (в Kafka topic или Kinesis Stream) до ингестии в ClickHouse Cloud. Эта новая метрика позволяет точнее отслеживать производительность ваших конвейеров данных и оптимизировать их по мере необходимости.

Управление масштабированием для Kafka и Kinesis (закрытая бета) При высокой пропускной способности могут потребоваться дополнительные ресурсы, чтобы удовлетворить ваши требования к объёму данных и задержкам. Мы добавляем горизонтальное масштабирование для ClickPipes, доступное напрямую через нашу консоль ClickHouse Cloud. Сейчас эта возможность находится в стадии закрытой беты, что позволяет эффективнее масштабировать ресурсы в соответствии с вашими требованиями. Чтобы присоединиться к бете, обратитесь в support. Ингестия необработанных сообщений для Kafka и Kinesis Теперь можно выполнять приём сообщения Kafka или Kinesis целиком, без парсинга. ClickPipes теперь поддерживает
_raw_message виртуальный столбец, который позволяет сопоставить всё сообщение с одним столбцом String. Это даёт вам больше гибкости при работе с необработанными данными.
Terraform позволяет программно управлять сервисами ClickHouse Cloud и хранить конфигурацию в виде кода. Наш Terraform-провайдер был скачан почти 200 000 раз и теперь официально имеет версию v1.0.0. Эта версия включает такие улучшения, как усовершенствованная логика повторных попыток и новый ресурс для подключения частных конечных точек к вашему сервису ClickHouse Cloud. Вы можете скачать Terraform-провайдер здесь и посмотреть полный журнал изменений здесь.
Мы рады сообщить о публикации нашего отчета SOC 2 Type II за 2024 год и обновленного сертификата ISO 27001. Оба документа теперь охватывают наши недавно запущенные сервисы в Azure, а также по-прежнему распространяются на сервисы в AWS и GCP.
Наш SOC 2 Type II подтверждает нашу неизменную приверженность обеспечению безопасности, доступности, целостности обработки и конфиденциальности сервисов, которые мы предоставляем пользователям ClickHouse. Подробнее см. SOC 2 - SOC for Service Organizations: Trust Services Criteria, опубликованный American Institute of Certified Public Accountants (AICPA), и What is ISO/IEC 27001 от International Standards Organization (ISO).
Также посетите наш Trust Center, чтобы ознакомиться с документами и отчетами по безопасности и соответствию требованиям.
В существующих сервисах ClickHouse Cloud реплики обрабатывают и чтение, и запись, и настроить отдельную реплику только на один тип операций нельзя. Мы готовим новую возможность под названием Compute-compute separation, которая позволяет назначать отдельные сервисы как сервисы с возможностью чтения и записи или только для чтения, чтобы вы могли подобрать оптимальную конфигурацию вычислительных ресурсов для своего приложения с точки зрения стоимости и производительности.
Новая возможность Compute-compute separation позволяет создавать несколько групп вычислительных узлов, каждая со своей конечной точкой, использующих одну и ту же папку Объектного хранилища и, следовательно, одни и те же таблицы, представления и т. д. Подробнее см. здесь. Если вы хотите получить доступ к этой возможности в рамках закрытой предварительной версии, обратитесь в службу поддержки.

DESCRIBE, которые позволяют изучить структуру таблицы. Эти команды выводят результат в консоль, но пользоваться ими не всегда удобно: чтобы получить все нужные данные о таблицах и столбцах, часто приходится комбинировать несколько запросов.
Недавно мы запустили Table Inspector в консоли ClickHouse Cloud, который позволяет получать важную информацию о таблицах и столбцах прямо в интерфейсе, без необходимости писать SQL. Вы можете опробовать Table Inspector для своих сервисов в консоли ClickHouse Cloud. Он показывает сведения о схеме, хранилище, сжатии и многом другом в едином интерфейсе.

JOIN-операции. Ранее новым пользователям нужно было включать эту возможность с помощью настройки allow_experimental_analyzer. Теперь этот улучшенный анализатор по умолчанию доступен в новых сервисах ClickHouse Cloud.
Следите за обновлениями: у нас запланировано еще много оптимизаций и других улучшений анализатора.
Впервые мы объявили о поддержке Microsoft Azure в статусе бета в мае этого года. В этом последнем облачном релизе мы рады сообщить, что поддержка Azure переходит из статуса бета в общедоступный режим. Теперь ClickHouse Cloud доступен на всех трех крупнейших облачных платформах: AWS, Google Cloud Platform и Microsoft Azure.
В этот релиз также входит поддержка подписок через Microsoft Azure Marketplace. На первом этапе сервис будет доступен в следующих регионах:
- США: West US 3 (Arizona)
- США: East US 2 (Virginia)
- Европа: Germany West Central (Frankfurt)
system.query_log — ключевой источник информации для оптимизации запросов, отладки, а также мониторинга общего состояния и производительности кластера. Но есть одна сложность: из-за более чем 70 полей и нескольких записей на каждый запрос разобраться в журнале запросов не так просто. Эта первая версия Query Insights задает направление для дальнейшей работы по упрощению отладки запросов и выявлению шаблонов оптимизации. Мы будем рады вашему отзыву по мере развития этой возможности, поэтому свяжитесь с нами — ваш отклик очень важен.


- Настраиваемые резервные копии — возможность задавать собственные политики резервного копирования, включая частоту, срок хранения и расписание, — теперь общедоступны.
- С начала: начните чтение данных с самого начала топика Kafka. Этот вариант подходит, если вам нужно повторно обработать все исторические данные.
- С последнего: начните чтение данных с самого последнего смещения. Это полезно, если вас интересуют только новые сообщения.
- С временной метки: начните чтение данных из сообщений, созданных в указанное время или позже. Эта возможность обеспечивает более точный контроль и позволяет возобновить обработку с конкретного момента времени.







- Поддержка форматов вывода в SQL-консоли
- Коннектор Kafka в ClickPipes поддерживает конфигурацию с несколькими брокерами
- Коннектор Power BI поддерживает задание параметров конфигурации драйвера ODBC.
ap-northeast-1). Поскольку мы стремимся сделать ClickHouse самой быстрой базой данных, мы постоянно расширяем список регионов во всех облаках, чтобы максимально снизить задержки. Теперь вы можете создать новый сервис в Tokyo в обновлённой консоли ClickHouse Cloud.

- Поддержка формата Avro для ClickPipes for Kafka теперь общедоступна
- Реализована полная поддержка импорта ресурсов (сервисов и частных конечных точек) в Terraform-провайдере
- Крупный стабильный релиз клиента NodeJS: расширенная поддержка TypeScript для query и ResultSet, настройка через URL
- Kafka Connector: исправлена ошибка, из-за которой при записи в DLQ игнорировались исключения, добавлена поддержка типа Avro Enum, опубликованы руководства по использованию коннектора в MSK и Confluent Cloud
- Grafana: исправлена работа с типом Nullable в интерфейсе, исправлена поддержка динамического имени таблицы трассировки OTEL
- DBT: исправлены настройки модели для пользовательской материализации.
- Java-клиент: исправлена ошибка некорректного разбора кода ошибки
- клиент Python: исправлена привязка параметров для числовых типов, исправлены ошибки при привязке списков чисел в запросе, добавлена поддержка Point в SQLAlchemy.

- Добавлена поддержка Microsoft Azure в рамках закрытой предварительной версии. Чтобы получить доступ, свяжитесь с менеджером аккаунта или службой поддержки либо запишитесь в лист ожидания.
- Добавлены Release Channels — возможность задавать сроки обновлений в зависимости от типа среды. В этом релизе мы добавили канал fast, который позволяет обновлять непродакшн-среды раньше продакшн-сред (чтобы включить его, пожалуйста, обратитесь в службу поддержки).
- Добавлена поддержка настройки горизонтального масштабирования через API (закрытая предварительная версия; чтобы включить эту возможность, необходимо обратиться в службу поддержки)
- Улучшено автомасштабирование: теперь для сервисов, сталкивающихся при запуске с ошибками нехватки памяти, ресурсы автоматически увеличиваются
- Добавлена поддержка CMEK для AWS через Terraform-провайдер
- Добавлена поддержка входа через Microsoft
- Добавлена возможность общего доступа к параметризованным запросам в SQL-консоли
- Значительно повышена производительность редактора запросов (в некоторых регионах ЕС задержка снижена с 5 с до 1,5 с)
- Экспортёр OpenTelemetry для ClickHouse: добавлена поддержка движка таблиц с репликацией ClickHouse и добавлены интеграционные тесты
- Адаптер DBT для ClickHouse: добавлена поддержка макроса материализации для словарей, тестов для поддержки выражений TTL
- Приёмник ClickHouse Kafka Connect: добавлена совместимость с обнаружением плагинов Kafka (вклад сообщества)
- Java-клиент ClickHouse: представлен новый пакет для нового API клиента и добавлено покрытие тестами для Cloud
- NodeJS-клиент ClickHouse: расширены тесты и документация для нового поведения HTTP keep-alive. Доступно начиная с версии v0.3.0
- Клиент Go для ClickHouse: исправлена ошибка, связанная с использованием Enum в качестве ключа в Map; исправлена ошибка, из-за которой соединение с ошибкой оставалось в пуле соединений (вклад сообщества)
- Клиент Python для ClickHouse: добавлена поддержка стриминга запросов через PyArrow (вклад сообщества)
- ClickHouse Cloud обновлён для устранения проблемы, при которой “Ролевое управление доступом обходится при включённом кэшировании запросов” (CVE-2024-22412)
- Новый интерфейс консоли Cloud доступен в рамках раннего доступа (если вы хотите принять участие, пожалуйста, обратитесь в службу поддержки).
- ClickPipes для пакетной загрузки из S3 и GCS доступны в рамках раннего доступа (если вы хотите принять участие, пожалуйста, обратитесь в службу поддержки).
- Поддержка формата Avro в ClickPipes for Kafka доступна в рамках раннего доступа (если вы хотите принять участие, пожалуйста, обратитесь в службу поддержки).
- Оптимизации для FINAL, улучшенная векторизация и более быстрые агрегации — подробности см. в блоге о релизе 23.12.
- Новые функции для обработки punycode, вычисления сходства строк и обнаружения выбросов, а также оптимизации памяти для слияний и Keeper — подробности см. в блоге о релизе 24.1 и презентации.
- Эта версия ClickHouse Cloud основана на 24.1; в ней доступны десятки новых возможностей, улучшений производительности и исправлений ошибок. Подробности см. в журнале изменений основной базы данных.
- Grafana: Исправлены миграция панелей мониторинга для v4 и логика ad-hoc-фильтрации
- Tableau Connector: Исправлены функция DATENAME и округление для аргументов “real”
- Kafka Connector: Исправлен NPE при инициализации соединения, добавлена возможность указывать параметры драйвера JDBC
- клиент Go: Снижено потребление памяти при обработке ответов, исправлены экстремальные значения Date32, исправлены сообщения об ошибках при включенном сжатии
- клиент Python: Улучшена поддержка часовых поясов в параметрах datetime, повышена производительность при работе с Pandas DataFrame
- Оптимизировано время начальной загрузки приложения SQL-консоли
- Исправлено состояние гонки в SQL-консоли, приводившее к ошибке ‘authentication failed’
- Исправлено поведение на странице мониторинга, где последнее значение выделения памяти иногда было некорректным
- Исправлено поведение, при котором SQL-консоль иногда отправляла повторяющиеся команды KILL QUERY
- В ClickPipes добавлена поддержка метода аутентификации SCRAM-SHA-256 для источников данных на основе Kafka
- Kafka Connector: расширена поддержка сложных вложенных структур (Array, Map); добавлена поддержка типа FixedString; добавлена поддержка ингестии в несколько баз данных
- Metabase: исправлена несовместимость с ClickHouse версий ниже 23.8
- DBT: добавлена возможность передавать настройки при создании модели
- клиент Node.js: добавлена поддержка длительных запросов (>1 ч) и корректная обработка пустых значений
- Движок таблицы S3Queue для непрерывной загрузки данных из S3 по расписанию готов к использованию в продакшне — подробности см. в блоге о релизе 23.11.
- Значительно повышена производительность FINAL и улучшена векторизация SIMD-инструкций, что ускоряет выполнение запросов, — подробности см. в блоге о релизе 23.12.
- Эта версия ClickHouse Cloud основана на 23.12; в ней появились десятки новых возможностей, улучшений производительности и исправлений ошибок. Подробности см. в журналах изменений ядра базы данных.
- Добавлена возможность настраивать AWS Private Link и GCP Private Service Connect через Terraform-провайдер
- Повышена отказоустойчивость импорта данных из удалённых файлов
- Для всех импортов данных добавлена выдвижная панель с подробной информацией о статусе импорта
- Добавлена поддержка учетных данных key/secret key при импорте данных из S3
- Kafka Connect
- Добавлена поддержка async_insert для режима exactly once (по умолчанию отключена)
- клиент Go
- Исправлена привязка DateTime
- Улучшена производительность батчевой вставки
- Java-клиент
- Исправлена проблема со сжатием запросов
use_mysql_types_in_show_columnsбольше не требуется. Он будет автоматически включаться при подключении через интерфейс MySQL.- Значение
async_insert_max_data_sizeпо умолчанию теперь составляет10 MiB
- Добавлена поддержка ClickPipes для Azure Event Hub
- Новые сервисы запускаются с временем простоя по умолчанию 15 минут
- Источник данных ClickHouse для Grafana — релиз v4
- Полностью переработан конструктор запросов: добавлены специализированные редакторы для Table, Logs, Time Series и Traces
- Полностью переработан генератор SQL для поддержки более сложных и динамических запросов
- Добавлена полноценная поддержка OpenTelemetry в представлениях Log и Trace
- Расширена конфигурация: теперь можно указывать таблицы и столбцы по умолчанию для Logs и Traces
- Добавлена возможность указывать пользовательские HTTP-заголовки
- И многое другое — смотрите полный список изменений
- Инструменты управления схемой базы данных
- Kafka Connector Sink
- Оптимизирована ингестия в таблицу со значениями по умолчанию
- Добавлена поддержка дат в строковом формате для DateTime64
- Metabase
- Добавлена поддержка подключения к нескольким базам данных
- Новый регион AWS: Лондон (eu-west-2)
- В ClickPipes добавлена поддержка Redpanda, Upstash и Warpstream
- Механизм аутентификации ClickPipes теперь можно настраивать в интерфейсе
- Java-клиент:
- Несовместимые изменения: удалена возможность указывать в вызове произвольные URL-обработчики. Эта возможность удалена из ClickHouse
- Устаревания: Java CLI client и пакеты gRPC
- Добавлена поддержка формата RowBinaryWithDefaults для уменьшения размера батча и снижения рабочей нагрузки на экземпляр ClickHouse (по запросу Exabeam)
- Границы диапазонов Date32 и DateTime64 приведены в соответствие с ClickHouse, обеспечена совместимость со строковым типом Spark Array, улучшен механизм выбора узла
- Kafka Connector: добавлена JMX-панель мониторинга для Grafana
- PowerBI: настройки драйвера ODBC теперь можно настраивать в интерфейсе
- JavaScript-клиент: стала доступна сводная информация о запросе, добавлена возможность указывать подмножество конкретных столбцов для вставки, параметр keep_alive теперь можно настраивать для веб-клиента
- клиент Python: добавлена поддержка типа Nothing для SQLAlchemy
- Обратно несовместимое изменение для пользователей: ранее две возможности (is_deleted и
OPTIMIZE CLEANUP) при определенных условиях могли приводить к повреждению данных в ClickHouse. Чтобы защитить целостность данных пользователей и при этом сохранить основную функциональность, мы изменили принцип работы этой возможности. В частности, настройка MergeTreeclean_deleted_rowsтеперь устарела и больше не имеет эффекта. Ключевое словоCLEANUPпо умолчанию запрещено (чтобы использовать его, нужно включитьallow_experimental_replacing_merge_with_cleanup). Если вы решите использоватьCLEANUP, необходимо убедиться, что оно всегда используется вместе сFINAL, а также гарантировать, что после выполненияOPTIMIZE FINAL CLEANUPне будут выполняться вставки строк со старыми версиями.