Начало работы с Управляемым ClickStack

Разверните Управляемый ClickStack в ClickHouse Cloud, отправьте тестовое событие через конвейер ингестии и убедитесь, что оно доступно в интерфейсе ClickStack. ClickHouse Cloud управляет backend ClickHouse, а вы сохраняете контроль над конвейером ингестии и схемой. Управляемый ClickStack предоставляет:

Автоматическое масштабирование вычислительных ресурсов независимо от хранилища
Недорогое и практически неограниченное хранение на базе объектного хранилища
Независимую изоляцию рабочих нагрузок чтения и записи с помощью хранилищ
Встроенную аутентификацию
Автоматические резервные копии
Средства безопасности и соответствия требованиям
Бесшовные обновления

Перед началом работы

Вы также можете отправлять данные напрямую в ClickHouse, используя поддерживаемую интеграцию и собственную схему.

Создайте сервис ClickHouse Cloud

Выполните шаг «Создание сервиса ClickHouse» в руководстве по быстрому началу работы с ClickHouse Cloud. Прежде чем продолжить, убедитесь, что сервис запущен.

На этой странице показан вариант с OpenTelemetry. Используйте переключатель в верхней части руководства, чтобы выбрать OpenTelemetry (рекомендуется) или Vector.

Подготовьте среду для ингестии

Чтобы запустить новый OpenTelemetry Collector, установите Docker. В Kubernetes разверните коллектор с помощью Helm.
Чтобы использовать существующий коллектор, запустите его в режиме шлюза и убедитесь, что его дистрибутив включает ClickHouse exporter. В этом руководстве вы добавите необходимую конфигурацию.

Настройка управляемого ClickStack

Выберите источник для ингестии и настройте коллектор

В сервисе ClickHouse Cloud запустите ClickStack. На странице ClickStack Начало работы выберите Начать ингестию.На странице Выберите источник ингестии выберите OpenTelemetry.

Рекомендуется OpenTelemetryOpenTelemetry предоставляет преднастроенные схемы для журналов, трассировок, метрик и сеансов.

Запустить новый коллектор
Использовать существующий коллектор

ClickStack генерирует команду запуска коллектора с учетными данными администратора default. Рекомендуется использовать отдельные учетные данные для ингестии, чтобы отделить доступ для ингестии от административного доступа и не зависеть от пароля администратора.

Создать отдельные учетные данные для ингестии (рекомендуется)

В ClickHouse Cloud откройте SQL-консоль сервиса и выполните:

CREATE USER `clickstack-ingest` IDENTIFIED WITH sha256_password BY '<password>';
GRANT SELECT, INSERT, CREATE DATABASE, CREATE TABLE, CREATE VIEW ON default.* TO `clickstack-ingest`;

В сгенерированной команде замените CLICKHOUSE_USER="default" на CLICKHOUSE_USER="clickstack-ingest" и укажите в CLICKHOUSE_PASSWORD пароль этого пользователя.

Чтобы продолжить с учетными данными администратора default, скопируйте команду на вкладке Запустить коллектор. ClickStack автоматически подставляет конечную точку сервиса. Замените заполнитель пароля паролем сервиса. Если он у вас больше не сохранился, получите или сбросьте сведения о подключении.Команда имеет следующий вид:

docker run -e CLICKHOUSE_ENDPOINT="https://<host>:8443" \
    -e CLICKHOUSE_USER="default" \
    -e CLICKHOUSE_PASSWORD="<your_password_here>" \
    -p 4317:4317 -p 4318:4318 \
    clickhouse/clickstack-otel-collector:latest

Замените <host> и <your_password_here> значениями для своего сервиса ClickHouse Cloud, затем выполните команду.Коллектор запускается в интерактивном режиме. Оставьте этот терминал открытым, а для остальных команд из этого руководства используйте второй терминал.

Эта команда открывает порты OTLP без аутентификации и предназначена для локальной оценки. Перед отправкой производственного трафика защитите коллектор.

Выберите Настроить существующий коллектор, затем адаптируйте конфигурацию коллектора.Запустите коллектор как шлюз между приложениями и ClickHouse Cloud. Приведенная ниже конфигурация добавляет необходимые экспортеры ClickHouse и конвейеры обработки сигналов.В примере используются учетные данные default, сгенерированные ClickStack. Чтобы использовать отдельные учетные данные для ингестии, выполните необязательную настройку на вкладке Запустить новый коллектор. В обоих блоках экспортера ClickHouse замените username: default на username: clickstack-ingest и укажите в password пароль этого пользователя.Добавьте следующие компоненты в существующую конфигурацию, не заменяя несвязанные приёмники, процессоры, экспортеры или расширения.

Требуемые компоненты коллектораДистрибутив коллектора должен включать экспортер ClickHouse и коннектор маршрутизации. Дистрибутив OpenTelemetry Collector Contrib включает оба компонента.

Пример добавляет приёмники OTLP, пакетную обработку и ограничение памяти, маршрутизацию воспроизведения сеансов и экспортеры ClickHouse.Замените плейсхолдеры конечной точки и пароля учётными данными, сгенерированными ClickStack:

receivers:
  otlp/hyperdx:
    protocols:
      grpc:
        include_metadata: true
        endpoint: "0.0.0.0:4317"
      http:
        cors:
          allowed_origins: ["*"]
          allowed_headers: ["*"]
        include_metadata: true
        endpoint: "0.0.0.0:4318"
processors:
  batch:
  memory_limiter:
    # 80% of maximum memory up to 2G, adjust for low memory environments
    limit_mib: 1500
    # 25% of limit up to 2G, adjust for low memory environments
    spike_limit_mib: 512
    check_interval: 5s
connectors:
  routing/logs:
    default_pipelines: [logs/out-default]
    error_mode: ignore
    table:
      - context: log
        statement: route() where IsMatch(attributes["rr-web.event"], ".*")
        pipelines: [logs/out-rrweb]
exporters:
  clickhouse/rrweb:
    database: default
    endpoint: <clickhouse_cloud_endpoint>
    password: <your_password_here>
    username: default
    ttl: 720h
    logs_table_name: hyperdx_sessions
    timeout: 5s
    retry_on_failure:
      enabled: true
      initial_interval: 5s
      max_interval: 30s
      max_elapsed_time: 300s
  clickhouse:
    database: default
    endpoint: <clickhouse_cloud_endpoint>
    password: <your_password_here>
    username: default
    ttl: 720h
    timeout: 5s
    retry_on_failure:
      enabled: true
      initial_interval: 5s
      max_interval: 30s
      max_elapsed_time: 300s

service:
  pipelines:
    traces:
      receivers: [otlp/hyperdx]
      processors: [memory_limiter, batch]
      exporters: [clickhouse]
    metrics:
      receivers: [otlp/hyperdx]
      processors: [memory_limiter, batch]
      exporters: [clickhouse]
    logs/in:
      receivers: [otlp/hyperdx]
      exporters: [routing/logs]
    logs/out-default:
      receivers: [routing/logs]
      processors: [memory_limiter, batch]
      exporters: [clickhouse]
    logs/out-rrweb:
      receivers: [routing/logs]
      processors: [memory_limiter, batch]
      exporters: [clickhouse/rrweb]

Используйте существующий приёмник OTLP и сохраните его настройки аутентификации и TLS. Если в конфигурации уже используются идентификаторы компонентов или конвейеров из примера, объедините или переименуйте их, а не создавайте дублирующиеся идентификаторы. Запуск двух приёмников на портах 4317 и 4318 приводит к конфликту портов.После объединения конфигурации перезагрузите или перезапустите коллектор согласно используемому процессу развертывания.Дополнительные сведения о настройке коллекторов OpenTelemetry см. в разделе Ингестия с OpenTelemetry.

Отправьте тестовые данные

Отправьте тестовую запись журнала с текущей временной меткой:

NOW_NANO="$(date +%s)000000000"

curl -i "http://localhost:4318/v1/logs" \
  -H "Content-Type: application/json" \
  --data-binary @- <<EOF
{
  "resourceLogs": [{
    "resource": {
      "attributes": [{
        "key": "service.name",
        "value": {"stringValue": "clickstack-docs-test"}
      }]
    },
    "scopeLogs": [{
      "scope": {"name": "clickstack-docs-test"},
      "logRecords": [{
        "timeUnixNano": "${NOW_NANO}",
        "severityText": "INFO",
        "body": {"stringValue": "ClickStack ingestion test"}
      }]
    }]
  }]
}
EOF

Если вы используете существующий коллектор, замените http://localhost:4318 на его конечную точку OTLP HTTP. Если приёмник требует аутентификации, добавьте необходимый заголовок в команду curl.При успешном запросе возвращается HTTP/1.1 200 OK.

Начните работу и подтвердите приём данных

После того как ClickStack обнаружит источники данных OpenTelemetry, выберите Начать изучение, чтобы открыть представление Search. Найдите ClickStack ingestion test.В результатах должно отображаться тестовое событие с именем сервиса clickstack-docs-test.

Теперь у вас есть сервис Управляемый ClickStack, настроенный путь ингестии и тестовое событие, которое можно просмотреть в ClickStack.

Следующие шаги

Если для выполнения другого руководства требуются конечная точка ClickHouse Cloud или пароль, получите или сбросьте сведения о подключении, прежде чем продолжить.

Отправка данных приложений и инфраструктуры

Выберите руководство в зависимости от данных, которые хотите отправлять в ClickStack:

Инструментирование приложения

Отправляйте трассировки и журналы приложения с помощью поддерживаемого SDK OpenTelemetry.

Сбор журналов хоста

Пересылайте журналы хоста из OpenTelemetry Collector, работающего в роли агента.

Мониторинг Kubernetes

Собирайте журналы, метрики и трассировки из кластера Kubernetes.

Другие интеграции

Найдите руководства по дополнительным приложениям и источникам телеметрии.

Изучение демонстрационных данных

Используйте демонстрационный датасет, чтобы изучить возможности ClickStack на более насыщенных телеметрических данных:

Демонстрационные журналы, трассировки и метрики

Загрузите данные из публичной демонстрационной среды и диагностируйте проблему. В этом руководстве предполагается, что вы запустили новый локальный OpenTelemetry Collector. Если вы настроили существующий коллектор, адаптируйте параметры конечной точки и аутентификации к вашему развертыванию.

Локальные журналы и метрики

Собирайте локальные файлы и системные метрики в macOS или Linux.

Генерация синтетических данных

Используйте генератор, чтобы протестировать ингестию без готового приложения или датасета:

Генерация данных с помощью otelgen

Отправьте небольшой пакет синтетических журналов, трассировок и метрик OTLP.

Генерация данных с помощью telemetrygen

Генерируйте настраиваемые сигналы OpenTelemetry для нескольких сервисов.

См. все демонстрационные данные и демонстрации ClickStack.

Подготовка к продакшну

Перед использованием ClickStack для постоянных рабочих нагрузок ознакомьтесь с рекомендациями по продакшну и сайзингу:

Переход в продакшн

Ознакомьтесь с рекомендациями по учётным данным для ингестии, безопасности, хранению данных и эксплуатации.

Оценка ресурсов

Определите необходимые вычислительные ресурсы исходя из ожидаемого объёма приёма данных.

Сведения о задачах развертывания см. в руководстве по развертыванию Управляемого ClickStack.

Get started

Features

Managing ClickStack

Guides

Integration partners

Начало работы с Управляемым ClickStack

Перед началом работы

Создайте сервис ClickHouse Cloud

Подготовьте среду для ингестии

Настройка управляемого ClickStack

Выберите источник для ингестии и настройте коллектор

Отправьте тестовые данные

Начните работу и подтвердите приём данных

Следующие шаги

Отправка данных приложений и инфраструктуры

Инструментирование приложения

Сбор журналов хоста

Мониторинг Kubernetes

Другие интеграции

Изучение демонстрационных данных

Демонстрационные журналы, трассировки и метрики

Локальные журналы и метрики

Генерация синтетических данных

Генерация данных с помощью otelgen

Генерация данных с помощью telemetrygen

Подготовка к продакшну

Переход в продакшн

Оценка ресурсов

​Перед началом работы

​Создайте сервис ClickHouse Cloud

​Подготовьте среду для ингестии

​Настройка управляемого ClickStack

Выберите источник для ингестии и настройте коллектор

Отправьте тестовые данные

Начните работу и подтвердите приём данных

​Следующие шаги

​Отправка данных приложений и инфраструктуры

Инструментирование приложения

Сбор журналов хоста

Мониторинг Kubernetes

Другие интеграции

​Изучение демонстрационных данных

Демонстрационные журналы, трассировки и метрики

Локальные журналы и метрики

​Генерация синтетических данных

Генерация данных с помощью otelgen

Генерация данных с помощью telemetrygen

​Подготовка к продакшну

Переход в продакшн

Оценка ресурсов

Перед началом работы

Создайте сервис ClickHouse Cloud

Подготовьте среду для ингестии

Настройка управляемого ClickStack

Следующие шаги

Отправка данных приложений и инфраструктуры

Изучение демонстрационных данных

Генерация синтетических данных

Подготовка к продакшну