Отправка OpenTelemetry в ClickStack с помощью Bindplane

Partner Integration

Кратко

В этом руководстве показано, как направлять телеметрию в ClickStack с использованием встроенного назначения (destination) ClickStack в Bindplane. Вы узнаете, как:

• Настроить ClickStack как destination в Bindplane
• Создать конфигурацию для обработки и маршрутизации телеметрии
• Удалённо развернуть конфигурации на OTel collectors и начать сбор данных
• Просматривать телеметрию в ClickStack

Эта интеграция сочетает высокопроизводительную ингестию ClickStack с централизованным управлением OTel collectors в Bindplane, упрощая масштабирование обсервабилити без операционных накладных расходов.

Требуемое время: 10–15 минут

Что такое Bindplane?

Bindplane — это OpenTelemetry-нативный конвейер телеметрии, который обеспечивает централизованное управление коллекторами OpenTelemetry. Он упрощает эксплуатацию больших парков коллекторов за счёт визуального редактирования конфигурации, безопасных развёртываний и интеллектуальных возможностей конвейера.

Почему Bindplane + ClickStack?

При масштабировании управление парком OpenTelemetry Collectors становится операционным узким местом. ClickStack доказал, что может обрабатывать экстремальные объёмы ингестии — клиенты отправляют телеметрию на скорости гигабайты в секунду и хранят сотни PB. Основная проблема смещается с производительности запросов на надёжную эксплуатацию инфраструктуры коллекторов, которые подают данные в ClickHouse.

Bindplane решает эту задачу за счёт:

• Централизованного управления OpenTelemetry Collectors — от тысяч до более миллиона экземпляров
• Визуального редактирования конфигурации с безопасными развертываниями в один клик
• Автоматического обнаружения ресурсов и обогащения данных, последовательно применяемых до того, как данные попадут в ClickStack
• Маршрутизации с разветвлением (fan-out), чтобы одни и те же потоки телеметрии можно было одновременно отправлять в ClickStack и другие системы
• Полной наблюдаемости конвейера, включая состояние коллекторов, пропускную способность и сквозную производительность

Ключевые выводы

• ClickStack обрабатывает экстремальные объёмы ингестии, обеспечивает хранение и быстрые аналитические запросы
• Bindplane управляет конвейером ингестии и операционной сложностью эксплуатации парков коллекторов

Предварительные требования

• Запущенный экземпляр ClickStack (локально, на сервере или в ClickHouse Cloud)
• Учётная запись Bindplane (создайте учётную запись на app.bindplane.com)
• Установленный Bindplane OTel Collector (см. Install Your First Collector)
• Наличие сетевой связности между коллекторами Bindplane и вашим OTLP-эндпоинтом ClickStack
• Ключ ингестии API ClickStack (Ingestion Key) (находится в ClickStack Team Settings > API Keys, см. документацию по ссылке)
• Открыты необходимые сетевые порты (4318 для HTTP/s или 4317 для gRPC)

Интеграция ClickStack с Bindplane

Настройте ClickStack как пункт назначения

1. Войдите в свою учетную запись Bindplane
2. Перейдите в раздел Library
3. Нажмите Add Destination
4. Выберите ClickStack из списка доступных пунктов назначения
5. Настройте подключение:
   • Protocol: Выберите HTTP или gRPC (по умолчанию: HTTP на порту 4318)
   • Hostname: Укажите имя хоста или IP-адрес OTLP-эндпоинта ClickStack
   • Port: Укажите порт (4318 для HTTP, 4317 для gRPC)
   • API Ingestion Key: Укажите ваш ключ API для ингестии ClickStack
6. Задайте пункту назначения имя (например, «ClickStack Production»)
7. Нажмите Save, чтобы создать пункт назначения

Ключевые моменты

Пункт назначения ClickStack поддерживает протоколы HTTP и gRPC. Для сценариев с большим объемом данных рекомендуется использовать gRPC с сжатием (gzip, zstd или snappy) для повышения производительности.

Создайте конфигурацию

После того как пункт назначения ClickStack настроен, создайте конфигурацию для обработки и маршрутизации телеметрии:

1. Перейдите в Configurations → Create Configuration
2. Укажите имя конфигурации (например, «ClickStack Pipeline»)
3. Выберите Collector Type и Platform для вашего развертывания
4. Добавьте источники:
   • Нажмите Add Source, чтобы выбрать из более чем 80 доступных источников
   • Для тестирования вы можете добавить источник-генератор телеметрии для имитации трафика
   • Для продакшена добавьте источники вашей реальной телеметрии (логи, метрики, трейсы)
5. Добавьте пункт назначения ClickStack:
   • Нажмите Add Destination
   • Выберите пункт назначения ClickStack, созданный на предыдущем шаге
   • Выберите типы телеметрии для отправки (Logs, Metrics, Traces или все)

Ключевые моменты

Вы можете добавить процессоры для фильтрации, семплирования, маскирования, обогащения, пакетирования и других операций, чтобы формировать телеметрию до того, как она попадет в ClickStack. Это обеспечивает поступление в ClickHouse согласованных, структурированных данных.

Добавьте процессоры (необязательно)

Bindplane предоставляет интеллектуальные возможности для пайплайнов и рекомендации по процессорам. Вы можете добавить процессоры для:

• Filter: снижения объема данных за счёт исключения ненужной телеметрии
• Sample: применения стратегий семплирования к трейсам с большим объёмом данных
• Enrich: добавления ресурсных атрибутов, меток или метаданных
• Transform: изменения структуры или содержимого телеметрии
• Batch: оптимизации размеров пакетов для эффективной передачи

Эти процессоры применяются единообразно ко всему парку коллекторов до того, как данные достигают ClickStack.

Разверните коллекторы и начните rollout

1. Добавьте коллектор (BDOT Collector) в вашу конфигурацию:

   • Перейдите в Agents в Bindplane
   • Установите коллектор Bindplane на целевые системы следуя инструкциям по установке Bindplane
   • После подключения коллектор появится в списке коллекторов

2. Назначьте конфигурацию вашим коллекторам:

   • Выберите коллекторы, которые вы хотите использовать
   • Назначьте им вашу конфигурацию ClickStack

3. Запустите rollout:

   • Нажмите Start Rollout, чтобы развернуть конфигурацию
   • Bindplane проверит конфигурацию перед её развертыванием
   • Отслеживайте статус rollout в интерфейсе Bindplane

Ключевые моменты

Bindplane обеспечивает безопасный rollout в один клик с валидацией. Вы можете в режиме реального времени отслеживать состояние коллекторов, пропускную способность и любые ошибки через интерфейс Bindplane.

Проверьте телеметрию в ClickStack

После rollout конфигурации телеметрия начинает поступать в ClickStack от управляемого парка коллекторов:

1. Войдите в ваш экземпляр ClickStack (интерфейс HyperDX)
2. Перейдите в разделы Logs, Metrics или Traces
3. Вы должны увидеть телеметрические данные от коллекторов, управляемых Bindplane
4. Данные, поступающие в ClickStack, уже обогащены и структурированы процессорами Bindplane

Расширенные настройки

Маршрутизация с разветвлением (fan-out routing)

Bindplane поддерживает маршрутизацию с разветвлением, что позволяет отправлять одни и те же потоки телеметрии в несколько пунктов назначения одновременно. Вы можете:

• Отправлять логи, метрики и трейсы в ClickStack для долгосрочного хранения и анализа
• Направлять те же данные в другие платформы обсервабилити для оповещений в реальном времени
• Пересылать отдельные типы телеметрии в SIEM-платформы для анализа безопасности

Это настраивается добавлением нескольких пунктов назначения в конфигурацию Bindplane.

Сжатие и производительность

Для высоконагруженных сценариев настройте сжатие на стороне получателя ClickStack:

• HTTP: Поддерживает gzip, deflate, snappy, zstd или none (по умолчанию: gzip)
• gRPC: Поддерживает gzip, snappy, zstd или none (по умолчанию: gzip)

Сжатие снижает потребление пропускной способности при отправке телеметрии в ClickStack, что особенно важно при большом масштабе.

Следующие шаги

Теперь, когда данные телеметрии поступают из Bindplane в ClickStack, вы можете:

• Создавать дашборды: строить визуализации в ClickStack (HyperDX) для логов, метрик и трасс
• Настраивать оповещения: конфигурировать оповещения в ClickStack для критических ситуаций
• Масштабировать развертывание: добавлять больше коллекторов и источников по мере роста потребностей в обсервабилити
• Оптимизировать конвейер: использовать интеллектуальные функции конвейера Bindplane для выявления возможностей оптимизации

Дополнительная информация

• Интеграция ClickStack в Bindplane (документация)