> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

> Интеграция ClickHouse с Amazon Glue

# Интеграция Amazon Glue с ClickHouse и Spark

export const ClickHouseSupportedBadge = () => {
  return <div className="ClickHouseSupportedBadge">
            <div className="ClickHouseSupportedIcon">
                <svg width="16" height="16" viewBox="0 0 16 16" fill="none" xmlns="http://www.w3.org/2000/svg">
                    <path d="M1.30762 1.39073C1.30762 1.3103 1.37465 1.22986 1.46849 1.22986H2.64824C2.72868 1.22986 2.80912 1.29689 2.80912 1.39073V14.4886C2.80912 14.5691 2.74209 14.6495 2.64824 14.6495H1.46849C1.38805 14.6495 1.30762 14.5825 1.30762 14.4886V1.39073Z" fill="currentColor" />
                    <path d="M4.2832 1.39073C4.2832 1.3103 4.35023 1.22986 4.44408 1.22986H5.62383C5.70427 1.22986 5.7847 1.29689 5.7847 1.39073V14.4886C5.7847 14.5691 5.71767 14.6495 5.62383 14.6495H4.44408C4.36364 14.6495 4.2832 14.5825 4.2832 14.4886V1.39073Z" fill="currentColor" />
                    <path d="M7.25977 1.39073C7.25977 1.3103 7.3268 1.22986 7.42064 1.22986H8.60039C8.68083 1.22986 8.76127 1.29689 8.76127 1.39073V14.4886C8.76127 14.5691 8.69423 14.6495 8.60039 14.6495H7.42064C7.3402 14.6495 7.25977 14.5825 7.25977 14.4886V1.39073Z" fill="currentColor" />
                    <path d="M10.2354 1.39073C10.2354 1.3103 10.3024 1.22986 10.3962 1.22986H11.576C11.6564 1.22986 11.7369 1.29689 11.7369 1.39073V14.4886C11.7369 14.5691 11.6698 14.6495 11.576 14.6495H10.3962C10.3158 14.6495 10.2354 14.5825 10.2354 14.4886V1.39073Z" fill="currentColor" />
                    <path d="M13.2256 6.6057C13.2256 6.52526 13.2926 6.44482 13.3865 6.44482H14.5662C14.6466 6.44482 14.7271 6.51186 14.7271 6.6057V9.27354C14.7271 9.35398 14.6601 9.43442 14.5662 9.43442H13.3865C13.306 9.43442 13.2256 9.36739 13.2256 9.27354V6.6057Z" fill="currentColor" />
                </svg>
            </div>
            Поддерживается в ClickHouse
        </div>;
};

export const Image = ({img, alt, size = "lg"}) => {
  const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
  return <div className={`ch-image-${normalizedSize}`}>
      <Frame>
        <img src={img} alt={alt} />
      </Frame>
    </div>;
};

<ClickHouseSupportedBadge />

[Amazon Glue](https://aws.amazon.com/glue/) — это полностью управляемый бессерверный сервис интеграции данных от Amazon Web Services (AWS). Он упрощает поиск, подготовку и преобразование данных для аналитики, машинного обучения и разработки приложений.

<div id="installation">
  ## Установка
</div>

Чтобы интегрировать код для Glue с ClickHouse, вы можете использовать наш официальный Spark-коннектор в Glue одним из следующих способов:

* Установить коннектор ClickHouse Glue из AWS Marketplace (рекомендуется).
* Вручную добавить JAR-файлы Spark-коннектора в задачу Glue.

<Tabs>
  <Tab title="AWS Marketplace">
    <Steps titleSize="h3">
      <Step title="Подпишитесь на коннектор" id="subscribe-to-the-connector">
        Чтобы получить доступ к коннектору в своей учётной записи, подпишитесь на ClickHouse AWS Glue Connector в AWS Marketplace.
      </Step>

      <Step title="Предоставьте необходимые разрешения" id="grant-required-permissions">
        Убедитесь, что роль IAM вашей задачи Glue имеет необходимые разрешения, как описано в [руководстве](https://docs.aws.amazon.com/glue/latest/dg/getting-started-min-privs-job.html#getting-started-min-privs-connectors) по минимальным привилегиям.
      </Step>

      <Step title="Активируйте коннектор и создайте подключение" id="activate-the-connector">
        После оформления подписки выберите версию Glue, соответствующую требованиям вашей задачи. В разделе **Additional details**, в подразделе **Usage instructions** нажмите ссылку **Open Glue Studio - Add ClickHouse connector**. Откроется страница создания подключения Glue с уже заполненными ключевыми полями. Задайте имя подключения и нажмите Create (на этом этапе указывать сведения о подключении к ClickHouse не нужно).

        <Image img="https://mintcdn.com/private-7c7dfe99/RmrqVxuoD5jjFNYu/images/integrations/data-ingestion/aws-glue/marketplace-usage-instructions.png?fit=max&auto=format&n=RmrqVxuoD5jjFNYu&q=85&s=19216c064aa40358cbc50294e6ad49e8" size="md" alt="AWS Marketplace usage instructions for ClickHouse Glue connector" width="1024" height="182" data-path="images/integrations/data-ingestion/aws-glue/marketplace-usage-instructions.png" />
      </Step>

      <Step title="Использование в задаче Glue" id="use-in-glue-job">
        В задаче Glue выберите вкладку `Job details` и раскройте раздел `Advanced properties`. В разделе `Connections` выберите только что созданное подключение. Коннектор автоматически добавит необходимые JAR-файлы в среду выполнения задачи.

        <Image img="https://mintcdn.com/private-7c7dfe99/RmrqVxuoD5jjFNYu/images/integrations/data-ingestion/aws-glue/notebook-connections-config.webp?fit=max&auto=format&n=RmrqVxuoD5jjFNYu&q=85&s=2c57123ece067b4201f7e2f48c805219" size="md" alt="Glue Notebook connections config" force="true" width="877" height="742" data-path="images/integrations/data-ingestion/aws-glue/notebook-connections-config.webp" />

        <Note>
          Обязательно выберите версию коннектора, соответствующую конфигурации вашей задачи Glue:

          * **Glue 4**: Spark 3.3, Scala 2, Python 3
          * **Glue 5**: Spark 3.5, Scala 2, Python 3
        </Note>
      </Step>
    </Steps>
  </Tab>

  <Tab title="Установка вручную">
    Чтобы вручную добавить необходимые JAR-файлы, выполните следующее:

    <Steps titleSize="h3">
      <Step title="Загрузите JAR-файл коннектора">
        Загрузите последнюю версию JAR-файла Spark-коннектора (`clickhouse-spark-runtime-3.X_2.X-0.10.X.jar`) в S3 бакет.
      </Step>

      <Step title="Предоставьте доступ к S3 бакету">
        Убедитесь, что задача Glue имеет доступ к этому бакету.
      </Step>

      <Step title="Настройте путь к зависимым JAR-файлам">
        На вкладке `Job details` прокрутите страницу вниз, раскройте список `Advanced properties` и укажите путь к JAR-файлам в поле `Dependent JARs path`:

        <Image img="https://mintcdn.com/private-7c7dfe99/RmrqVxuoD5jjFNYu/images/integrations/data-ingestion/aws-glue/dependent_jars_path_option.webp?fit=max&auto=format&n=RmrqVxuoD5jjFNYu&q=85&s=6b8c25fe535df8099782315215c96d0d" size="md" alt="Glue Notebook JAR path options" force="true" width="954" height="753" data-path="images/integrations/data-ingestion/aws-glue/dependent_jars_path_option.webp" />
      </Step>
    </Steps>
  </Tab>
</Tabs>

<div id="secrets-manager">
  ## Использование AWS Secrets Manager для учетных данных
</div>

Вместо того чтобы явно указывать пользователя и пароль ClickHouse в задаче, сохраните их в [AWS Secrets Manager](https://docs.aws.amazon.com/secretsmanager/) и используйте секрет в подключении Glue или в скрипте задачи. Во время выполнения Glue извлекает секрет и добавляет его пары ключ-значение в параметры подключения коннектора.

<div id="create-secret">
  ### Создайте секрет
</div>

В AWS Secrets Manager создайте секрет типа **Другой тип секрета** с парами ключ-значение, где ключи совпадают с именами параметров коннектора:

| Ключ       | Значение                           |
| ---------- | ---------------------------------- |
| `user`     | ваше имя пользователя в ClickHouse |
| `password` | ваш пароль ClickHouse              |

Любой ключ, добавленный в секрет, будет передан коннектору, поэтому там также можно хранить `host`, `database` или любой другой параметр, если вы не хотите хранить их в коде.

<div id="reference-secret">
  ### Укажите секрет
</div>

Есть два способа передать секрет в задачу.

**Вариант 1: привязать его к подключению Glue.** При создании или редактировании подключения ClickHouse в Glue Studio укажите в поле **AWS secret** имя секрета. Любая задача, использующая это подключение, автоматически получает секрет — никаких изменений в коде не требуется.

**Вариант 2: передать `secretId` в параметрах подключения.** Используйте этот способ, если секрет не привязан к подключению. Добавьте `secretId` рядом с `connectionName`:

<Tabs>
  <Tab title="Python">
    ```python theme={null}
    source = glueContext.create_dynamic_frame.from_options(
        connection_type="marketplace.spark",
        connection_options={
            "connectionName": "<your-connection-name>",
            "secretId": "clickhouse/glue/credentials",
            "database": "default",
            "table": "example_table"
        },
        transformation_ctx="clickhouse_source"
    )
    ```
  </Tab>

  <Tab title="Scala">
    ```scala theme={null}
    val source = glueContext.getSource(
      connectionType = "marketplace.spark",
      connectionOptions = JsonOptions(Map(
        "connectionName" -> "<your-connection-name>",
        "secretId" -> "clickhouse/glue/credentials",
        "database" -> "default",
        "table" -> "example_table"
      )),
      transformationContext = "clickhouseSource"
    )
    ```
  </Tab>
</Tabs>

Ключи `user` и `password` из секрета добавляются к параметрам коннектора во время выполнения, поэтому читать их в скрипте не нужно.

<div id="example">
  ## Примеры
</div>

В примерах ниже используется `marketplace.spark`, а для ссылки на коннектор — `connectionName`. Если вы установили коннектор вручную (вкладка Установка вручную), используйте `connection_type="custom.spark"` и вместо него передавайте `className`, `host`, `http_port`, `user` и `password` напрямую в параметре options.

Если вы привязали секрет AWS к самому подключению (вариант 1 в разделе [Использование AWS Secrets Manager для учетных данных](#secrets-manager)), уберите `secretId` из options — Glue автоматически получит учетные данные из подключения.

<Tabs>
  <Tab title="Визуальный редактор">
    Вы можете использовать коннектор ClickHouse как источник или целевое назначение в визуальном редакторе Glue Studio. Просто перетащите компонент Spark-коннектора ClickHouse на холст и подключите его к своему конвейеру данных.

    <Image img="https://mintcdn.com/private-7c7dfe99/RmrqVxuoD5jjFNYu/images/integrations/data-ingestion/aws-glue/glue-studio-visual-editor.png?fit=max&auto=format&n=RmrqVxuoD5jjFNYu&q=85&s=5768d1a927ba1e12351aee9ae9786154" size="md" alt="Визуальный редактор Glue Studio с коннектором ClickHouse" width="1024" height="645" data-path="images/integrations/data-ingestion/aws-glue/glue-studio-visual-editor.png" />
  </Tab>

  <Tab title="Scala">
    ```java theme={null}
    import com.amazonaws.services.glue.GlueContext
    import com.amazonaws.services.glue.util.{GlueArgParser, Job, JsonOptions}
    import org.apache.spark.SparkContext
    import scala.collection.JavaConverters._

    object ClickHouseGlueExample {
      def main(sysArgs: Array[String]): Unit = {
        val args = GlueArgParser.getResolvedOptions(sysArgs, Seq("JOB_NAME").toArray)

        val sc = new SparkContext()
        val glueContext = new GlueContext(sc)
        Job.init(args("JOB_NAME"), glueContext, args.asJava)

        val readOptions = JsonOptions(Map(
          "connectionName" -> "<your-connection-name>",
          "secretId" -> "clickhouse/glue/credentials",
          "database" -> "default",
          "table" -> "example_table"
        ))

        val source = glueContext.getSource(
          connectionType = "marketplace.spark",
          connectionOptions = readOptions,
          transformationContext = "clickhouseSource"
        )
        val dyf = source.getDynamicFrame()

        val writeOptions = JsonOptions(Map(
          "connectionName" -> "<your-connection-name>",
          "secretId" -> "clickhouse/glue/credentials",
          "database" -> "default",
          "table" -> "target_table"
        ))

        glueContext.getSink(
          connectionType = "marketplace.spark",
          connectionOptions = writeOptions
        ).writeDynamicFrame(dyf)

        Job.commit()
      }
    }
    ```
  </Tab>

  <Tab title="Python">
    ```python theme={null}
    import sys
    from awsglue.utils import getResolvedOptions
    from pyspark.context import SparkContext
    from awsglue.context import GlueContext
    from awsglue.job import Job

    args = getResolvedOptions(sys.argv, ['JOB_NAME'])

    sc = SparkContext()
    glueContext = GlueContext(sc)
    logger = glueContext.get_logger()
    job = Job(glueContext)
    job.init(args['JOB_NAME'], args)

    read_options = {
        "connectionName": "<your-connection-name>",
        "secretId": "clickhouse/glue/credentials",
        "database": "default",
        "table": "example_table"
    }

    source = glueContext.create_dynamic_frame.from_options(
        connection_type="marketplace.spark",
        connection_options=read_options,
        transformation_ctx="clickhouse_source"
    )
    dyf = source

    logger.info(f"Read {dyf.count()} rows from ClickHouse")

    write_options = {
        "connectionName": "<your-connection-name>",
        "secretId": "clickhouse/glue/credentials",
        "database": "default",
        "table": "target_table"
    }

    glueContext.write_dynamic_frame.from_options(
        frame=dyf,
        connection_type="marketplace.spark",
        connection_options=write_options,
        transformation_ctx="clickhouse_sink"
    )

    job.commit()
    ```
  </Tab>
</Tabs>

Подробнее см. в нашей [документации по Spark](/docs/ru/integrations/connectors/data-ingestion/apache-spark).