sometable, можно направить файл напрямую в clickhouse-client:
FORMAT CSV, чтобы ClickHouse понимал формат файла. Мы также можем загружать данные напрямую из URL-адресов с помощью функции url() или из файлов S3 с помощью функции s3().
Предположим, что в нашем CSV-файле есть заголовки:
;, а не запятая.
Иногда при импорте данных из CSV-файла требуется пропустить определённое количество строк. Это можно сделать с помощью настройки input_format_csv_skip_first_lines:
\N в качестве значения NULL в CSV. Но это можно изменить с помощью параметра format_csv_null_representation.
Предположим, у нас есть следующий CSV-файл:
Nothing как String (что верно):
Nothing значением NULL, это можно указать с помощью следующего параметра:
NULL находится именно там, где мы и ожидали его увидеть:
FORMAT:
| как разделитель в формате CSV:
\r\n вместо \n:
DESCRIBE в сочетании с функцией file():
String.
ClickHouse также позволяет явно задавать типы столбцов при экспорте данных в формате CSVWithNamesAndTypes (и других форматов семейства WithNames):
row(), записи разделяются ,, а отдельные значения — символом ;. В этом случае мы можем использовать следующие настройки, чтобы читать данные из этого файла:
COMPRESSION:
COMPRESSION не указано, ClickHouse всё равно попытается определить сжатие файла по его расширению. Тот же подход можно использовать, чтобы экспортировать файлы напрямую в сжатые форматы:
data_csv.csv.gz в сжатом формате.
ClickHouse поддерживает множество форматов — как текстовых, так и двоичных, — для самых разных сценариев и платформ. Подробнее о других форматах и способах работы с ними читайте в следующих статьях:
- Форматы CSV и TSV
- Parquet
- Форматы JSON
- Regex и шаблоны
- Нативные и двоичные форматы
- Форматы SQL