Posts, Users, Votes, Comments, Badges, PostHistory и PostLinks из Stack Overflow.
Вы можете либо скачать заранее подготовленные версии данных в формате Parquet, содержащие все посты по состоянию на апрель 2024 года, либо скачать самые свежие данные в формате XML и загрузить их. Stack Overflow периодически публикует обновления этих данных — исторически каждые 3 месяца.
На следующей диаграмме показана схема доступных таблиц для данных в формате Parquet.

eu-west-2. Набор данных расположен в eu-west-3.
stackoverflow.com*.
xq — простую обёртку над jq для XML-документов.
Установите xq и jq:
stackoverflow.com-Posts.7z. При необходимости внесите изменения.
Распакуйте файл с помощью p7zip. В результате будет получен один XML-файл — в данном случае Posts.xml.
Файлы сжаты примерно в 4,5 раза. При размере в сжатом виде 22 ГБ файл с постами занимает около 97 ГБ в несжатом виде.
posts.json.
Загрузите его в ClickHouse следующей командой. Обратите внимание: для файла posts.json указана схема. Её нужно скорректировать для каждого типа данных, чтобы она соответствовала целевой таблице.
UserId.
cc-by-sa 4.0, признавая их вклад и указывая первоначальный источник данных: https://archive.org/details/stackexchange.
Comments