@fsharp_flood - страница 482

Vladislav

а если серьёзно... буду впредь апдейтиться только в исключительных случаях

Я у себя в провайдере застолбил сдк))

Vladislav

Блин, надо за выхи ищуй написать

Éminence grise

ну там нет явной разметки для ссылки на типы, это да.

На самом деле предпочел бы писать на yaml унего тексты можно оформлять markdown

Nikolay

Чем обработать json 17 гб?

Nikolay

Чтобы не ждать вечность

Nikolay

C++?

Nikolay

Вообще есть json файлов на 30 гб, и вот их нужно обработать и структурировать

Ayrat

Чем обработать json 17 гб?

Хранить его в csv

Ayrat

Поэтому бигдата на csv сидит, а не на жсонах

Nikolay

Хранить его в csv

Это сырые данные из rest api

Nikolay

Их нужно как раз подготовить

Nikolay

python, даже с либой ijson непростительно медленно работает

Ayrat

Это сырые данные из rest api

По рест апи можно цсв отдавать

Ayrat

Формат текст

Nikolay

Это не моё апи

Ayrat

Грустно

x

По рест апи можно цсв отдавать

так уже поздно, поди

Nikolay

Было бы конечно правильно сразу при выгрузке конвертировать в csv, но уже поздно :C

Ayrat

Было бы конечно правильно сразу при выгрузке конвертировать в csv, но уже поздно :C

Ток хотел предложить

Nikolay

Хотя я так понимаю всё равно скорее всего упрётся всё в производительность ядра

Ayrat

Хотя я так понимаю всё равно скорее всего упрётся всё в производительность ядра

Ну хз, для начала ты упрешься в чтение и парсинг если не сможешь в параллельное чтение. Цсв это может. Жсон нет

Ayrat

Если джсон не супер вложенный, а просто массив небольших объектов, я бы свой парсер написал на ленивое чтение

Ayrat

При доле удачи, можно даже распараллелить если есть уникальный токен разделения объектов. В csv это всегда crlf

Ayrat

Если тебе повезёт, то ты сможешь найти такой токен в своём жсоне. Например символ конца объекта. Это если других вложенных объектов нет

Vladislav

Чем обработать json 17 гб?

Читать поточно как делают с хмл

Vladislav

У жсон нет есть апи для этого

Nikolay

https://otvet.mail.ru/api/v2/question?qid=50000

Nikolay

Такой

Nikolay

+ формат может быть разным

Doge

Чем обработать json 17 гб?

Любым стриминг парсером для json'a

x

Мне кажется, или в самом деле ньютонсофта в списке нет? http://json.org/

Romɑn

Может это я?(

Нет.)

Pavel

Мне кажется, или в самом деле ньютонсофта в списке нет? http://json.org/

json.net же

x

тьфу чёрт. да

Олег Сулима

https://www.youtube.com/watch?v=0mHspoS5Zf8&index=15&list=PLzwKsX9q9inoYZ9-OM-U_G6OmHnSHb8zb&t=223s может кому-то пригодится как формат выступления

Hog

При доле удачи, можно даже распараллелить если есть уникальный токен разделения объектов. В csv это всегда crlf

тебе ни разу не попадались цсв с ньюлайнами в полях?

Ayrat

тебе ни разу не попадались цсв с ньюлайнами в полях?

попадались, но это вообще насрать, ты или пихаешь строчку в отдельный стрим ошибок или пропускашь её и ищешь следующую валидную

Ayrat

заваливать парсинг гигабайтной цсвехи из-за одной говнострочки не престало!

Hog

Я лет надцать назад упоролся - взял парсер с кодпрожекта и навертел на него стримы сверху.

Hog

И такие кейсы там обрабатывались

Ayrat

я видел как парсят цсвехи в бигдате они могут даже распределенно лежать на N HDD её делят в виртуальном HDD (даталейк) на N кусков по офсетам и начинают парсить в N потоков (точнее головок чтения) самое начало парсинга может попасть на междустрочье поэтому каждый поток идёт до первого переноса строки и начинает жарить

Ayrat

в теории даталейк поддерживает петабайтные файлы. Я таких не видел, но с такой системой чтения записи проблема размера не стоит

Hog

я видел как парсят цсвехи в бигдате они могут даже распределенно лежать на N HDD её делят в виртуальном HDD (даталейк) на N кусков по офсетам и начинают парсить в N потоков (точнее головок чтения) самое начало парсинга может попасть на междустрочье поэтому каждый поток идёт до первого переноса строки и начинает жарить

Тазик с цементом на ноги - и в даталейк