Roman
ну потому что создаешь маленькую байтостроку, а он тебе сразу отжирает 32 кб
Alexander
Вообще с binary надо использовать: http://hackage.haskell.org/package/binary-0.8.7.0/docs/Data-Binary-Get.html#v:runGetIncremental еслис структура позволяет
Alexander
Новый заголовок выделяет с offset и size новым и всё
Alexander
ну потому что создаешь маленькую байтостроку, а он тебе сразу отжирает 32 кб
А создавать байтостроку лучше через builder у которого есть стратегии на выделение памяти
Andrei
Да, стоит попоробовать
Alexander
@nihlet а какой тип ответа, который вы парсите?
Alexander
например если делать decode :: Data.ByteString -> [Int] то он радостно будет держать в памяти всю байтостроку
Alexander
или если там есть <|>
Andrei
@nihlet а какой тип ответа, который вы парсите?
https://gist.github.com/nihlet/3ca9035d92785b44a5a0c109bffed763
Roman
Когда ты “откусываешь” он ничего не создает
я к тому, что если тебе прилетает много маленьких сообщений, а ты внезапно парсишь их как ленивые байтстринги, то там сразу отжирается куча памяти, которая не должна отжираться (я так понимаю, в ио аллоцируется 32 кб, но большая часть собирается гц и остается 4 кб, что является минимальным чанком?)
Alexander
А результат get какой, там это саоме интересное
Roman
когда они уже прочитались, но до того как распарсились
Andrei
А результат get какой, там это саоме интересное
Дак там в монаде Get весь record заполняется
Alexander
Не отвечает на вопрос : (
Andrei
я не понимаю тогда
Alexander
можно пару строк кода вокруг decode c типами выражений?
Roman
А в чем проблема с байтостроками откусывание пары символов = аллокация одного Header?
я всегда побаивался фрагментации памяти. Не знаю, насколько она происходит в реальности, но много маленьких байтстрингов звучит не очень
Alexander
Они же живут на границе FFI, потом в нормальные типы превращаются
Alexander
В большинстве случаев
Alexander
Хотя вон в типах выше BL.ByteString живет
Alexander
Так.. разобраться ли мне наконец с generic-ами и сделать конвертацию из типов описывающих graphql свои в compile time, или делать всё в runtime
Alexander
Я с питона всё нормально оформляю сейчас!
Alexander
На самом деле нет, но немного да
Alexander
В общем сейчас самое время поиграться с кодом и подумать, что можно сделать круто
Andrei
можно пару строк кода вокруг decode c типами выражений?
все что относится к парсингу https://gist.github.com/nihlet/5b0f7039753209089d59d336a50a80ca
Alexander
https://gist.github.com/nihlet/5b0f7039753209089d59d336a50a80ca#file-parser-hs-L208-L210 - вот это и аналогичные места, это то, про что я говорил
Alexander
Здесь мы вычитываем список до конца, поэтому у нас не отдается результат до того, как мы не пройдем его, поэтому ничего не освобождается и куча данных копится
Andrei
Дак на ленивых строках разве не должно быть в потоковом режиме?
Alexander
У вас используется runGetOrFail он возвращает Either
Alexander
Не дойдя до конца списка он “не знает” возвращать Left ошибка или Right
Alexander
т.о. он копит список и не отдает дальше
Alexander
http://hackage.haskell.org/package/binary-conduit-1.3.1/docs/Data-Conduit-Serialization-Binary.html#v:conduitDecode можно сделать как здесь (только без кондуитов), есть ещё варинаты если не боитесь error
Alexander
Сейчас попробую нарисовать какой-нибудь вариант, а мои генерирки подождут : /
Andrei
т.о. он копит список и не отдает дальше
Сделал ленивый вывод первых 200: получил 450 МБ потребления, т.е. память и правда потребляется вся на парсере, но при этом нет катастрофы с вылетом на 16+ Гб
Alexander
пару минут ещё дайте мне
Alexander
@nihlet https://gist.github.com/qnikst/5a436ac4f22b47b24fba7f73e1a64d49 попробйте такую штуку
Alexander
Оно компиляется, я вот запускать я не пробовал
Alexander
Поидее можно везде заменить runGetOrFail на неё
Alexander
Единственный минус, что оно скажет error, а у вас в коде [] на ошибках, но можно заменить error s на []
Alexander
@nihlet отпишись если попробуешь, а то мне интересно аж
Andrei
Ну компилятеор уже отработал, парсер работает, сейчас тестовый случай собираю
Andrei
@nihlet отпишись если попробуешь, а то мне интересно аж
ошибку поймал: not enough bytes в реализации go
Alexander
go (Fail _ _ s) _ = []
Alexander
Вместо последней строчки, хотя странно
Alexander
На простых данных у меня отработало как ожидается
Andrei
у меня данные в бинарнике не выравнены, а тут расчет на ровное количество пакетов, еще и верификацию кадра надо делать
Andrei
идею с runGetIncremental понял, но дальше наверно завтра буду пробовать
Andrei
В любом случае спасибо за помощь, результаты постараюсь отписать
Alexander
ок
Alexander
go (Partial f) [] = go (f Nothing) [] - или тут делать = []
Alexander
Тогда последний кадр поломанный вместо ошибки просто выкинется
Andrei
Поломанных нет, есть мешанина из разных источников, так что спокойно перемещаться по 4 байта нельзя, нужно по одному шагать и проверять корректность
Белый
@cblp_su, есть какой-то набор опций, чтобы собрать ff под NixOS? У меня стек всё никак не может собрать ff-qt, не находит хедеров
Ryner Reinhardt
Кто-нибудь использовал FFI в JS проекте используя jsaddle?
Ryner Reinhardt
Все, разобрался уже, это очень просто
Ryner Reinhardt
Artem
Чудо: выложили ещё три видео с HS'18. Не прошло и года! (Всего-то 11 месяцев…). Уже четыре
Cheese
@cblp_su, есть какой-то набор опций, чтобы собрать ff под NixOS? У меня стек всё никак не может собрать ff-qt, не находит хедеров
хочется именно ff-qt собрать? ff консольный работает и без GUI. а ещё есть версия на GTK
Белый
stack install ff оказывается работает, не работает. когда я пытаюсь собрать проект целиком
Anatolii
я стаком давно не пользовался, но выглядит не плохо
Anatolii
а что значит собрать целиком?
Anatolii
stack install же это поидее сборка полная
Белый
Ну я просто stack build запускал
Cheese
а что значит собрать целиком?
в проекте есть пакет, использующий Qt
A64m
Чудо: выложили ещё три видео с HS'18. Не прошло и года! (Всего-то 11 месяцев…). Уже четыре
ничего себе! может и с 2013 когда-нибудь выложат? в 2023-ем например
Alexander
А почему в http-conduit и Network.HTTP.Simple не торчит manager?
Leonid 🦇
потому что SOLID
Alexander
servant-client чтоли вообще использовать как взрослые
Alexander
потому что SOLID
Там по умолчаниб global manager используется
Leonid 🦇
академично