Anonymous
Как бы мне это переписать? https://paste.ubuntu.com/p/MJs59Xp5Bt/
без остального кода не поймешь, но чот выглядит не очень
Tishka17
без остального кода не поймешь, но чот выглядит не очень
https://github.com/Tishka17/dataclass_factory/blob/feature/typeddict_schema/dataclass_factory/parsers.py#L123
Aragaer
я осознаю, что та задача, которую я решаю, уже давно решена и прекрасно работает через словари. И я осознаю, что то, что я делаю, можно сделать по-другому. Но я хочу сделать именно так, потому что вот захотелось и все
Anonymous
Tishka17
ну поздравляю ты изобрел google protobufs 😂
это не протобуф, это marshmallow сокрее
Anonymous
только у них реализации на все годные языки
Anonymous
ну по сути как это еще использовать
Tishka17
при чем тут протобуф вообще не понял
Anonymous
накидал схему принял некую дату от сервиса выгрузил в питончик
Tishka17
протобуф - это ж формат представленя данных. А у меня конвертер просто
Anonymous
ну приведи пример как пользовать?
Tishka17
там ж ридми есть
Anonymous
я его читал там ничего по поводу кейсов
Anonymous
просто описание либы
Anonymous
и хвальба что в 10 раз быстрее
Tishka17
эм. тебе пришел словарь, а хочешь экземпляр класса. Береш ьи конвертишь с валидацией типов и распаковкой внутренних структур
Tishka17
кейсы те же, что у marshmallow
Anonymous
ну тебе пришла строка от хрен знает какого сервиса хрен знает на чем сконвертилось в объект класса, ну как бы протобуф
Anonymous
не?
Tishka17
не
Tishka17
протобуф тебе не сделает из json экземпляр датакласса
Tishka17
он тебе сделает экземпляр своей ебаной стркутуры
Tishka17
ну ё моё
Tishka17
целый день рефакторил, теперь на 3.6 тесты упали
Anonymous
это ты marshmallow описал сейчас
не, маршалов это тупо сериалайзер который гоняет типы данных туда сюда, я говорю о едином протоколе который имеет реализацию в разных языках. Например ты крутой энтерпрайз прогер на джава фигачешь на центральном складе книжной сети, у тебя есть веб витрина на питончике там потсоны лабают и куча поставщиков на php. Ты такой окей я задал формат данных и разослал им схемы они поставили протобуфы и ты погнал на питонью витрину выгрузил, остатки на пехоблядей по поставщикам выгрузил, на их концах они тоже не парятся получают объекты и там уже пишут или через ORM в базы или как у кого мозгов хватит, просто маршелинг сериализует в джейсон и валидация между ПИТОНЬЕМИ сервисами только происходит посредством схемы, протобуфы могут делать тоже самое но между языками
c
чо
Tishka17
проблема протобуфа в том, что он не юзает нативные типы ни в одном языке
Anonymous
ну потому что нет проблемы сунуть даже пиклом с питоньего сервиса в питоний сервис
Anonymous
зачем тут твои датаклассы
Tishka17
Как мне mypy натравиать на протобуф?
Anonymous
ты можешь объекты передавать
Tishka17
Как мне статически анализ сделать, что я не пихаю в протобуф неизвестные поля?
Tishka17
вот давай не надо про пикл
Anonymous
у тебя схема есть
Tishka17
схема есть, а валидировать код на соответствие схеме кто будет?
Anonymous
протобуф
Tishka17
покажи как
Anonymous
ты в плане какой код
Anonymous
нет ты
Tishka17
ну вот у меня код proto_obj = SomePtoto() if random()<0.0001: proto_obj.XXX = 1 Как мне проверить что XXX есть в схеме и он нужного типа?
Tishka17
точнее как проверить что этот код не пытается писать в несуществующее поле
Anonymous
так у тебя на входе строка от стороннего сервиса ты пихаешь ее в экземпляр протобуф схемы она и валидирует
Anonymous
или я не догоняю?
Tishka17
Как мне это сделать до запуска проги в продакшене?
Tishka17
есть статические анализторы, они умеют проверять тайп хинты. А как быть с протобуфом?
Tishka17
на плюсах - ок, там этап кодогенерации до компиляции
Anonymous
ну он сам проверит или ты имеешь ввиду ты принял из протобуфа объект по схеме и как внутри кода типизировать чтобы не случилось ошибки в рантайме
Tishka17
Я имею виду что мне надо как из внешних источников парсить данные и проверять по схеме. Так и наоборот - создавать и отдавать. Если данные от внешних источников я могу проверить только в рантайме, то как мне проверить что я не вызываю невалидные конструкции протобуфа в своем коде?
Tishka17
unit tests acceptance tests smoke tests stress tests
это хорошо. Но проверять тестами что я не опечатался в названии или типе поля - это перебор. С этим прекрасно справляется mypy
Tishka17
Я не говорю, что тесты не нужны. Но статический анализ реально ускоряет поиск проблем
c
есть такое
c
но конкретно с протобуфом проблему решает betterproto
c
генерит красивый код с датаклассами
Anonymous
Как мне это сделать до запуска проги в продакшене?
Скормить майпаю сгенереные протобаффом классы?
Anonymous
Вместе с твоим кодом
c
Скормить майпаю сгенереные протобаффом классы?
1. там жесть а не классы 2. они без тайпинга
Anonymous
Тогда наверное никак
Tishka17
у тебя схема есть, там смотри выше я написал, я зав складом накидал схему объекта книга и выслал всем кому она нужна в .proto все ты ее подключил ты уже никак не соскочишь с этой схема
ты вообще меня не слушал? я говорю не про взаимоотношение сервисов. Я говорю как мне провалидировать мой код на соответствие схеме?
Anonymous
протокол grpc посмотри
не, это другое тут они всех типо высаживают на rpc древний но на стеройдах, если у тебя гетерогенная инфрастуктура то так это не работает а протобуф работает потому что это просто описание данных а не полный фарш плюс сетевой протокол вызова удаленных процедур
Tishka17
betterproto хороший вариант, возьму на вооружение
Tishka17
мне начинает казаться, что Денис просто троллит нас
Tishka17
Так, греаный python 3.6. ак мне его починить =(
Anonymous
ты вообще меня не слушал? я говорю не про взаимоотношение сервисов. Я говорю как мне провалидировать мой код на соответствие схеме?
так в каком месте? если на точке записи базы данных ну юзай ORM из протобуфа генери локальные модели, в формах тоже самое, остальное покрывай тестами
Tishka17
вон я даже пример написал
Anonymous
Валидируй все хранимыми процедурами в бд нахуй
Anonymous
в точке обращения к классу
ну то есть ты боишься что кто-то не врюхает схему и начнет например с филдом стринг выполнять деление?
Anonymous
пиши тесты
Tishka17
да блин