Nikolay Markov
Там нормальный async/await есть
c
точно в телеботе?
c
потому что этих либ для телеги много
Nikolay Markov
Точно
Nikolay Markov
У меня даже где-то пример был
Nikolay Markov
точно в телеботе?
А! В telePot, а не teleBot
c
вот
c
такие срачи каждый раз какую либу выбрать
Камрон)
такие срачи каждый раз какую либу выбрать
t.me/botoid Если ты про разработку ботов и тд
Nikolay Markov
t.me/botoid Если ты про разработку ботов и тд
Там джаваскриптеры, они мутные
Anonymous
...
Dmitry
Кто умеет pattern matching для структур данных? (направленный граф объектов)
Dmitry
Erlang
Python, в перспективе Nim
Nikolay Markov
Python, в перспективе Nim
Ты ж спросил про паттерн матчинг
Dmitry
Dmitry
Подозреваю что-то на генераторах с бэктрекингом
Камрон)
Там джаваскриптеры, они мутные
Там питонисты тоже есть, покрайней мере, когда я спрашивал, отзываются
Nikolay Markov
Как реализовать свой?
Приведи пример, как ты это видишь
Nikolay Markov
Там питонисты тоже есть, покрайней мере, когда я спрашивал, отзываются
Ну это логично. Просто питонисты и жсеры в одном чате - гремучая смесь
Dmitry
Подозреваю что-то на генераторах с бэктрекингом
Тот же вопрос про реализацию парсинга бинарных форматов, особенно потокового (диссекторы wireshark, сетевые анализаторы). Гуглил по теме, кроме binpac ничего не нагуглилось.
Dmitry
Есть подозрение, что существует какая-то обобщенная методика реализации, что-то типа смеси бэктрекинга и использования предикатных функций (генераторов?)
Nikolay Markov
Формально в питоне есть готовый struct для таких вещей
Nikolay Markov
Но проще на сях/расте
Dmitry
Причем важно, чтобы оно умело error recovery, и желательно умело потоковую обработку. Сталкивался с задачей разбора битых пакетов с исз, решения не нашел, свербит.
Nikolay Markov
А стриминг и генераторы сам можешь к ним прикрутить
Dmitry
Задача: создание инструмента, аналогичного lex/yacc, для генерации кода для low-end микроконтроллеров, для разбора и обработки произвольных _бинарных протоколов и форматов_ с восстановлением после ошибок, и работающих в потоковом режиме.
Dmitry
Нужна именно методика реализации, а не библиотеки, поскольку на целевой системе только ansi C
Dmitry
Python как язык прототипирования, и реализации _на хосте_
Nikolay Markov
Не вижу смысла прототипировать диссекторы
Nikolay Markov
Это изначально задача несколько другого уровня
Nikolay Markov
Если на хосте си - проще его и взять
Dmitry
Вот на ansi c и пиши
Не "пиши" - мне нужно реализовать _кодогенерацию_ на основе спецификации (грамматики) формата данных, с полями произвольной длины (целые в три бита, пдавающая точка IEEE 754, big\little\network endian, т.е. данные некратные байту в памяти)
Dmitry
Как пример, разбор форматов пакетов всех существующиз счетчиков электроэнергии, modbus, долбанутые ascii протоколы с вложением одного протокола в другрй, и т.п.
Nikolay Markov
Не "пиши" - мне нужно реализовать _кодогенерацию_ на основе спецификации (грамматики) формата данных, с полями произвольной длины (целые в три бита, пдавающая точка IEEE 754, big\little\network endian, т.е. данные некратные байту в памяти)
Именно это и делает модуль struct, там можно побитно разбирать пакет, если надо. Кроме того, битовые операции никто не отменял, а они во всех языках примерно одинаково выглядят, включая питон
Nikolay Markov
Там разбор с помощью BPF сетевых пакетов на уровне ядра
Nikolay Markov
По сути, именно его использует tcpdump
Nikolay Markov
(это лишь одна из его функций, но именно для этого он изначально создавался)
Dmitry
Поэтому спрашиваю о методике, а не о библиотеке. В dragon book это первые две главы - syntax driven translation, но мне нужен варипнт для упакованных бинарных данных.
Nikolay Markov
Физически невозможно реализовать Python на целевой системе - 8-20К (!) ОЗУ
Есть micropython - раз. Питон тебе не нужен изначально - два
Dmitry
Futorio
Nikolay Markov
У тебя два варианта - если там бежит что-то на основе линукса - то можно bpf. Если нет и надо прошить железку на работу с сетью - я бы советовал взять FPGA и наколбасить на нем аппаратный фильтр Verilog'om прямо на L2
Nikolay Markov
На что-то другое этого железа не хватит
Dmitry
Много чего физически невозможно реализовать
Но можно найти способ автоматизировать то, что сейчас делается вручную с морем костылей. Можно делать вручную, но как только формат чуть усложняется (энкапсуляция одного в другой), уже не получается вручную - необходима кодогенерация из простого ebnf в стековый автомат.
Nikolay Markov
stm32f030 и тп
Как ты планируешь на этом огрызке сетевой трафик процессить?
Dmitry
Как ты планируешь на этом огрызке сетевой трафик процессить?
Про modbus чего-нибудь слышал? CAN, протоколы счетчиков, форматы команд ИК пультов, пакеты 1wire, обмен с сенсорами по spi/i2c и т.п. IP стек, на f103 кастомная реализация USB, в зависимости от доступной памяти под буферы в озу.
Nikolay Markov
В питоне может быть готовая либа для подобного процессинга, но прошивку для контроллера всё равно на си писать придется
Dmitry
Вот с этого и надо было начинать. Но вопрос, собственно, остаётся тем же - причём тут питон?
Python протипирование метода и реализация кодогенератора. Для начала нужно найти способ хоть как-то решить задачу, понять _метод_, и потом его ужимать в рамки ограничений.
Nikolay Markov
Nikolay Markov
Код, который это делает, всё равно на чем писать
Dmitry
Метод не менялся с начала времён - вычитываешь заголовок в буфер и начинаешь его разбирать побитно смещениями
Ок, встретил поле со значением, выходящим за допустимые границы - как восстанавливаться из ошибки?
Nikolay Markov
Nikolay Markov
Ок, встретил поле со значением, выходящим за допустимые границы - как восстанавливаться из ошибки?
Такого не может быть в принципе. Допустим, у тебя есть три бита, которые могут принимать значение от 0 до 7. Любое из этих значений будет валидным. Если протокол по стандарту какие-то из этих значений не поддерживает - ты либо чистишь буфер, игнорируя и переходя к следующему пакету, либо падаешь с ошибкой
Dmitry
На сях написать с нуля и подключить в питон, да
Конкретно ты писал на си парсер форматов типа asn.1 (хотя бы парсер snmp), или диссектор для wireshark?
Nikolay Markov
В таких ситуациях вообще нет понятия "восстановления от ошибки"
Dmitry
Такого не может быть в принципе. Допустим, у тебя есть три бита, которые могут принимать значение от 0 до 7. Любое из этих значений будет валидным. Если протокол по стандарту какие-то из этих значений не поддерживает - ты либо чистишь буфер, игнорируя и переходя к следующему пакету, либо падаешь с ошибкой
Телеметрия по каналу с помехами, нужно вытащить информацию по максимуму, откинуть левые значения по произвольному условию. В некоторых случаях можно сделать восстпновление по нескольким последним пакетам.
Nikolay Markov
Конкретно ты писал на си парсер форматов типа asn.1 (хотя бы парсер snmp), или диссектор для wireshark?
Я писал на питоне парсеры бинарных протоколов, на сях я только работал немного с равсокетами. Но сути это никак не меняет.
Nikolay Markov
Телеметрия по каналу с помехами, нужно вытащить информацию по максимуму, откинуть левые значения по произвольному условию. В некоторых случаях можно сделать восстпновление по нескольким последним пакетам.
Кодирование для защиты от потерь не зря придумали. Если же его нет - то ты сам уже всё и описал. Ну будет у тебя switch case в коде на произвольные кейсы
Nikolay Markov
Так или иначе, логику определения того, какой пакет валидный, а какой нет, надо писать руками
Nikolay Markov
Если за тебя никто её не написал
Dmitry
Я писал на питоне парсеры бинарных протоколов, на сях я только работал немного с равсокетами. Но сути это никак не меняет.
Как твой готовый парсер отработает формат n+1 версии? ТЗ: реализовать парсер, способный сохранять работоспособность с любой последующей версией, без изменения кода. Допустима деградация функционала, но парсер не должен падать. Обратная совместимость форматов не гарантирована.
Nikolay Markov
А вообще у тебя взаимоисключающие параграфы
Nikolay Markov
Невозможно парсить "то, не знаю что"
Dmitry
С таким тз надо слать далеко и надолго. Есть всякие там protocol buffers и avro, где очень сильно постарались сделать подобную обратную совместимость, но получилось ну такое
Есть сторонний поставщик аппаратуры, у тебя сеть из 7366 датчиков по всей стране (газопровод, система навигации в которую вводят спутники новой версии). Нужно обеспечить работу системы сбора данных без замены аппаратуры с твоей стороны. Стоимость одной перепрошивки - вылет монтажной бригады на вертолете.
Nikolay Markov
Я могу представить единственный вариант - когда ты парсеру снаружи подкладываешь динамически декларативное описание формата, а он работает по накопительному принципу и пытается поочередно к буферу применить шаблоны, пока какой-нибудь не подойдёт
Dmitry
Я могу представить единственный вариант - когда ты парсеру снаружи подкладываешь динамически декларативное описание формата, а он работает по накопительному принципу и пытается поочередно к буферу применить шаблоны, пока какой-нибудь не подойдёт
Ура, зарработалло! Именно так! можно байткод подгружать снаружи, но не перепрошивка. или генерация кода по спецификации (см. binpac), который способен обрабатывать ошибки