🏁Александр
в смысле что на GET запрос идет бесконечный поток json
🏁Александр
аля eventsource
Anton
А что об этом RFC HTTP протокола говорит. Так можно?
🏁Александр
ну если так сделано значит можно :)
🏁Александр
проблемы начинаются с «обрывов» стрима
🏁Александр
я вот думаю как все покашернее сделать
🏁Александр
для начала надо как то определять что хост отвалился
Roman
в UTF-8 у нас есть null termination character?!
Anton
ну если так сделано значит можно :)
На сколько я знаю, HTTP протокол не предполагает потоковой передачи данных. По крайней мере я вообще не разу не встречал чтобы через обычный HTTP GET что-то стримили.
🏁Александр
тот же couchdb отсылает изменения в «потоке»
Roman
Это же из Си?
ну Nul https://www.compart.com/en/unicode/U+0000 есть и в UTF-8 я просто не уверен можно ли его для терминации строки использовать
Roman
безопасно ли с помощью него разделять строку на несколько логических строк? аля: [1,2,3,4,5,Nul,1,2,3,Nul,0,0,4] в три строки: [1,2,3,4,5], [1,2,3] и [0,0,4]
Иван
безопасно ли с помощью него разделять строку на несколько логических строк? аля: [1,2,3,4,5,Nul,1,2,3,Nul,0,0,4] в три строки: [1,2,3,4,5], [1,2,3] и [0,0,4]
Ну по идее utf-8 нельзя декодировать по байтам. Яб чесно не стал. Там же в зависимости от кода первого байта зависит длина
Иван
И если первый 7f если не ошибаюсь то длинна 2 байта и 7f00 вроде валидно. Но надо перепроверить
Иван
ну так мы можем в декодере проверить если firstByte == U+0000 тогда terminated
Но тогда надо писать полный декодер, который разбирая полность понимает что это точно null. А вдруг там будет длина 4 байта, конец у которых u+0000.
Иван
Но это не точно, в плане наброса
Roman
Но тогда надо писать полный декодер, который разбирая полность понимает что это точно null. А вдруг там будет длина 4 байта, конец у которых u+0000.
он у меня уже есть, я уже реализовал разборку на логические под-строки, но я просто не уверен безопасно ли это
Anton
Http SSE вроде как раз так и работает
Хз в RFC2616 ни чего кажется нету про стриминг по HTTP. Есть только про скачивание файлов (Content-Type: application/octet-stream)...
Иван
он у меня уже есть, я уже реализовал разборку на логические под-строки, но я просто не уверен безопасно ли это
А ну тогда норм должно быть. А зачем терминейт символ можно поинтересоваться ?
Roman
Но тогда надо писать полный декодер, который разбирая полность понимает что это точно null. А вдруг там будет длина 4 байта, конец у которых u+0000.
прежде чем проверять длину руны мы сперва проверяем на Nul, если байт нулевой то строка терминирована и читать дальше не нужно
Roman
А ну тогда норм должно быть. А зачем терминейт символ можно поинтересоваться ?
парсер бинарного стрима пишу, там строки в одном блобе
Иван
Transfer-encoding: chunked и погнали)
Так etcd делает при вотчинге
Иван
парсер бинарного стрима пишу, там строки в одном блобе
А если в данных будет null символ? Или это не возможно ?
Roman
А если в данных будет null символ? Или это не возможно ?
в строке цифра ноль всмсл? https://www.fileformat.info/info/unicode/char/0030/index.htm ноль и Nul разные символы, в строке Nul встречаться не может по сути
Nikolay Markov
может в строке быть нуль-байт, запросто
Nikolay Markov
это только в ущербных сишных строках не может
Nikolay Markov
в каком случае?
в любом, если используется реализация строки, отличная от сишной
Mikalai
в каком случае?
Если его туда записать
Иван
Когда с бинарщиной дело имеют обычно обязательно указывают длину
Nikolay Markov
по сути, нуль-байт нужен был только для определения длины, и это было довольно убогое решение
Roman
Если его туда записать
ну так я это собственно и делаю, для того чтобы физическую строку поделить на логические
Nikolay Markov
в современных языках не так
Илья
когда явно пакуют длину строки
Roman
в каком валидном UTF-8 тексте может быть Nul посреди строки?
Nikolay Markov
какая такая реализация?
повторюсь, любая, кроме сишной
Nikolay Markov
ща найду ссылку тебе
Nikolay Markov
https://www.joelonsoftware.com/2001/12/11/back-to-basics/
Anton
Transfer-encoding: chunked и погнали)
Ну я так понимаю эта штука не для того чтобы передавать бесконечные потоки данных.
Amir
А подскажите пожалуйста есть ли готовый json validator провреющий на всякие штуки вроде required, bool, min, max, whatever?
Nikolay Markov
а причём тут unicode?
а юникод - это не последовательность байтов? вот новости
Roman
а юникод - это не последовательность байтов? вот новости
так я не понял, где в этой статье упоминается что unicode может содержать U+0000 посреди строки?
Amir
go-validator чтоли
там нету из коробки required, там по минимуму
Nikolay Markov
так я не понял, где в этой статье упоминается что unicode может содержать U+0000 посреди строки?
не, что он там может содержаться - ежу понятно и так. Вопрос был только к сишным строкам, где он несет функцию определенную
Mikalai
там нету из коробки required, там по минимуму
Вообще-то есть. Но он не совсем json валидатор, это да
Nikolay Markov
а в других языках часто длина строки сохраняется, как часть ее имплементации, поэтому там строка может содержать любые байты
Nikolay Markov
в том числе null
Nikolay Markov
Nikolay Markov
почему?
потому что в строке может быть null-байт в середине, и это будет полностью валидная строка
Nikolay Markov
в НЕ-сишной строке
Илья
почему?
вы два байта закладываете на разделитель, почему не заложить два байта на длину строки? :)
Roman
а в других языках часто длина строки сохраняется, как часть ее имплементации, поэтому там строка может содержать любые байты
длина строки может вариировать, следственно флаг длины должен быть либо максимального размера, либо адаптивный что усложняет протокол. Гораздо проще парсить строку до Nul а всё после Nul рассматривать как другую строку и так рекурсивно до конца стрима
Nikolay Markov
длина строки может вариировать, следственно флаг длины должен быть либо максимального размера, либо адаптивный что усложняет протокол. Гораздо проще парсить строку до Nul а всё после Nul рассматривать как другую строку и так рекурсивно до конца стрима
Remember the way strings work in C: they consist of a bunch of bytes followed by a null character, which has the value 0. This has two obvious implications: - There is no way to know where the string ends (that is, the string length) without moving through it, looking for the null character at the end. - Your string can’t have any zeros in it. So you can’t store an arbitrary binary blob like a JPEG picture in a C string. Why do C strings work this way? It’s because the PDP-7 microprocessor, on which UNIX and the C programming language were invented, had an ASCIZ string type. ASCIZ meant “ASCII with a Z (zero) at the end.”
Nikolay Markov
ты плохо читал статью
Nikolay Markov
так а в каком случае?
в любом, Рома, в любом. Null - это просто еще один байт, в нем нет ничего особенного
Nikolay Markov
и он может быть в строке, особенно, например, в бинарном блобе, сохраненном в строке, как в примере выше
Nikolay Markov
да ё-моё, в моём случае не нужно знать длину, нужно пропарсить до конца и после парсить новую строку из того-же буфера
значит, в твоих строках нельзя будет передавать бинарные блобы, то есть будет то же говно, что в сях
Nikolay Markov
так себе идея
Nikolay Markov
почитай про то, как подобные вещи реализованы в msgpack/avro/protobuf
Nikolay Markov
например, в этой книге, она офигенная https://www.amazon.com/Designing-Data-Intensive-Applications-Reliable-Maintainable/dp/1449373321
Roman
в любом, Рома, в любом. Null - это просто еще один байт, в нем нет ничего особенного
ещё один байт который в encoder'е стрима я запрещаю, следственно просто так он в тексты не попадёт