Mike
ещё один байт который в encoder'е стрима я запрещаю, следственно просто так он в тексты не попадёт
А если надо заэнкодить будет таки? Если твой код в 4 ночи будет править Джун, у которого джипег не летит из-за этого?
Mike
Вообще взял бы любой готовый энкодер/декодер и поставил их у концов своей трубы и мозги бы никому не ебал
Nikolay Markov
конечно нельзя, там ожидается текст а не данные
чем отличается строка от данных?
Mike
Нет, каждому свой велосипед надо изобрести
Nikolay Markov
ответ - ничем, только информацией о длине и, зачастую, кодировке
Roman
почитай про то, как подобные вещи реализованы в msgpack/avro/protobuf
да знаю я как они там реализованы)) знаю я про флаги длины, но на каждый текстик по 4 байта prepend'ить нет смысла если можно использовать 1 байт терминатор
Nikolay Markov
это одна из вещей, которые называют "самой дорогой ошибкой в программировании всех времен"
Nikolay Markov
и ты сейчас ее заново делаешь
Nikolay Markov
зачем тебе в тексте Nul байт?
а чем он отличается от любого другого байта?
Roman
а чем он отличается от любого другого байта?
тем что он нулевой и не несёт информации о тексте если ему намерено не присваивается некий смысл, а в моём случае текстов с Nul'ом не будет, ибо encoder их фильтрует
Nikolay Markov
и фильтровать null - идиотизм, ничего личного. И в статье явно разжевано, почему
Nikolay Markov
но ты же сел писать новый протокол, разбираясь в дизайн-решениях предыдщих, верно?
Nikolay Markov
ну так почему?)
потому что строка - это последовательность байтов. Любых. Хоть нулевых, хоть нет. У строки есть кодировка и длина, но содержать она может абсолютно любые байты
Nikolay Markov
и какую информацию несёт U+0000 в юникоде? 🙂
такую же, как и любой другой байт - раз. Оно не имеет отношения к юникоду в принципе - два
Nikolay Markov
кодировка строки и содержание в ней нулл-байта никак не связаны
Roman
это из бинарных данных zero byte нельзя удалять ибо это коррумпирует данные, а вот UTF-8 текст будет валиден, если удалить все U+0000 и читатель их не ожидает
Nikolay Markov
это из бинарных данных zero byte нельзя удалять ибо это коррумпирует данные, а вот UTF-8 текст будет валиден, если удалить все U+0000 и читатель их не ожидает
последний раз пишу - если тип "строка" в протоколе не может в себе содержать null-байты - то это говно, а не протокол
Nikolay Markov
и это не зависит от того, юникод это или нет, вот прям никак
Tishka17
Вроде в ucs2 ноль запрещен. В utf-8 он вполне допустим
Nikolay Markov
аргумент?))
почитай статью
Nikolay Markov
и посмотри на дизайн практически любого протокола за последние лет 10
Roman
почитай статью
твой аргумент какой, ты же читал, имеешь мнение, вот мне и интересно его услышать) то что "нельзя" это мы разобрались, а вот почему - нет
Tishka17
кодировка строки и содержание в ней нулл-байта никак не связаны
Кодировка определяет допустимые последовательности байт. В utf-8 не все последовательности байт валидны, так же как и в ansi
Nikolay Markov
твой аргумент какой, ты же читал, имеешь мнение, вот мне и интересно его услышать) то что "нельзя" это мы разобрались, а вот почему - нет
ну вообще после прочтения статьи ежу понятно, почему нельзя. Потому что нет никакого логичного ограничения на нулл-байты в строке - раз. Потому что иметь единственным способом подсчета длины линейный перебор - идиотизм - два. Потому что конкатенация подобных строк, скажем, на стороне клиента - это Шлемиель, краситель заборов - три
Илья
utf-8 строк может содержать символ Null, также как любой другой символ
Nikolay Markov
Кодировка определяет допустимые последовательности байт. В utf-8 не все последовательности байт валидны, так же как и в ansi
формально да, если в бинарном протоколе ставятся такие ограничения на строки, при этом форсится жесткий юникод на обоих концах и валидация - тогда ок. Но только при наличии отдельного типа, скажем, bytes, где этой наркомании нет. Так сделали в том же питоне, например
Nikolay Markov
Ну да. Для случаев когда нужен "текст" как валидные символы
но тут человек дизайнит бинарный протокол общего назначения
Tishka17
То есть "строки" на самом деле не строки?
Tishka17
То есть не символы
Tishka17
А байты
Anonymous
uint8
Roman
ну вообще после прочтения статьи ежу понятно, почему нельзя. Потому что нет никакого логичного ограничения на нулл-байты в строке - раз. Потому что иметь единственным способом подсчета длины линейный перебор - идиотизм - два. Потому что конкатенация подобных строк, скажем, на стороне клиента - это Шлемиель, краситель заборов - три
ты пойми, в моём случае (парсинг сетевого потока) знать длину заранее необязательно. Аргумент про "линейный перебор" в моём случае мимо. в данном случае encoder бросает ошибку если в строке Nul, потому-что он зарезервирован для пары encoder'а и decoder'а и никакие старые книгы я не посылаю, в тех строках что будут посылаться Nul'ов быть не должно клиент получит строку без терминатора, терминатор нужен только decoder'у потока если бы мы говорили про рабочую структуру данных аля type string тогда естественно должна быть длина а не nul-terminator, а вот для стрима nul-terminator выходит выгоднее, он жрёт гораздо меньше bandwidth
Nikolay Markov
То есть "строки" на самом деле не строки?
"строка" - это последовательность байтов + длина + иногда идентификатор кодировки
Anonymous
А байты
string=[]uint8
Tishka17
Ну бинарные данные, не суть
Tishka17
Бинарные данные можно многими способами записать, но по сути - дамп пямити
Nikolay Markov
потому что тогда ты не можешь преаллоцировать буфер на чтение, например
Anonymous
NULL (U+0000) в UTF это вполнесебе видимый символ ошибки распознавания �
Roman
потому что тогда ты не можешь преаллоцировать буфер на чтение, например
преаллоцировать буфер не нужно, канал получения уже буферезован
Nikolay Markov
преаллоцировать буфер не нужно, канал получения уже буферезован
нужно, если на другом конце другой язык программирования. И причем тут буферизация канала - непонятно, ты из сокета данные читаешь, не зная заранее, сколько их придет
Tishka17
Какая ошибка распознавания, ты чего?
Roman
я уже выше разжевал
где конкретно?
Nikolay Markov
ну вообще после прочтения статьи ежу понятно, почему нельзя. Потому что нет никакого логичного ограничения на нулл-байты в строке - раз. Потому что иметь единственным способом подсчета длины линейный перебор - идиотизм - два. Потому что конкатенация подобных строк, скажем, на стороне клиента - это Шлемиель, краситель заборов - три
Nikolay Markov
потому что тогда ты не можешь преаллоцировать буфер на чтение, например
Anonymous
Какая ошибка распознавания, ты чего?
https://www.fileformat.info/info/charset/UTF-8/list.htm
Tishka17
Anonymous
Ну вон первым 0 идёт
никогда не видел ошибок UTF-8?
Tishka17
никогда не видел ошибок UTF-8?
Видел. Ноль тут ни при чем
Tishka17
Ошибки - когда полсимвола
Anonymous
Tishka17
Как?
Tishka17
Он не отображаемый
Anonymous
�
Tishka17
И?
Anonymous
это НОЛЬ
Tishka17
И?
Tishka17
Это ноль, круто
Anonymous
https://www.fileformat.info/info/charset/UTF-8/list.htm
Tishka17
Ты его смог передать
Tishka17
Он валидный
Nikolay Markov
Ты его смог передать
видимо, протокол телеграма задизайнен лучше, чем протокол Романа :)
Tishka17
И не имеет отобожаемого представления
Roman
у сокета есть inbound buffer, и он ограниченного размера, скажем 8к как только мы получаем сообщение (а оно не больше размера буфера) мы читаем его из буфера, линейно, при этом разбиваем строки на суб-строки по терминатору, знать заранее их длину нам не надо, мы её выясняем по мере парсинга сообщения.
Anonymous
ты таблицу то посмотри
Tishka17
В таблице он есть