Tishka17
Что еще я должен там увидеть?
Anton
Не знаю о чем вы спорите, но вот же отображается :))
Tishka17
Если в таблице он есть, видимо это валидный символ
Анастасия
100 тысяч в месяц два! Настя ты думаешь я угадал?
Я серьезно,у меня вакансия джуна за 100к
Roman
это НОЛЬ
это не ноль, цифра ноль это decimal 30 https://www.fileformat.info/info/unicode/char/0030/index.htm a Nul это аналог void
Tishka17
Не знаю о чем вы спорите, но вот же отображается :))
Это заглушка для неотображаемых символов
Amir
я тут в gorilla websocket наткнулся на два параметра, которые хочу подкрутить ReadBufferSize и WriteBufferSize - кто то может сказать, на что они влияют и где почитать?
Roman
как ты это на сях будешь реализовывать? какую чиселку в malloc() пихать?
ещё раз: у сокета есть буфер, разве нет? в него пишется сообщение, разве нет? его мы можем линейно пропарсить разбирая сообщение по частям, разве нет? 🙂
Tishka17
Gzip вполне себе так работает
Anonymous
Это заглушка для неотображаемых символов
символ ноль - в UTF-8 значащий , зарезервирован как символ ошибки
Tishka17
Если протокол не поточный - вероятно надо парсить сообщения целиком
Nikolay Markov
ещё раз: у сокета есть буфер, разве нет? в него пишется сообщение, разве нет? его мы можем линейно пропарсить разбирая сообщение по частям, разве нет? 🙂
в него пишется сообщение, которое ты хочешь разобрать на структуру. Было бы логично иметь возможность быстро преаллоцировать поля нужного размера при десериализации данных
Roman
Можем если поточный протокол
ну вот, в чём тогда проблема с nul terminator'ом?
Amir
это размеры in/out буферов TCP/IP сокета
Это я догадался, а дальше?
Nikolay Markov
ну вот, в чём тогда проблема с nul terminator'ом?
ты прочитал аж четыре аргумента выше, которые я тебе накидал?
Nikolay Markov
не забывая того, что nul есть в таблице юникода, как мы выяснили
Tishka17
ну вот, в чём тогда проблема с nul terminator'ом?
Тем, что кто-то может захотеть передать 0
Мерль
Я конечно не гуру в смысле протоколов Но разве NULL-terminated строки для сериализации не имеют фатальный недостаток в виде "нам нужно прочитать 10кб текста чтобы считать следующий за ним int"?
Roman
символ ноль - в UTF-8 значащий , зарезервирован как символ ошибки
разве? AFAIK Nul, или U+0000 в UTF-8 это синоним Null из ASCII 7-bit, который представляет собой terminator
Roman
Это я догадался, а дальше?
что дальше?) не меняй, если не знаешь зачем, иначе меняй)
Roman
не забывая того, что nul есть в таблице юникода, как мы выяснили
есть, он является синонимом null terminator'а ASCII
Amir
что дальше?) не меняй, если не знаешь зачем, иначе меняй)
я вполне понимаю нафига, но что-то не вижу аффекта никакого когда их кручу
Nikolay Markov
есть, он является синонимом null terminator'а ASCII
отлично. Как хорошо, что у нас почти 2019 год и нам необязательно повторять косяки Кернигана и Ритчи
Roman
Тем, что кто-то может захотеть передать 0
вот мне и интересно было, в каком случе кто-то захочет его передать? ему это не удастся потому-что encoder не скушает строку, и в моём конкретно случае нет смысла в тексты вставлять терминатор, поэтому ещё раз: в каком случае это бы было полезно?
Nikolay Markov
вот мне и интересно было, в каком случе кто-то захочет его передать? ему это не удастся потому-что encoder не скушает строку, и в моём конкретно случае нет смысла в тексты вставлять терминатор, поэтому ещё раз: в каком случае это бы было полезно?
не твоя забота думать о том, какие именно байты пользователь захочет передавать в твоем протоколе. Твоя забота - это обеспечить удобную разборку структуры на получателе и удобную сериализацию на отправителе
Roman
я вполне понимаю нафига, но что-то не вижу аффекта никакого когда их кручу
а что ты ожидал видеть? websocket это framed protocol, если 1 frame'а недостаточно чтобы передать сообщение то посылаются 2, это всё overhead миллипиздрический
Tishka17
Ты можешь юзать 0, как сепаратор, но учти, что иногда есть кейсы как сказал @twentydraft. А ещё нужен механизм экранирования, что любой мог передать ноль в твоём протоколе.
Nikolay Markov
если энкодер не скушает строку с нулом внутри - это хреновый энкодер, скорее всего
Мерль
Просто я не очень понимаю в чём выгода использования таких строк. Экономить 4 или 8 байт?
Roman
отлично. Как хорошо, что у нас почти 2019 год и нам необязательно повторять косяки Кернигана и Ритчи
да какае косяки то ёмоё... мы уже минут 30 мусолим "нельзя нельзя, потому-что аллокация, конкатенация, линейная сложность на проверку длины" а я уже какой раз повторяюсь что это в моём конкретном случае абсолютно ненужно 🙂
Nikolay Markov
Роман, приведи пример структуры на псевдомаркапе, которую ты планируешь передавать в своем протоколе
Tishka17
Так же как не задача юзера думать какие там символы нельзя передавать
Tishka17
Юзер хочет передать либо: - текст (0 может встретиться) - байты (вообще что угодно в любой комбинации)
Nikolay Markov
представь, что тебе надо передать такую структуру: { a: int b: string c: int d: string e: char }
Roman
Я конечно не гуру в смысле протоколов Но разве NULL-terminated строки для сериализации не имеют фатальный недостаток в виде "нам нужно прочитать 10кб текста чтобы считать следующий за ним int"?
в моём случае это неважно поскольку я парсю сообщение прямо из буфера, линейно разумеется. мне не обязательно заранее знать длину строки, ибо я в процессе линейного парсинга её узнаю
Nikolay Markov
вопрос - сколько байтов аллоцировать под эту структуру на получателе?
Roman
Nikolay Markov
ты в памяти не линейно данные ворочаешь
Nikolay Markov
а поблочно аллоцируешь
Nikolay Markov
если в этом твоем протоколе передать очень длинную строку без указания длины - это автоматом на получателе приведет к нескольким реаллокациям на куче
Nikolay Markov
это говнище прям совсем
Roman
Ты можешь юзать 0, как сепаратор, но учти, что иногда есть кейсы как сказал @twentydraft. А ещё нужен механизм экранирования, что любой мог передать ноль в твоём протоколе.
вот этот момент мне и не ясен, с чего я собственно и начал вопрос, в каком случае это могло бы иметь смысл? по сути да, я могу экранировать U+0000 в энкодере и читать в декодере будто ничего не было, но вот в каком таком случае там где мы ожидаем текстовую строку, будет строка с терминатором внутри?
Tishka17
цифру ноль?
Байт, ноль. Мы же не про человеческие буквы говорим
Tishka17
Или мы тольько 0-9 и a-z разрешаем передавать?
Roman
Так же как не задача юзера думать какие там символы нельзя передавать
ну в таком случае можно экранировать на всякий пожарный и все будут довольны
Nikolay Markov
<text>nul<text>nul<text> <text>
что я выше и написал - у тебя будут сплошные реаллоки на куче
Tishka17
То есть у тебя уже байт может занимать как 1, так и два байта
Nikolay Markov
То есть у тебя уже байт может занимать как 1, так и два байта
а потом у него придет джун с utf-16 строками...
Nikolay Markov
Js разработчик с ucs-2
а еще LE/BE же есть, вот дела
Tishka17
а еще LE/BE же есть, вот дела
Это да. Мне до сих пор попадаются юзеры с utf-8 + bom. Хз откуда они эти файлы берут
Tishka17
ну в таком случае можно экранировать на всякий пожарный и все будут довольны
Та как там передать структуру Николая в твоём протоколе?
Tishka17
Или он не рассчитан на структуры?
Tishka17
Если очень скучно - рекомендую почитать как работает protobuf и mtproto
Tishka17
И не изобретатт
Tishka17
У нас на прошлой работе был самописный протокол, в итоге остался от него хэдер с размером пакета и json дальше
Roman
представь, что тебе надо передать такую структуру: { a: int b: string c: int d: string e: char }
такой структуры у меня поумолчанию быть не может 🙂 1. парсер знает в каком порядке поля 2. поля со стат. размером пишутся первыми 3. поля с дин. размером под конец { a: int c: int e: char b: unicode d: unicode g: unicode } в буфере это будет выглядеть так: | socket buffer (42) | | message (27) | [[m][ssss][aaaa][cccc][e][bbbbbbb][N][ddd][N][g]...............] m = message type s = total message size in bytes N = Nul terminator с флагами сообщение было бы больше (на каждое дин. поле по 4 байт): | socket buffer (42) | | message (33) | [[m][aaaa][cccc][e][BBBB][bbbbbbb][DDDD][ddd][GGGG][g].........] читается сообщение из буфера сокета линейно если строка по какой-то причине не терминируется - то она терминируется автоматически по достижению размера буфера: | socket buffer (42) | | message (42) | [[m][aaaa][cccc][e][BBBB][bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb] | field b |
Roman
а если тебе не нужна строка, а нужно следующее значение?
в данном случае не нужна, строка так или иначе пропарсится