Nikolay Markov
ну вот взять твою структуру: { a: int c: int e: char b: unicode d: unicode g: unicode } представим, что мне в коде нужно только поле g, но в поле b при этом мне прислали "Войну и мир". Как будет выглядеть чтение на клиенте?
Nikolay Markov
не приведёт, message не привышает размер буфера
магическая константа размера строки? во дела
Tishka17
Один шаг к вложенным сообщениям остался
Nikolay Markov
или таки проще длину строки хранить вместе со строкой и не выносить мозг?
Tishka17
Зачем вообще размер сообщения иначе?
Tishka17
Давайте все сообщение терминировать нулём
Nikolay Markov
не приведёт, message не привышает размер буфера
кстати тоже наркомания - передаем один байт строки, аллоцируем на клиенте 32 байта буфера. Логика!
Илья
Это да. Мне до сих пор попадаются юзеры с utf-8 + bom. Хз откуда они эти файлы берут
так это самое, bom же сразу нужен, если емодзи в тексте
Nikolay Markov
да ё-моё, вам это декодируется в структуру)) а энкодер так или иначе пропарсит буфер
энкодер никакой буфер не пропарсит. Ты читаешь байты из сокета, потоком. Тебе надо их куда-то записывать. Как ты будешь аллоцировать память, в которую будешь их писать?
Roman
Давайте все сообщение терминировать нулём
ну так это очевидно не работает)
Tishka17
так это самое, bom же сразу нужен, если емодзи в тексте
В utf-8 фиксирован порядок байт. Это не utf-16
Nikolay Markov
Ну питон же живёт
ну там все сильно лучше с каждым релизом
Tishka17
Первый раз что ли
Nikolay Markov
окей, я хочу в протоколе Романа передать десять чаров (неважно даже, юникод или аски), по одному в строке (плюс нуль-терминатор, лол). Сколько байтов мне надо аллоцировать на клиенте, чтобы это принять?
Roman
энкодер никакой буфер не пропарсит. Ты читаешь байты из сокета, потоком. Тебе надо их куда-то записывать. Как ты будешь аллоцировать память, в которую будешь их писать?
да ёшкин код))) не нужно ничего аллоцировать)) message buffer в pool'е, берём из пул'а buffer и парсим в него сообщение)) в данном случае пропарсить придётся, плюс флага был бы в том что можно бы было перепрыгнуть большие строки не парся их линейно, а в данном случае я их так или иначе линейно парсю
Nikolay Markov
никаких пулов там, никакой магии за тебя, голые системные вызовы на сях. Как будет выглядеть работа с протоколом?
Nikolay Markov
Аллоцируешь 65536 один раз при создании клиента и никогда не удаляешь
"я сделаю свою кучу, с блэкджеком и шлюхами!"
Tishka17
Проблема начинается когда иерархические структуры
Tishka17
Списки списков
Roman
никаких пулов там, никакой магии за тебя, голые системные вызовы на сях. Как будет выглядеть работа с протоколом?
аллокейтишь 64k (max message buffer) линейно парсишь socket buffer помечая на каких индексах что находится
Tishka17
Во
Nikolay Markov
аллокейтишь 64k (max message buffer) линейно парсишь socket buffer помечая на каких индексах что находится
и получаешь по морде клавиатурой от того, кто делает кодревью
Tishka17
Точнее список списков строк
Nikolay Markov
потому что аллоцировать 64к при передаче 10 байтов текста - это клиника
Anton
https://cs5.pikabu.ru/images/big_size_comm/2014-10_3/14133944305572.jpg Простите, ребят, не смог удержаться. ☺️ Вы просто уже больше 4-ех часов эту тему мусолите.
Tishka17
потому что аллоцировать 64к при передаче 10 байтов текста - это клиника
Это ты загоняешься уже. Не будет клиент сто раз аддоцировать память. Он будет переиспользовать один буфер, так быстрее
Roman
Точнее список списков строк
у списка должен быть флаг размера
Nikolay Markov
Nikolay Markov
https://cs5.pikabu.ru/images/big_size_comm/2014-10_3/14133944305572.jpg Простите, ребят, не смог удержаться. ☺️ Вы просто уже больше 4-ех часов эту тему мусолите.
тут человек писал, что пишет бинарную замену графкуэля, которая во всем будет его превосходить
Nikolay Markov
а потом приходит и трясет нуль-терминированными строками
Roman
так я согласен же, но Роман предлагает сразу аллоцировать, а думать потом
мы изначально знаем максимальный размер буфера сообщения, сообщение его никогда не привышает
Tishka17
у списка должен быть флаг размера
Зачем? Можно юзать ноль в конце
Roman
ладно, коллега, завершаем тему, смысла в ней уже нет
Anton
🙂 Роман, вам надо написать RFC, и позвать отсюда заинтересованных к его обсужданию. Лучше на отдельной площадке.
Nikolay Markov
мы изначально знаем максимальный размер буфера сообщения, сообщение его никогда не привышает
и это оправдывает аллокацию 64 килобайт при пересылке однобайтового чара?
Nikolay Markov
нет, ну скажи уже, что ты троллишь
Nikolay Markov
хотя такую наркоманию придумать сложно
Roman
флаг строк имеет смысл тогда, когда мы не хотим всё линейно парсить, с этим мы все уже давно солидарны)
Nikolay Markov
Nikolay Markov
не бывает "просто стримов", там всегда минибатчи
Roman
и это оправдывает аллокацию 64 килобайт при пересылке однобайтового чара?
коллега, он 1 раз преаллокейтится и переиспользуется для каждого сообщения, это очень дёшево
Anton
Вообще странная идея, разрабатывать протокол в одного. Протокол ведь это всегда "договоренность". Надо хотя бы 2 человека, которые будут его использовать. Иначе смысл? Ну разве что "-Чтобы не уволили" 😂 . Для самообразования imho лучше взять что-то уже из реализованного и попробовать самому имплементировать, так можно гораздо больше полезного узнать и понять почему вещи устроены так как устроены.
Nikolay Markov
коллега, он 1 раз преаллокейтится и переиспользуется для каждого сообщения, это очень дёшево
коллега, все это нафиг не нужно, если не придумывать очевидный бред с нуль-терминированными строками
Nikolay Markov
и можно получить профит и по памяти, и по скорости
Nikolay Markov
если об этом не думать на этапе проектирования, протокол уже на этом этапе будет никуда не годен
Nikolay Markov
да забудь ты уже эти терминаторы))) проехали)
то есть ты понял, почему не надо так делать? :) ну тогда окей
Roman
и можно получить профит и по памяти, и по скорости
никаких профитов по памяти ты не получишь от флагов, только чуток больше overhead'а. буферы всегда аллокейтятся на максимальный размер сообщения, кладётся в пул и переиспользуются, никаких аллокаций тут нет. по скорости да, флаги могут ускорить чтение, если не требуется линейный парсинг.
🎉
потому что аллоцировать 64к при передаче 10 байтов текста - это клиника
Можно ведь память выделять по мере роста данных?
Nikolay Markov
Можно ведь память выделять по мере роста данных?
что я выше и писал - много реаллоков на куче :)
Nikolay Markov
ну такое
Nikolay Markov
и если я хочу переслать один символ, а для этого у меня клиенту нужно зааллоцировать 64 килобайта - я выкидываю этот протокол, потому что он непригоден ни для чего
Roman
почитай, как эту проблему решает тот же протобаф
аллокейтит под каждое сообщение?)
Nikolay Markov
клиент возьмёт буфер и пула, аллокейт в данном случае редко происходит
мне не нужен буфер такого размера под пересылку байта
Roman
мне не нужен буфер такого размера под пересылку байта
поэтому ради байта ты аллоцируешь буфер?))
Nikolay Markov
аллокейтит под каждое сообщение?)
там есть несколько вариантов того, как это делается, в том числе можно и твой, но это будет крайне неэффективно во многих случаях
Roman
ещё раз и в последний: буфер переиспользуется, а новые буфера аллоцируются редко
Nikolay Markov
Roman
Nul
Roman
я терминирую этот спор 😁
Roman
мне на тренировку пора
Nikolay Markov