я бы хотел обратить внимание публики на то, что json медленный не потому, что посимвольное чтение, а потому, что текстовый

А как он сам в структуры ложится, что то такое выше было. У него схема есть ? Валидация ?

схема передается вместе с данными. валидация на что?

А как он сам в структуры ложится, что то такое выше было. У него схема есть ? Валидация ?

там прям в пакете имена полей и типы

Получится невалидное сообщение передать

я бы хотел обратить внимание публики на то, что json медленный не потому, что посимвольное чтение, а потому, что текстовый

он медленный потому что такой формат если быть точнее, человекочитаемый как называют

Получится невалидное сообщение передать

если некорректно сериализовать то да, целостность данных проверятся на TCP поэтому транспорт гарантирует доставку и берет это на себя, а если сериализатор с ошибками то можно передать и не валидный вариант. Если говорим что сериализатор без ошибок то приедет все корректно - ровно то, что передано и превратится ровно в то, что передано после десериализации

Второй вопрос, на клиенте js -ры, будут иметь проблемы его читать ?

либы есть

но он бинарный же

дополню - доп аллокации в контексте Go говорят о мусоре и жоре памяти. На один процесс лично я ловил потребление процессом памяти более 10 гигов при этом скорость была более-менее, пробовал лепить на стрим JSON - долго и убого, никуда не годится. sync.pool не канают, пакеты разного размера, считать перцентели и динамически подгонять тоже особого понту нет. берем msgpack получаем сразу прирост по скорости и снижаем атоматом потребления памяти - Profit. Как я полагаю нить суждения уже потеряна, но началось с того что был вброс о том что mgpack «плохо», решил рассказать где он - это хорошо

Спасибо, приятно почитать было

А тулинг , ну типа там курлом послать ?

Второй вопрос, на клиенте js -ры, будут иметь проблемы его читать ?

js в браузере если то msgpack проигрывает серьезно по производительности

А проверить сообщение на соответствие схемы ? Пусть после чтения в буфер.

А проверить сообщение на соответствие схемы ? Пусть после чтения в буфер.

давай по простому - mspack это альтернатива json. более компактная за счет бинарного представления и годится для потоковых передач по сети за счет своего формата и самое главное он более быстрый опять же из-за формата и более компактного представления. все остальное как с json, только он не человеко читаемый и забросить его по http курлом задача не такая простая как с json. API работы обычно совпадает с привычной работой с JSON во многих реализациях. В msgpack есть зарезервированные байты для реализации собственных типов - я брал описывал в одной задачке все свои типы прям в сериализаторе и гонял по сети очень быстро, соотвественно в процессе десериализации сразу валидировался формат, который приехал - все типы были жестко описаны и это покрывало все возможные потребности по этой задачке на 10 лет вперед

Я понял, спасибо.

стандартные типы а-ля словарь или массив идут из коробки

чуть сложнее описывал ручками там прям

Получается что простым смертным у которых прблемы быстродействия нет, геморроится незачем.

Получается что простым смертным у которых прблемы быстродействия нет, геморроится незачем.

это универсальный принцип

а смысл гемороя если его и так нет?) решать проблемы нужно по ходу их поступления. А вот если заранее известно что данных будет дохрена и нагрузка будет большая то лучше гемороится сразу под это дело, что я собстно и делал

я проводил микробенчмарки

там выигрыш не так уж и велик

а я проводил реальные замеры JSON vs msgpack - в msgpack на ядро не самого быстрого ксеона ложилось порядка 2,5 гигабит, json рядом не стоял от слова совсем

сильно зависит от данных, я подозреваю

числовые должны быстрее текстовых быть

числовые быстрые + представление чисел с фиксированной точкой пришлось писать самому для msgpack, через строки гнать не эффективно было

но там и строки и числа и даты и булево - все вперемешку скажем так, наборы данных очень разнятся

ну на моих данных я получил 50% выигрыша на msgpack

2.5 гигабита привел на основании загрузки интерфейса - так было проще проверять и смотреть на живых данных, ну скачет оно в пределах 20% в две стороны ну ничего страшного

на фоне потребления ssl оказалось несущественно

ну ssl и так понятно что добавляет своего.

он добавляет так, что полный привет

мне не удалось принять больше 500 ssl сессий в секунду на ядро. на этом фоне проблемы json меня перестали беспокоить

кроме msgpack'а еще есть protobuf :)

кроме msgpack'а еще есть protobuf :)

угу, отличный формат - работал с ним на одной прикольной задачке с кучей микросервисов, мне понравился. есть определенные неудобства конечно небольшие, но зато все явно.

вот не удалось ни разу flatbuffers и capnproto в проде поюзать из интересных мне

угу, отличный формат - работал с ним на одной прикольной задачке с кучей микросервисов, мне понравился. есть определенные неудобства конечно небольшие, но зато все явно.

Просто msgpack какой-то уж совсем простой

Просто msgpack какой-то уж совсем простой

верно. свою реализацию msgpack набросал с нуля за вечер с ходу, потом тюнинг конечно еще около недели грязного времени занял, чистого может часов 10, чтоб алокации лишние убрать и тд и тп

верно. свою реализацию msgpack набросал с нуля за вечер с ходу, потом тюнинг конечно еще около недели грязного времени занял, чистого может часов 10, чтоб алокации лишние убрать и тд и тп

protobuf в данном случаи более развесистый, но и более умный в итоге.

для го притом есть хороший форк родного - https://github.com/gogo/protobuf

угу, все видел, все пользовал, в тему погружался нормально с protobuf в части Go и других ЯП

https://github.com/graphql-go/graphql не пробовал никто использовать это в Go еще?

Есть у кого программа на примете для построения UML с сорцов Go?

UML с сорцов го?

Really?

UML с сорцов го?

Ну с сорцов C#, Джавы и прочего создает же)

Для grpc мб и есть чего

Ну с сорцов C#, Джавы и прочего создает же)

У меня два вопроса

1. А ничего, что в Го нет классов?

2. А ничего, что UML это исчадье воспалённого ума, которое имеет практической ценности меньше, чем концерты Джастина Бибера?

1. А ничего, что в Го нет классов?

Моему преподавателю глубоко по*уй будет:D

Это универсальный ответ на первый и второй вопросы

Прими мои искренние соболезнования, бро

Дипломы в вузе

адское говно

https://github.com/grant/go-diagram Чем не устраивает?

особенно по древним методам

https://github.com/grant/go-diagram Чем не устраивает?

Уже неплохо, спасибо, гляну

адское говно

Удваиваю

Уже неплохо, спасибо, гляну

Первая ссылка в гугле, ну

Первая ссылка в гугле, ну

Да я не гуглил, решил спросить мб есть знающие)

Да я не гуглил, решил спросить мб есть знающие)

Не надо так диплом писать

я просто искренне не понимаю, как можно со структурного кода собрать UML

UML изначально разрабатывался под ООП

UML has been evolving since the second half of the 1990s and has its roots in the object-oriented methods developed in the late 1980s and early 1990s.

смотрите вот, что про это говно в википедии написано

я просто искренне не понимаю, как можно со структурного кода собрать UML

Чем структура с методами принципиально отличается от класса? :)

Чем структура с методами принципиально отличается от класса? :)

наследованием?

наследованием?

Embedding тоже позволяет наследовать поля и методы :)

Meh

Embedding тоже позволяет наследовать поля и методы :)

embedding всё-таки отличается немножко

UML-диаграмму нарисовать можно, тем не менее

UML-диаграмму нарисовать можно, тем не менее

Видимо придется ручками)

Блин, а мне же тоже наверняка придётся в дипломе это говно рисовать

Блин, а мне же тоже наверняка придётся в дипломе это говно рисовать

сочувствую бро, у меня защита летом, и мне придется это говно рисовать)

сочувствую бро, у меня защита летом, и мне придется это говно рисовать)

Так и у меня защита летом

Так и у меня защита летом

👍🏻 мы в одинаковой жопе

ну ось-то отчитается о том, что пакет приехал, и контрольная сумма сошлась

Кому отчитается?

а я проводил реальные замеры JSON vs msgpack - в msgpack на ядро не самого быстрого ксеона ложилось порядка 2,5 гигабит, json рядом не стоял от слова совсем

А если какой-нибудь ujson или вообще плюсовый вариант?

кроме msgpack'а еще есть protobuf :)

Еще есть cbor