это из сети, или с диска? если с диска - надо буферизованный ридер использовать

это из сети, или с диска? если с диска - надо буферизованный ридер использовать

С сети

Циклом читаю 64, потом смотрю сколько данных, читаю их, все склеиваю и шлю на хендлинг

вот тут тоже хорошо бы буферизацию приспособить

чтобы не на каждое чтение сискол был

оу, оказывается линтер не стоял... сколько я о себе узнал и о своём коде када поставил)))

А в мае есть какие-то интересные конференции в россии??

Не те буферы крутите. Побробуйте TCPConn обернуть в https://golang.org/pkg/bufio/#NewReader чтобы сисколы не дергать часто

А в мае есть какие-то интересные конференции в россии??

Присоеденяюсь к вопросу)

Не те буферы крутите. Побробуйте TCPConn обернуть в https://golang.org/pkg/bufio/#NewReader чтобы сисколы не дергать часто

Сложно. Потому что длинна плавает, надо простат хедер каждый раз

Или я чего то не умею

Пусть плавает

Оно читает кусками, а вы из него побайтово

Оно читает кусками, а вы из него побайтово

Так. Кажется я понял

(Наверно писать лучше тоже также)

Спасибо за мысль, завтра попробую закодить

Кстати, кто завтра в Badoo идёт?

Кстати, кто завтра в Badoo идёт?

тот не я

Такие буферы гигантские. Это же если соединений тысячи, они всю память сжирать будут.

Кстати, кто завтра в Badoo идёт?

Так тама одни пэхэпэшнеги имхо.

Так тама одни пэхэпэшнеги имхо.

Вроде бы же и на гоу какие-то сервисы делают.

Если мапа с функциями сожрала память, значит ты пихал в нее жирные замыкания. А вообще, тот же самый тарантул использует асинхронный протокол, и драйвера спокойно выжимают сотни тысяч rps без всякого трэша, который тебе @onokonem тулит. Правда, с другим трэшем. Вот один драйвер: https://github.com/tarantool/go-tarantool Вот другой: https://github.com/viciious/go-tarantool Второй, думаю, читать полегче будет. (Первый - мой на половину. На ту половину, что читать труднее ? )

Вроде бы же и на гоу какие-то сервисы делают.

Ну вот видео, да они как раз чото пилить на го начали https://www.youtube.com/watch?v=uO268voCGwA&t=853s

Если мапа с функциями сожрала память, значит ты пихал в нее жирные замыкания. А вообще, тот же самый тарантул использует асинхронный протокол, и драйвера спокойно выжимают сотни тысяч rps без всякого трэша, который тебе @onokonem тулит. Правда, с другим трэшем. Вот один драйвер: https://github.com/tarantool/go-tarantool Вот другой: https://github.com/viciious/go-tarantool Второй, думаю, читать полегче будет. (Первый - мой на половину. На ту половину, что читать труднее ? )

Да чтобы мапа с функциями сожрала десятки гигов, там размер ее должен на милионы исчисляться наверное.

Да чтобы мапа с функциями сожрала десятки гигов, там размер ее должен на милионы исчисляться наверное.

Проблема не в мапе, а в точ, что в нее положили. Если каждое замыкание с собой случайно по мегабайту захватило, то все получится. Другой аспект: если мапа в каналы, то этих каналов кто-то ждёт, и получается естественный тротлинг. А в мапу замыканий можно пихать "без остановки". Но это тоже гипотеза.

Вообще, каждый канал весит около 200 байт (не считая буфера под значения). А func - от 8ми байт. Вопрос только, что func в себя замкнул.

В замыкании мегабайт иметь тоже постараться надо. Массивные данные в основном ссылочные и в куче валяются. В общем там какая-то хрень. )

В замыкании мегабайт иметь тоже постараться надо. Массивные данные в основном ссылочные и в куче валяются. В общем там какая-то хрень. )

Вот именно, и если ссылка на такой массив замкнулась, то вот и "утечка".

Замыкается ведь не "стэк", весь граф достижимых по ссылкам объектов.

"замыкается" - это не значит "копируется". Это значит "не умрет раньше замыкания".

BTW, BlackTrojan чьих рук дело? Давай поговорим лично, зачем прячешься?

BTW, BlackTrojan чьих рук дело? Давай поговорим лично, зачем прячешься?

Вам тоже пришло сообщение с гифками только что?

Да. Думал, что это личное. Видимо, кто-то просто по чату спамит.

BTW, BlackTrojan чьих рук дело? Давай поговорим лично, зачем прячешься?

А-а-а?

Или тебя взломали, или ты - гондон.

Или тебя взломали, или ты - гондон.

Не знаю.

Не знаю.

Хммм... Ну ты определись.

Хммм... Ну ты определись.

Ответ неправильный.

Похоже, это бот.

Похоже, это бот.

Ответ неправильный. Клуб кожевников два блока вниз.

Такие буферы гигантские. Это же если соединений тысячи, они всю память сжирать будут.

> Такие буферы гигантские Если вы понимаете, о чём он. ?

Если мапа с функциями сожрала память, значит ты пихал в нее жирные замыкания. А вообще, тот же самый тарантул использует асинхронный протокол, и драйвера спокойно выжимают сотни тысяч rps без всякого трэша, который тебе @onokonem тулит. Правда, с другим трэшем. Вот один драйвер: https://github.com/tarantool/go-tarantool Вот другой: https://github.com/viciious/go-tarantool Второй, думаю, читать полегче будет. (Первый - мой на половину. На ту половину, что читать труднее ? )

СПС)

Вообще, каждый канал весит около 200 байт (не считая буфера под значения). А func - от 8ми байт. Вопрос только, что func в себя замкнул.

Минимал. Анмапшал, печать сообщения, маршал, отправка того же сообщения обратно

Работаю в 1 коннект

Так тама одни пэхэпэшнеги имхо.

Там вообще делать нечего хотите сказать?)

Минимал. Анмапшал, печать сообщения, маршал, отправка того же сообщения обратно

Я может тогда не правильно понял. Это клиент, или сервер?

Если сервер, то зачем мапа?

Если сервер, то зачем мапа?

Клиент

Клиентов много, общения через сервер, каждый клиент имеет свои уникальные функции

Клиент

А зачем обратно отсылаешь?

А зачем обратно отсылаешь?

Бенч

Бенч тесты кстати накрутил, анмаршал/маршал работает быстро

Вообще, каждый канал весит около 200 байт (не считая буфера под значения). А func - от 8ми байт. Вопрос только, что func в себя замкнул.

Дальше песня, может ли не успевать чистятся память под нагрузкой?

В общем: замыкания - это клёво. Я люблю замыкания, хоть это и не Go-way. Но в цикле чтения из сокета можно звать только легкие замыкания: например, ту же посылку в канал/закрытие канала (вариант WaitGroup.Done() ). Ещё вместо замыкания можно использовать интерфейс, если нужно более одной функции.

Основной затык с этой асинхронщиной: как правильно пайплайн организовать. Обычно делают одну пишущую горутину, и одну читающую. Запросы пишущей едут по каналу. Читающая закрывает запросы (выбирая их из мапы). Надеюсь, ты примерно так и сделал. Второй затык: как ту саму мапу заполнять. Если под одним мьютексом, то больше 100крпс в среднем не выходит, по разным причинам. Потому приходится шардить мапу, чтобу а шарда был свой мьютекс. Если цель - максимальный перформанс, то маршалить нужно в клиентской горутине. Если же в реальности меньше 100krps, то может оказаться выгоднее в пишущей горутине (если будет успевать), т.к. тогла запросы будут чаще в нее пачками попадать. Btw если слать по одному запросу в канал в сторону писателя, то это тот же мьютекс (канал реализован через мьютекс). Я у себя нагребаю слайс запросов, но в канал шлю номер шарда когда добавляю первый запрос в слайс шарда.

Основной затык с этой асинхронщиной: как правильно пайплайн организовать. Обычно делают одну пишущую горутину, и одну читающую. Запросы пишущей едут по каналу. Читающая закрывает запросы (выбирая их из мапы). Надеюсь, ты примерно так и сделал. Второй затык: как ту саму мапу заполнять. Если под одним мьютексом, то больше 100крпс в среднем не выходит, по разным причинам. Потому приходится шардить мапу, чтобу а шарда был свой мьютекс. Если цель - максимальный перформанс, то маршалить нужно в клиентской горутине. Если же в реальности меньше 100krps, то может оказаться выгоднее в пишущей горутине (если будет успевать), т.к. тогла запросы будут чаще в нее пачками попадать. Btw если слать по одному запросу в канал в сторону писателя, то это тот же мьютекс (канал реализован через мьютекс). Я у себя нагребаю слайс запросов, но в канал шлю номер шарда когда добавляю первый запрос в слайс шарда.

Чтение/запись так и сделал (+плюс пишут, что методы tcpconn потокобезопасны, хочу попробовать писать лично из зендлера)

Маршалю/анмаршалю как раз на хендлере.

А вообще, какой боевой rps предполагается? Предлагаю исходить из него. И если какая-то простая схема его перекрывает в два-три раза, то лучше остановиться на ней, и не усложнять.

А мапа инится до старта обмена, в нее закладываются замыкания по ключам, дальше только чтение. Я ее даже без мьютексов собрал, учитывая что она юзается только на чтение

А вообще, какой боевой rps предполагается? Предлагаю исходить из него. И если какая-то простая схема его перекрывает в два-три раза, то лучше остановиться на ней, и не усложнять.

Боевой -5000. Но если без нагрузки я упираюсь в 15, то есть мнение, что с нагрузкой я буду тупить.

А мапа инится до старта обмена, в нее закладываются замыкания по ключам, дальше только чтение. Я ее даже без мьютексов собрал, учитывая что она юзается только на чтение

А что является ключом мапы?

А что является ключом мапы?

Тип сообщения. 4байта из сообщения, переведённые в стринг

SAVE/GET_/итд

На хендинге выбираю именно эти 4 байта, по ним хендлю, и сырое сообщение кидаю в канал (или в замыкание)

ERROR: S client not available

Почему мне это сервер напоминает, а не клиент?

Почему мне это сервер напоминает, а не клиент?

Хз. Фактически это клиент, потому что сервер роутит сообщения по микроскосервисам

А сам микросервис можно по сути и сервером обозвать)) он хендлит запросы для него, и обращается к соседям по необходимости

А сам микросервис можно по сути и сервером обозвать)) он хендлит запросы для него, и обращается к соседям по необходимости

Если то, что ты делаешь, в точке "хэндлит запросы", то это сервер.

Ок) пусть будет)

Это мне ща погоды не сильно поменяет

Коллеги, подскажите переползающему на го. Есть protobuf-структура (Event) и обертка для массива этих структур (Events), тоже protobuf. Есть логика, которая получает через канал эти события (Event) и при определенных условиях, собирает пачку событий, запаковывает их в Events и через proto.Marshal сериализует их в файлик в бинарном виде. Понадобилось сделать аналогично для другой структуры, пытаюсь понять как правильно вынести привязку именно к этим Event(s), что бы логика сбора, сериализации и записи в файл осталась в одном месте.

И да, вопрос сбоку - чем плох митап баду? (Может я зря проснулся так рано)

И да, вопрос сбоку - чем плох митап баду? (Может я зря проснулся так рано)

Ни чем. Я иду.

Мало того, я не считаю, что все пхпшники .... Наверняка те, что работают в Badoo, адекватные люди, у которых можно чему-то научиться.

Мало того, я не считаю, что все пхпшники .... Наверняка те, что работают в Badoo, адекватные люди, у которых можно чему-то научиться.

Спс) Мб там увидимся?

Мало того, я не считаю, что все пхпшники .... Наверняка те, что работают в Badoo, адекватные люди, у которых можно чему-то научиться.

А кто нибудь в курсе, если я опаздываю на 20 минут меня пустят?)

Я в мск проездом, заодно решил забежать на митапчики. А Москва огромная

Если ты зарегался, думаю, пустят

Зарегался.

Спросил тут в холле: до 12ти будут в холле ждать. После 12ти будет сложнее.

Спасибо

Там вообще делать нечего хотите сказать?)

Не хочу, наверняка полезно такие мероприятия посещать.

На хендинге выбираю именно эти 4 байта, по ним хендлю, и сырое сообщение кидаю в канал (или в замыкание)

А зачем в стринг переводить? Хотя конечно это погоды не сделает. Если есть возможность, то переиспользовать буферы. И в бенче посмотреть где память, где сколько памяти используется. ... Кстати, не помню уже, показывает профилер использование памяти или нет, но можно через него прогнать. Насколько понимаю, там задача то не особо сложная, чтобы требования к памяти были большие.

Люди подскажите, поставил dep, и ругань на sqlite ../../go/src/rzn/db.go:7:4:error: could not import github.com/mattn/go-sqlite3 (type-checking package "rzn/vendor/github.com/mattn/go-sqlite3" failed (/home/marlik/go/src/rzn/vendor/github.com/mattn/go-sqlite3/error.go:14:17: invalid constant type invalid type)) (gotype) Может кто встречался, куда копать-то?

А зачем в стринг переводить? Хотя конечно это погоды не сделает. Если есть возможность, то переиспользовать буферы. И в бенче посмотреть где память, где сколько памяти используется. ... Кстати, не помню уже, показывает профилер использование памяти или нет, но можно через него прогнать. Насколько понимаю, там задача то не особо сложная, чтобы требования к памяти были большие.

Я перевожу приведением типов. Хотя мб без этого приведения и прадва стройнее будет. Отложу себе, спасибо)

Люди подскажите, поставил dep, и ругань на sqlite ../../go/src/rzn/db.go:7:4:error: could not import github.com/mattn/go-sqlite3 (type-checking package "rzn/vendor/github.com/mattn/go-sqlite3" failed (/home/marlik/go/src/rzn/vendor/github.com/mattn/go-sqlite3/error.go:14:17: invalid constant type invalid type)) (gotype) Может кто встречался, куда копать-то?

Чекни версию, что деп поставил

Может поставил слишком свежую. Ну выглядит так оО

vgo ещё никто не щупал?

Люди подскажите, поставил dep, и ругань на sqlite ../../go/src/rzn/db.go:7:4:error: could not import github.com/mattn/go-sqlite3 (type-checking package "rzn/vendor/github.com/mattn/go-sqlite3" failed (/home/marlik/go/src/rzn/vendor/github.com/mattn/go-sqlite3/error.go:14:17: invalid constant type invalid type)) (gotype) Может кто встречался, куда копать-то?

я gotype выключаю всегда. он туповат, и репортит ерунду часто

Если мапа с функциями сожрала память, значит ты пихал в нее жирные замыкания. А вообще, тот же самый тарантул использует асинхронный протокол, и драйвера спокойно выжимают сотни тысяч rps без всякого трэша, который тебе @onokonem тулит. Правда, с другим трэшем. Вот один драйвер: https://github.com/tarantool/go-tarantool Вот другой: https://github.com/viciious/go-tarantool Второй, думаю, читать полегче будет. (Первый - мой на половину. На ту половину, что читать труднее ? )

а какой именно треш я втуливаю?

а какой именно треш я втуливаю?

В основном я на switch среагировал. Но большей части я, наверное, был не прав. Прошу прощения.

я gotype выключаю всегда. он туповат, и репортит ерунду часто

А как вы его отключили? Что-то боязно его сносить.

А как вы его отключили? Что-то боязно его сносить.

lintOnSave https://code.visualstudio.com/docs/languages/go#_build-lint-and-vet

но в code по умолчанию сейчас он все равно не используется, там golint