Может если проц позволяет, то инсерт делать тоже в горутинах?

А на сколько обьем выставляли?

Ну 100. Но там на 20 сообщений в секунду cpu отдирается. Мало того, как я писал, я убирал одну еорутину и делал без буфера - картина та же.

Ну 100. Но там на 20 сообщений в секунду cpu отдирается. Мало того, как я писал, я убирал одну еорутину и делал без буфера - картина та же.

https://flaviocopes.com/golang-profiling/ На пальцах объясняют как снять профиль и понять что тормозит

Говорят, можно прямо в прод сунуть с включеным профайлом потому, что оверхед не большой

В проде вроде его можно включать http запросом на определенное время. В остальное время он не активен.

В проде вроде его можно включать http запросом на определенное время. В остальное время он не активен.

Разные варианты, в общем. Делается двумя строчками и профит очевидный.

Главное для всего интернета этот порт не открывайте.

https://flaviocopes.com/golang-profiling/ На пальцах объясняют как снять профиль и понять что тормозит

Я же уже писал - я снимал профиль. Когда монгу убрал - в топе runtime.scanobject какой-то.

и что профиль?

Я же уже писал - я снимал профиль. Когда монгу убрал - в топе runtime.scanobject какой-то.

Постройте граф

Там сразу понятно где он вызывается

Там сразу понятно где он вызывается

Там кода-то страница. Сейчас скриншот пришлю.

Горшочек не вари

Умываю руки)

https://flaviocopes.com/golang-profiling/ На пальцах объясняют как снять профиль и понять что тормозит

Лучше пришлите граф вызовов в профайлере

Там кода-то страница. Сейчас скриншот пришлю.

У вас там нет такого, что вы на каждый запрос вызываете mgo.Dial ?

Wrapper?

И не враппер. Вся соль в том, что из возвращаемой функции виден контекст функции, из которой ее вернули

У вас там нет такого, что вы на каждый запрос вызываете mgo.Dial ?

Не должно точно.

Делаю граф

А сколько gomaxprocs?

я делал два - тоже самое что и не установлено

ловите

Try to run it after: export GOMAXPROCS=4 This should drop that timing a lot. Some of the design decisions on mgo were made with scalability and concurrency in mind. It performs well if you allow it to use more threads, and it should continue to perform well under quite a bit of abuse when you do more stuff concurrently with whatever else is being done. [1] On Thu, Mar 28, 2013 at 6:55 PM, <mbil...@gmail.com> wrote: > Perhaps I'm doing something wrong in here? mongod doesn't seem to be > sweating running either program. If you can send an example that is self-contained, including the data creation bits, I can run it here as well to compare. Otherwise, I have no idea about how you're exercising that code, which makes it harder to help. [1] Out of coincidence, this was posted today: https://github.com/rossan/kuenea Look at the timings there.

смотрите, я убрал монгу, заменил на rethink - но 20% всё равно много

для наглядности

Сборщик мусора выедает

Угу

https://www.mongodb.com/blog/post/running-mongodb-queries-concurrently-with-go

Сборщик мусора выедает

Я извиняюсь, но он выедает как питон. Как такое возможно.

Сборщик мусора выедает

это что за чушь?

Там по сути один malloc на сообщение и free после базы. 10 сообщений в секунду, какой ещё сборщик?!?

это что за чушь?

По третьей строке в консоли сделал вывод. Поправьте

Народ, это профиль с rethink. Я отключил монгу - с ней вообще жутко.

коллега, у вас там подземный стук

А по делу?

Я на го два дня, но мне тоже подумалось что scanobjects это гц

mallocgc это что-то другое?

Вроде аллокейт и скан как раз об этом. Не утверждаю, но предполагаю

Я на го два дня, но мне тоже подумалось что scanobjects это гц

Дак может вы посмотрите где вы объекты создаёте?

Или попробуете комментить код кусками и профайл запускать и посмотреть после отключения каких строк тормозить перестаёт.

Или попробуете комментить код кусками и профайл запускать и посмотреть после отключения каких строк тормозить перестаёт.

Там кода страница - только в readjson

Там кода страница - только в readjson

Закомментировать страницу и посмотреть на перформанс не пробовали?

Monkey debug 101

Ещё у вас там светится синк мэп, конвертация типов, коннект к h2 серверу.

Там кода страница - только в readjson

Закомментируйте строку вставки в базу в цикле и проверьте.

Закомментируйте строку вставки в базу в цикле и проверьте.

так я тоже же писал - уже делал. без вставки в базу - оно ~2% CPU, т.е. это конечно лучше чем 20%, но даже для простого чтения из ws что-то не мало.

Проблема в 2% CPU?

Программу можно не запускать и тогда будет 0% CPU — вообще идеал. Если это ваша цель.

И время на разработку можно не тратить.

2% CPU для практически ничего не делающей программы - это прилично ИМХО.

Нет

я бы ожидал не более 5% целиком от этой программы, в идеале 2%. но тут 20%

я бы ожидал не более 5% целиком от этой программы, в идеале 2%. но тут 20%

Дак на 3% реализуйте вставку с тротлингом.

Нет

ok, давайте так, я ожидал что go будет быстрее nodejs, а он прилично медленее на данном примере у меня. я не понимаю почему - может я что-то не так, или у меня завышенные ожидания к го были?

А не должен быть

А был уже вопрос сколько сообщений в секунду обрабатывает программа при 2% CPU?

Ваша задача должна в базу упираться

А был уже вопрос сколько сообщений в секунду обрабатывает программа при 2% CPU?

я и это писал: 10-20 в секунду

Ваша задача должна в базу упираться

во-вот, у меня упора в базу даже близко нет. так как аналогичное не на go легко переваривает прилично больший поток.

Значит, что-то не так вы написали

я выше показал примитивный код + прислал профиль. подскажите что именно.

Если уж совсем надо - кладите на гитхаб, я гляну вечером

во-вот, у меня упора в базу даже близко нет. так как аналогичное не на go легко переваривает прилично больший поток.

Message -> &Messsage

удачи

(везде замените, а не в одном месте)

чет я вангую что это поможет

Если уж совсем надо - кладите на гитхаб, я гляну вечером

код для rethink: https://gist.github.com/inv2004/0a9f256e41124dcc4fa86d238f8a2138

чет я вангую что это поможет

я уже убрал Message и заменил на map[string]

в канал тоже &map[string] класть? хотя врядли

попробуйте с &Message

Мап можно без указателя класть

опять же - я переписал это всё без промежуточного буфера (но тогда с монгой) - и всё было так же печально

попробуйте с &Message

и без вставки в базу

но вообще я чет сижу и думаю

и без вставки в базу

ну я конечно понимаю что можно ещё и хтение убрать из ws :)

вы паритесь, расслабьтесь

но в целом всё так: mongo (оффициальный) - 100% cpu mgo - 75% rethink - 20%

вы паритесь, расслабьтесь

?

почему вы загружаете себя проблемой 2% CPU?

почему вы загружаете себя проблемой 2% CPU?

2% если не вставлять в базу! но это много для простого чтения json. потому что в идеале бы в 2% уложить вообще всё.

раз у вас нет бюджета на чтение json, то может не читать его?

я имею ввиду, у вас там кто-то умрет от лишних 2% CPU?

в чем ценность оптимизации?

сколько денег сэкономите?

если каждая примитивная операция будет 2%, то серверов надо будет пачку вместо одного

и кстати

смотрите, никто не умрёт, кроме реализации на go, так как на nodejs это работает (более экономично по бюджету).

А какие мощща если не секрет?

А какие мощща если не секрет?

сейчас никакие - я просто гоняю это на каком-тодешёвом digitalocean для проверки.

смотрите, никто не умрёт, кроме реализации на go, так как на nodejs это работает (более экономично по бюджету).

если бюджет критичен, то зачем вы вообще потратили 2 дня бюджета на это ГОвно? ?

в общем кроме как на &Message заменить все у меня идей нет, плюс я так же не очень понял от чего вы экономите время CPU, а не свое

я думаю я лучше сэкономлю на переписывании того что я писал выше - я ожидал что go будет прилично быстрее и его можно будет внедрять дальше, но пока не оправдываются надежды, или я не заметил какой-то косяк усебя в коде.

сейчас никакие - я просто гоняю это на каком-тодешёвом digitalocean для проверки.

А node на этом сервере сколько даёт? Почему бы не использовать горутины, mgo был написан под конкьюренси. Скиньте код, пожалуйста, тогда можно уже будет посмотреть.

А node на этом сервере сколько даёт? Почему бы не использовать горутины, mgo был написан под конкьюренси. Скиньте код, пожалуйста, тогда можно уже будет посмотреть.

это флеш-моб такой в чате - не посмотрев код уже что-то посоветовать? тем более я код уже два раза скинул минимум.

Там выше есть ссылка на гитхаб

Я, правда, ночью только до нее доберусь

есть ссылка на gist для mongodb и для rethinkdb