нет, я об огромном количестве инстансов mutex'а

нет, я об огромном количестве инстансов mutex'а

а, это просто эксперимент. вообще, я ограничивался 256 шт

Как сложно однако бывает найти что тормозит, запускаю один процесс сервиса на сервере — ничего не работает, запускаю еще 6 штук на других портах и добавляю их в nginx как дополнительные апстримы — все прекрасно работает

Что-то у меня ощущение, что тупит либо net/http либо роутер который поверх нее работает...

а в чем проблема с поиском?

Ну на картинках из профайлера я ничего подозрительного не увидел, но вот что странно, один и тот же сервис если запущен только один процесс то почти вообще не работает, запускаю 6 инстансов на разных портах и все прекрасно.

Нагрузка на процессор при этом не меняется вообще

так не бывает

Вот у меня именно так

На одном процессе nginx сыплет таймауты, на нескольких все нормально

Что странно нагрузка на проц не меняется, так же 72% каждое из 32 ядер

То ли с сокетами хрень какая то...

Метрики nginx однозначно показывают что такое добавление процессов помогает

В общем магия какая то...

Кстати, вопрос на отвлеченную тему, кто напомнит за что тут все не любят ирис?

Кстати, вопрос на отвлеченную тему, кто напомнит за что тут все не любят ирис?

Автор мудак

А в чем это хоть выражается? А то я что то обрывочно тут читал но не запомнил.

А в чем это хоть выражается? А то я что то обрывочно тут читал но не запомнил.

Пиздит код. Либо из других либ, либо из PR и issues других, подчищая копирайты. Ещё просит донат за это. Неоднократно пытался втиснуться в AwesomeGo под разными никнеймами. Пруфов пиздежа дохуя, как и его самомнения. Такие дела.

Как инструмент - iris очень даже хороший. Но не его "автор" с таким-то отношением к нему.

Понятно.

так не бывает

У меня так с PHP-FPM было, несколько пулов вместо одного шустрее работали. Списал на то, что они коннекты плохо обрабатывают.

Надо будет попробовать все перелопатить в fasthttp, может поможет...

Надо будет попробовать все перелопатить в fasthttp, может поможет...

А какой у тебя rps?

А какой у тебя rps?

Небольшой 11к в секунду

А как картина выглядит с одним процессом? И у тебя 1 процесс nginx или твоего сервиса?

процесс сервиса

То есть я запускаю сервис в 6 инстансов на разных портах и указываю их все в апстрим nginx и все работает.

То есть я запускаю сервис в 6 инстансов на разных портах и указываю их все в апстрим nginx и все работает.

А каково пороговое значение? 2 процесса работают? А 5?

Не пробовал, надо будет их попробовать поотключать последовательно. Я просто сразу 6 для теста запустил.

То есть я запускаю сервис в 6 инстансов на разных портах и указываю их все в апстрим nginx и все работает.

Linux?

Да.

Коннекты долго живут?

tw_reuse=1 ?

Nginx -> сервис да по минуте примерно, сервис - базы данных тоже не меньше минуты, коннекты на сам nginx короткие с разных сторон.

tw_reuse=1 ?

Да.

не в тему, конечно, а чем ошибки с nginx собираются?

не в тему, конечно, а чем ошибки с nginx собираются?

Collectd tail -> graphite -> grafana

Collectd tail -> graphite -> grafana

ок, пасиб )

Collectd tail -> graphite -> grafana

Логи парсишь?

Логи парсишь?

Да.

То есть я запускаю сервис в 6 инстансов на разных портах и указываю их все в апстрим nginx и все работает.

Так, эта сервис твой? Pprof включал? В каком месте происходит блокировка - в nginx или твоем сервисе?

Так, эта сервис твой? Pprof включал? В каком месте происходит блокировка - в nginx или твоем сервисе?

По профайлингу ничего выделяющегося не нашел, где блокировка не понял но и nginx писал что connect timeout и сервис писал что таймаут при отправке ответа в nginx

Возможно что то не так с настройками nginx но я не понял что это если оно исправляется добавлением апстримов

Хотя curl на сервис с сервера с nginx тоже иногда больше секунды ответ получал а напрямую не дольше 30мс

Сервис что делает? Он в БД обращается? Там могут быть блокировки?

И вобще, может проблема викаких нибудь системных лимитах, количестве дескрипторов там.

10 k rps легко могут утилизировать 65k портов

Лимиты на дескрипторы повышены до 100к хотя он больше 10к и не использует никогда. Время ответа не превышает 100мс

И не понятно почему нагрузка на процессор не меняется при запуске нескольких копий вместо одного под тем же трафиком но работающих нормально

в dmesg тоже пусто

ну вот это точно не вопрос производительности go-кода

а вопрос какой-то иной херни

Апстрим же через сокеты, да? Сколько сокетов открывается одновременно?

а вопрос какой-то иной херни

Да, конфиг nginx на гист и с вопросом в devops_ru

И не понятно почему нагрузка на процессор не меняется при запуске нескольких копий вместо одного под тем же трафиком но работающих нормально

Потому что ты упираешься в лимиты, а не ресурсы.

Про лимиты же обычно dmesg ругается

Про лимиты же обычно dmesg ругается

В nginx можно тоже лимитов наставить. Выглядит как падение сервера от slow http connects. Которые нефига не slow, просто их много. Короче начинается гадание при помощи телепатии.

Ага, в общем буду дальше ковырять что там и где.

товарищи, сейчас от меня пойдёт куча нубских вопросов, т.к. на го я пытаюсь писать первый раз в жизни 20 минут назад ?

использую vscode и дистр го с сайта. почему линтер (?) постоянно удаляет то, что я пытаюсь написать в import ? даже не дожидаясь пока допишу

почему го заставляет меня каждый файл исходника складывать в отдельный каталог, или это я где-то накосячил?

использую vscode и дистр го с сайта. почему линтер (?) постоянно удаляет то, что я пытаюсь написать в import ? даже не дожидаясь пока допишу

потому, что этот импорт нигде не используется

заходить надо со строны использования, и ждать, что в импорты goimports все пропишет сам

ERROR: S client not available

он, кстати, обычно справляется

сцуко, вот я не очень люблю когда девтулз считает себя умнее программиста ...

неиспользуемый импорт - ошибка, и линтер ее правит. что тут неправильного?

использую vscode и дистр го с сайта. почему линтер (?) постоянно удаляет то, что я пытаюсь написать в import ? даже не дожидаясь пока допишу

вот в этой статье они пишут, что это необходимо для обеспечения максимально быстрой сборки. Это прям требование у них было при проектировании. https://talks.golang.org/2012/splash.article#TOC_1

Кто нибудь знает, может ли в стандартном http сервере быть проблема с тем, что я с работающего сервера пытаюсь отправить запрос в другой сервер? У меня есть работающая функция, которая делает http запрос Когда я выполняю ее с сервера, то у меня все падает с ошибками : 2017/01/17 13:32:03 http: panic serving [::1]:52458: Post https://www.googleapis.com/urlshortener/v1/url?key=AIzaSyA7KzXWVYmTXbRVS : stream error: stream ID 1; PROTOCOL_ERROR

при этом я в качестве аргументов к POST запросу докидываю строку вида {"longUrl" : "http://localhost:9093/getFile?ident=MqGBHSB.png"}, передаю через post, соответственно, json

И когда я запускаю отдельно эту функцию, а не с сервера, то все работает корректно

Кто нибудь знает, может ли в стандартном http сервере быть проблема с тем, что я с работающего сервера пытаюсь отправить запрос в другой сервер? У меня есть работающая функция, которая делает http запрос Когда я выполняю ее с сервера, то у меня все падает с ошибками : 2017/01/17 13:32:03 http: panic serving [::1]:52458: Post https://www.googleapis.com/urlshortener/v1/url?key=AIzaSyA7KzXWVYmTXbRVS : stream error: stream ID 1; PROTOCOL_ERROR

нет, такой проблемы нет

Тогда очень странное дело

да, но мы тут всей картины не видим, и ничем не поможем

А что за "стандартный" сервер?

IIS раньше баловался ограничениями на сетевую активность в скриптах

не, тут гошный штатный, я так понял

не, тут гошный штатный, я так понял

Да, именно так

В общем у меня какая задача - принять на сервер файл, взять ссылку и сжать ее с помощью гуглового апи Все ломается на этапе запроса к апи с вышеприведенной ошибкой Сейчас код пришлю

Это код закачивания файла http://pastebin.com/tds4py15

А это код доступа к апи, ломается на 34 строке http://pastebin.com/NpvDTaYr

И если вызывать код второго файла отдельно от сервера, то все работает нормально

Если надо, то могу прислать код сервера целиком вообще

fmt.Println(shortener.BaseURL, string(jsonParameter)) выхлопывает нормальный URL и валидный JSON?

Да, тут все окей

localhost

localhost

Не понял, что вы имеете в виду?

я не вижу контекста, но судя по всему в апи гугла отдается урл на localhost, что есть плохо

В общем у меня какая задача - принять на сервер файл, взять ссылку и сжать ее с помощью гуглового апи Все ломается на этапе запроса к апи с вышеприведенной ошибкой Сейчас код пришлю

на сервере та же версия go?

началось

на сервере та же версия go?

Сейчас у меня все на локальной машине, поэтому одна, да

при чем тут версия?

если бинарник на сервере собран чем-то старым..

зачем собирать бинарник на сервере?

что это вообще за пехапизм?