Доброго всем вечера! Подскажите какой-нибудь примерный код для отправки http запросов. Интересует отправка пару тысяч запросов в секунду. Делал через горутины и получилось, что на 400 запросов ушло 1.9s. Что как-то слишком медленно ( на node.js через библиотеку async у меня 1000 запросов в секунду)

Доброго всем вечера! Подскажите какой-нибудь примерный код для отправки http запросов. Интересует отправка пару тысяч запросов в секунду. Делал через горутины и получилось, что на 400 запросов ушло 1.9s. Что как-то слишком медленно ( на node.js через библиотеку async у меня 1000 запросов в секунду)

А можно код изначальный

А можно код изначальный

https://pastebin.com/vqetAPHd

Привет! Подскажите, какие объекты в го хранятся в стеке, а какие в куче? я так понял в куче - глобальные переменные, ссылочные типы(каналы, слайсы, мапы, функции), сами указатели. А всё остальное(локальные переменные, аргументы функции, ...) - на стеке

https://github.com/goreleaser/goreleaser

спасибо, это сработало. Но всё же хотелось иметь возможность собирать пакеты обычными средствами dpkg-buildpackage и dh-golang может кому попадалась статья на эту тему или хоть какая то документация - буду очень признателен

Привет! Подскажите, какие объекты в го хранятся в стеке, а какие в куче? я так понял в куче - глобальные переменные, ссылочные типы(каналы, слайсы, мапы, функции), сами указатели. А всё остальное(локальные переменные, аргументы функции, ...) - на стеке

https://medium.com/@edwardpie/understanding-the-memory-model-of-golang-part-1-9814f95621b4 https://medium.com/@edwardpie/understanding-the-memory-model-of-golang-part-2-972fe74372ba

https://pastebin.com/vqetAPHd

А если замерить время выполнения самих запросов

Можно ещё раскинуть цикл for на несколько горутин

Допустим 200 запросов разбить по 50 на 4 горутины

Хотя, не то

Я тупой соре

Вот с ним интересно

Каждый запрос возвращает время близкое к первому старт

Ощущение, что обрабатываются запросы последовательно, а не конкурентно

О замере внутри ф-ии

на 200 запросов ушло 1,37 секунд

на 200 запросов ушло 1,37 секунд

Ну я 2К запросов делал, еще клиент: t := http.DefaultTransport.(*http.Transport).Clone() t.MaxIdleConns = 200 t.MaxConnsPerHost = 200 t.MaxIdleConnsPerHost = 200 return &http.Client{ Timeout: 10 * time.Second, Transport: t, }

Но это мало что дало. Вообще, я не умею готовить клиент. Кроме того, что на дефолтном не стоит делать запросы ничего особо о нем не знаю. Как-то он мне никогда не нужен был

Я кстати увидел нихеровый прирост на fasthttp клиенте. Очень удивился и проверил ответ. А там приходит редирект на https. И пустой body 🤣 Я так понял, что net/http клиент переходит по редиректу автоматически.

0.31 elapsed with response length: 0 http://requestbin.net/ip HTTP/1.1 301 Moved Permanently Server: cloudflare Date: Sun, 06 Feb 2022 21:24:46 GMT Content-Length: 0 ...

Зато 2K запросов за 0.3сек

у меня после нескольких запусков результат 0,87 секунд

у меня после нескольких запусков результат 0,87 секунд

200 запросов?

да

сначала 3 с

потом 1,5

потом 0,87

А внутреннее время растет?

Какая-то херня с клиентом, или я чего-то не понимаю

Он как-будто синхронно данные получает

Когда body пустой, все очень быстро отрабатывает, конкурентно, при том что body 15 байт, а хедеров на 600 байт.

Я кстати увидел нихеровый прирост на fasthttp клиенте. Очень удивился и проверил ответ. А там приходит редирект на https. И пустой body 🤣 Я так понял, что net/http клиент переходит по редиректу автоматически.

фастхттп клиент быстрее реально. в 40к рпс на обычном упирался, не упираясь в проц и 100к+ рпс уже с упором в проц было

притом обычный еще и запросы фейлил

фастхттп клиент быстрее реально. в 40к рпс на обычном упирался, не упираясь в проц и 100к+ рпс уже с упором в проц было

Но на данной задаче прироста нет, если на https стучаться

ну для сложных задач прироста нет в целом, а вот для апишек есть

ну для сложных задач прироста нет в целом, а вот для апишек есть

Там ip адрес возвращается, прирост должен быть по идее

ну для сложных задач прироста нет в целом, а вот для апишек есть

Ладно, фиг с ним. А что с клиентом вообще? Либо это баг в го, либо я туплю и чего-то не понимаю

https://pastebin.com/vqetAPHd

ну тут дефолтный клиент, который помойму 2 соединения на хост держит. то есть по факту 2 одновременных запроса, а с нодой ничего неизвестно

func doRequest(url string, ch chan<- string) { start := time.Now() req := fasthttp.AcquireRequest() req.SetRequestURI(url) resp := fasthttp.AcquireResponse() client := &fasthttp.Client{} if err := client.Do(req, resp); err != nil { fmt.Println(err) } secs := time.Since(start).Seconds() body := string(resp.Body()) ch <- fmt.Sprintf("%.2f elapsed with response length: %d %s", secs, len(body), url) }

у меня почему-то при увеличении числа запросов (я просто везде 200 заменил на 1000) начинает nil pointer exception кидать

почему

почему

В его коде нет проверок на ошибки

В его коде нет проверок на ошибки

а

ясно

ваш код тоже кидает мне exception

может это винда?

Что за ексепшн?

package main import ( "fmt" "time" "github.com/valyala/fasthttp" ) func MakeRequest(url string, ch chan<- string) { start := time.Now() req := fasthttp.AcquireRequest() req.SetRequestURI(url) resp := fasthttp.AcquireResponse() client := &fasthttp.Client{} if err := client.Do(req, resp); err != nil { fmt.Println(err) } secs := time.Since(start).Seconds() body := string(resp.Body()) ch <- fmt.Sprintf("%.2f elapsed with response length: %d %s", secs, len(body), url) } func MakeReq(ch chan string) { for i := 0; i <= 1000; i++ { go MakeRequest("http://requestbin.net/ip", ch) } } func main() { start := time.Now() ch := make(chan string, 1000) for i := 0; i <= 1000; i++ { fmt.Println(<-ch) } fmt.Printf("%.2fs elapsed\n", time.Since(start).Seconds()) }

куча ошибок

и в конце deadlock

func doRequest(url string, ch chan<- string) { start := time.Now() req := fasthttp.AcquireRequest() req.SetRequestURI(url) resp := fasthttp.AcquireResponse() client := &fasthttp.Client{} if err := client.Do(req, resp); err != nil { fmt.Println(err) } secs := time.Since(start).Seconds() body := string(resp.Body()) ch <- fmt.Sprintf("%.2f elapsed with response length: %d %s", secs, len(body), url) }

DoRedirects надо

DoRedirects надо

Это в клиенте настраивается? Не смотрел доку по нему, если честно

Ну да я прямо на https тестил

Не, вместо Do DoRedirects. я не помню уже всех нюансов

Что за ексепшн?

это было из-за ограничения размера канала

там еще странно, что есть DoTimeout и DoRedirects

и я уже не помню как совмещал

а что если в конце не закрыть канал? у меня будет вечно выделена память, или в конце его сборщик мусора всё равно почистит?

Короче, расходимся

там сервер не выдерживает?

У меня go ровно столько же отрабатывает запросов

Как и wrk

а да, там все-таки таймауты можно в клиенте настроить

А я уже начал на него грешить

короче очень странная тема. притом что есть не только DoTimeout, но и DoDeadline

искренне бы хотелось спросить автора почему так

искренне бы хотелось спросить автора почему так

Валялкина?

не знаю, может до этого не он сам дошел

там основной мейнтейнер как понял другой чел достаточно давно уже

Привет всем! Подскажите, как можно в Chi передать несколько key в роутер? В fasthttp это делается через /:value1/:value2, а вот в Chi надо использовать метод context.WithValue и я что-то не нашла, как передать этому методу более одного ключа и соответствующего ему интерфейса

вот например я хочу передать не только email, но и password router.Route("/delete_acc/{email}/{delete}", func(router chi.Router) { router.Use(PostCtx) router.Get("/", DeleteAccount) })

func PostCtx(next http.Handler) http.Handler { return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { ctx := context.WithValue(r.Context(), "email", chi.URLParam(r, "email")) next.ServeHTTP(w, r.WithContext(ctx)) }) }

Вроде в примерах все есть...

Или речь о том, как впихнуть в контекст несколько значений?

В контекст несколько значений

В контекст несколько значений

Как вариант - передать структуру, в которой будет несколько полей

Или так: ctx := context.WithValue(context.Background(), "1", "one") ctx = context.WithValue(ctx, "2", "two") fmt.Println(ctx.Value("1")) fmt.Println(ctx.Value("2"))

поняла, спасибо большое!