что-то типа такого

Detergentex.call(wsdl, action, ["0"])

где здеся описать?

ок, наверное я тебя не понял. У тебя бейсик auth на сервере?

да

в erlang либе я вижу возможность определения http заголовков

https://github.com/devinus/detergent/commit/1a2df7d7f3e874fb1a31853f3e4ec7c409c8a3f9

наверное можно передать из эликсира

Примерчик какой нибудь можно, ваще тупняк с этой авторизацией(

судя по https://github.com/r-icarus/detergentex/blob/master/lib/detergentex/client.ex#L15

ты можешь передать нужные части в последнем параметре

а вот тебе и пример нагуглился http://stackoverflow.com/questions/39950278/pass-oauth-header-in-soap-call-with-erlang-detergent-library

форкни себе либу и допиши на указанной строчке

ок, спасибо, буду пробовать)

тебе нужно исправить строку #15 на :detergent.call(wsdl, method_to_call, detergent_params, #call_opts{http_client_options=[{'Authorization', ТВОЙ_ПОСЧИТАНЫЙ ТОКЕН}]})

во

эликсир напрямую дергает эрланговую либу, значит ты туда можешь засунуть все что угодно. Как раз нехватает вызова опций, определенных в erl либе

токен для Basic auth - это Base.encode64

можешь кстати форкнуть, сделать передачу заголовков опциональной из конфинга и оформить пулл ревест

это как бабушку перевести через улицу 10 раз

ок, спасибо, буду пробовать)

за тебя уже все сделали, вот форк нашелся, куда хедеры уже передаются https://github.com/antoniostorni/detergentex/commit/85b9f2f1d9862e965340a07a1cc8bc411afa0ad7

Ух ты крутяк, спасибо Александр

подскажите, как измерять rps с помощью telegraf/influxdb?

мне по каждому запросу надо метрику слать или что?

сейчас так делаю, но данные не очень показываются

расходятся с wrk

мне по каждому запросу надо метрику слать или что?

Пишеш свою приблуду которая раз в 30 секунд шлет метрики пачкой, и в промежутках акумулируеш метрити

под приблудой имел ввиду GenServer

да уже написал

вроде стало норм работать

есть конечно вероятность что некоторые метрики не дойдут но тут трейдоф

почему не дойдут?

ну если в окне между теми 30 секундами процесс сдохнет

систеный процес *

зачем ему дохнуть?

сервер расплавится например

ну может быть OOM от колуичества метрик что наакумулировал :)

из-за чего паблишинг в кролика может тормозить?

из-за чего паблишинг в кролика может тормозить?

большой пэйлоад, дюрейбл очереди, потери пакетов в сети

пейлоад большой, да

большое количество элементов в очереди

да

пейлоад большой, да

ну можно gzipпануть

другое брать что-то?

ну можно так-то

я однажды передавал большие пэйлоады - зиповал, но потом оказалось что архитектура была говно у нас =)

в общем не было смысла столько данных туда сюда гонять

у меня сначала пулбой сдыхал, выкинул его

сделал пул на Registry

пулбой оказывается кривой внутри

впервые залез в него

а Registry норм

@mtreskin http://www.highload.ru/2015/abstracts/1879.html Хорошее видео про то, как готовить кролика. Мы у себя его использовали - годная, надёжная и быстрая система.

Но да, настройка и использование там сложнее, чем в кафке. Т.к. идеология и назначение другие.

@mtreskin http://www.highload.ru/2015/abstracts/1879.html Хорошее видео про то, как готовить кролика. Мы у себя его использовали - годная, надёжная и быстрая система.

про быстрая я бы не горячился

Кому-то быстрая, кому-то - нет. Нам была быстрая.

у кролика ~20000/s скорость обработки запросов -> вы в нее не упирались видимо

у кролика ~20000/s скорость обработки запросов -> вы в нее не упирались видимо

Это принципиальный предел?

Это принципиальный предел?

На одном серваке не получилось выйти выше и по тестам почитайте сравнения с Кафкой

Да я почитал

Вот думаю, на кафку или nsq идти

Мне хитрый роутинг не нужен

Nsq не юзал

ERROR: S client not available

Кафку хочу потестить на 4 млрд задач :)

Она вроде 1м в секунду способна обрабатывать и в память не упирается

Nsq может ?

Мне столько не нужно

Хз

У меня тыщ 20-30 предел

Вот думаю, на кафку или nsq идти

У нас для сбора логов щас с nsq упарываются, знаю только, что там много интересного с гарантией доставки, можно разные сообщения с разной гарантией слать

Кафка этим тоже не ограничивает никак, к слову

Есть асинхронный батч, подтверждение с мастера и подтверждение со всех реплик

про кафку хз, тут у нас на каждом железном сервере по локальному nsq, с которого дальше на nsq основного коллектора и одна из фишек в том, что где-то тут есть что-то WAL, чтобы при внезапном ребуте не потерять ничего, но это не точно, я только на митап ходил, где чуваки рассказывали, как это сделали :)

Мне хитрый роутинг не нужен

Тогда кролик точно избыточен будет.

у кролика ~20000/s скорость обработки запросов -> вы в нее не упирались видимо

Скорость зависит от конфигурации и того, как использовать. У нас стояло несколько кроликов (не в кластере) и проблем со скоростью и отказоустойчивостью не было.

горизонтально отмасштабировать можно и монго на кластер из серверов, мы про одинаковые условия

Мы на одном кроле ничего не гоняли. Отказоустойчивость была важна.

Скорость зависит от конфигурации и того, как использовать. У нас стояло несколько кроликов (не в кластере) и проблем со скоростью и отказоустойчивостью не было.

какие нагрузки на очередь и какой payload?

Очередь ни разу не переполнялась, ЕМНИП. Пейлоады небольшие, в пределах килобайта. Точные цифры только девопс помнит.

30к/сек не было

точнее, не должно было быть :)

Там несколько сотен VoIP-звонков в секунду. Каждый звонок генерит под сотню эвентов (может и больше, зависит от кол-ва приложений запущенных на ноде).

Однонодовые конфигурации системы я не беру в расчёт, там мониторинг размера очереди кролика наверное даже не настраивался

Там, на видео, человек рассказывает, как повысить throughput кролика, и вообще как его лучше использовать. Или не использовать.

Но если сложный роутинг не нужен, то кафка больше подойдёт.

или даже шторм можно попробовать)

я не говорю что кролик гавно, в большинстве случаев его хватает

когда его не хватит - станет самим понятно)

это да

Народ, как в ruby правильно преобразовать строку вида \\xD0\\xA6\\xD1\\x8B\\xD1\\x80\\xD0\\xB5\\xD0\\xBD\\xD0\\xB4\\xD0\\xB0\\xD1\\x88\\xD0\\xB8\\xD0\\xB5\\xD0\\xB2\\xD0\\xB0 \\xD0\\x94\\xD0\\xB0\\xD1\\x88\\xD0\\xB8\\xD0\\xBC\\xD0\\xB0 \\xD0\\x9C\\xD1\\x83\\xD0\\xBD\\xD0\\xBA\\xD1\\x83\\xD0\\xB5\\xD0\\xB2\\xD0\\xBD\\xD0\\xB0 в читаемые русские символы? Я знаю, что каждые 2 байта, это русская буква, но это при условии что если в консоле я напишу их через один слэш \xD0\xA6. Я уже всяко pack/unpack переюзал врубится никак не могу. Сори, что не в руби чате

Не знаю как в руби, но я бы сделал так: Почистил бы строку от слешей и иксов Разбил бы строку по 2 символа Преобразовал все это в массив байтов Конвертнул массив байтов в строку с соответствующей кодировкой

мб, есть какое-то платформеннозависимое и более быстрое решение, я не рубист и не эликсирщик

> Разбил бы строку по 2 символа нельзя так

почему?