Но логика то от этого не стала мультизадачной. Мне тут внутри надо будет делать Task.start_link для каждого url?

Я задачу не до конца объяснил.. у меня есть список url 40 тысяч штук

мне надо на каждый зайти и забрать инфу, желательно делать или все разом, или по 100-1000 штук разом

И каждый раз, при ошибке получения данных, он начнет все заново.. как-то жестоко)))

Пул делай

И обработку ошибок

У меня уже есть готовый парсер без использования OTP. Если валился один из запросов - он не валил все остальные.

Проблема только с запуском

Я компилю код и выполняю его внутри iex -S mix

Можно делать и mix run, но тогда нереально сделать билд exrm

он требует наличие application

Поэтому я и спросил у вас как сделать через application, но грохать его по окончанию работы. Попробую запустить много Task и собирать из них данные

Много одинаковых генсерверов

Посмотри статью мою

На хабре

https://habrahabr.ru/post/306500/

ок, спс.. еще я глянул на poolboy

похоже на то, что мне может пригодиться

хотя сомневаюсь.. ведь HTTPoison и так его юзает и не даст выполнить запросов больше положенного

Значит поизон можно законыигурировать на величину пула

У него есть асинхронные методы

Пишешь сервер который получает от поизона каст и пишет в екто

Потому что екто тоже использует пулбой

Для обращения к базе

мне надо больше практики))) прочитано уже много, но по факту ничего толкового написать не получается.

Хорошо хоть вот работадатель не жалутся, что уже второй парсер пишу на эликсире

Фишка крутых библиотек в том, что они автоматически работают с максимальной производительностью и конкурентномтью

https://habrahabr.ru/post/306500/

всем привет. у меня вопрос по поводу common way в эликсире. в самом первом примере кода модуля Chat.Server мы объявляем шесть методов - три из них API, еще три - колбеки генсервера. как я понял - это common way в эликсире хранить имплементацию и API в одном модуле. но с другой стороны получается, что у нас наружу торчат колбеки и их кто угодно может дергать. можно ли как-то сделать их невидимыми для внешнего мира? как я понимаю, defp тут не прокатит, так как behavior требует, чтобы колбеки были публичными.

В чем проблема видимости?

Ты все равно можешь послать любое сообщение в любой пид

Тем более, что если ты сам дёрнешь колбэк, то эта функция выполнится в твоём процессе, а не в процессе генсервера

Потому что это чистая функция

ок, я понимаю

но просто зачем показывать наружу то, что нужно только генсерверу

В ООП нужна иркапсуляция чтобы не поломать state

А тут нету state

ну смотри

тогда зачем в эликсире defp?

например ты пишешь функцию sum(list)

для нее ты делаешь вспомогательную defp _sum(list, acc)

тут имеет смысл использовать инкапсуляцию, так?

потому что внешнему миру не нужно знать о _sum

Если наиболее просто - то для того чтобы скрывать вспомогательные рекурсивное функции

то же самое и тут

только генсерверу нужно знать о колбеках

внешнему миру даже не нужно знать, что там под капотом GenServer

В принципе да

мой вопрос - можно ли как-нибудь спрятать эти колбеки от внешнего мира, но оставить их для GenServer?

я думал о том, может быть можно попробовать разбить такой модуль на два: Chat.Server и Chat.ServerApi

но Chat.ServerApi тоже должен быть публичным

я только до супервизоров дошел в книжке вот мне и интересно, может кто в курсе

Во первых, если ты сам вызовешь колбэк, то он никак не повлияет на сервер потому что это чистая функция

Во вторых, так легче тестировать

давайте тогда все будем делать публичным, так?

Так тут и так все публично

я понимаю, что ты имеешь в виду, но мне это не кажется правильным

Просто чтобы в sum и _sum не путаться

с точки зрения дизайна языка - есть defp, который делает приватно

Делают так

с другой стороны, ты его не везде сможешь юзать

и вся твоя инкапсуляция - это варнинги в коментах о том, что тут у тебя сервер, а там - клиент

а что если ты в handle_cast в базу пишешь?

Да, согласен

Может быть не чистая

Но если даже твой обработчик приватный, что тебе мешает отправить на пид генсервера сообщение, которое запустит этот обработчик?

Или надо ещё и ящик инкапсулировать - от этого процесса можно сообщения принимать, а от этого нельзя?

ERROR: S client not available

Но это не поможет кстати

Надо чтобы сообщения принимались только от тех функций, которые прописаны в определённом модуле.

Но если даже твой обработчик приватный, что тебе мешает отправить на пид генсервера сообщение, которое запустит этот обработчик?

ты имеешь в виду, что если ты вместо GenServer.cast(pid, {:smth}) будешь делать send(pid, { :cast, :smth })?

или как оно там...

А если так переделать то вообще вся идея корутин полностью поменяется.

Да именно

как бы - ничего не помешает)

Вот и вся инкапсуляция

)))

Так что смысла что то скрывать нету

это если честно напоминает рефликсию в том же C#

там также есть приватные методы

Что то скрывают не от дураков а для удобства

и через рефлексию ты можешь дернуть приватный метод

также и тут

скрывают для удобства

а если руками месседж собираешь - то сам себе режиссер

прикол в том, что в C# рефлексия - это последний выбор

также и тут

почему бы не сделать handle_cast приватным?

Тут точно накосячить нельзя - после 3 минут отп ты уже не вызовешь хендлеры

если нужно прямо вызвать его - ну ок вызывай руками

но просто так ты это не сделаешь

Handle_cast нельзя сделать приватным потому что его напрямую вызывает другой поток. Напрямую - то есть не очерк другую функцию

Через+

Тут точно накосячить нельзя - после 3 минут отп ты уже не вызовешь хендлеры

не понял тебя

ну ты нигде в коде не вызываешь эти колючки

Колбэки*

в смысле handle_xxx?

Да

ну само собой я бы их никогда не стал вызывать))

с другой стороны, мы же в других языках привыкли - все, что не приватное - публичное API. и смысл обозначать публичным то, что по идее тебе не нужно трогать