я знаю только вариант при котором можно после каждой обработанной задачи трекать стэйт очереди

и просто демона можно запустить, который будет трекать

и если там пусто - можно закинуть ивент "обработай собранное"

блин, я сйечас проверю...я вроде такое делал

и если там пусто - можно закинуть ивент "обработай собранное"

я думаю, только так можно глянул свои наработки - у меня была редиска в качестве промежуточного хранилища

Если задачи в очереди от первого заброса не успели обработаться, когда начался следующий, такое событие не сработает

тоже верно - при большой нагрузке ивент на обработку не улетит никогда

можно использовать что-то типа промежуточного стейта и если воркеры распарсили 5 задач - тогда кидать мессадж на запуск анализа но для этого нужно иметь один шлюз, который получает задачи на парсинг и раскидывает по воркерам каким-либо образом

можно использовать что-то типа промежуточного стейта и если воркеры распарсили 5 задач - тогда кидать мессадж на запуск анализа но для этого нужно иметь один шлюз, который получает задачи на парсинг и раскидывает по воркерам каким-либо образом

в идеале наверное ты хочешь что-то типа "запаблишил 10 ивентов", ждем пока все завершится, обрабатываем результат. Ну то есть... консюмеры ж должны результат записать куда.

самый простой вариант - при добавлении задачи инткрементировать счётчик с уникальным id, по завершению декрементировать, и раз в минуту проверять, если счётчик обнулился

так что в целом если консюмер знает что для этого потока задач у нас 10 сообщений и мы записали 10 результатов - можно жахнуть новую задачу - обработать все

самый простой вариант - при добавлении задачи инткрементировать счётчик с уникальным id, по завершению декрементировать, и раз в минуту проверять, если счётчик обнулился

можно даже без декремента

и без хранилища - просто сделать что-то типа метаинформации задачи

{ job: {...} jobId: 1, totalJobsForTask: 132 }

и трекать на стороне консюмера

т.е. использование хранилища под стэйт пакета задач годная идея

т.е. использование хранилища под стэйт пакета задач годная идея

ммм.... если мы друг друга поняли конечно)

Еще вопрос: надо ли запускаемые работы в очередь предварительно сохранять в БД? С целью, например, возврата результата или принятия решения о выполненности какой-нибудь работы...

здесь я спрашивал именно про это

но ты записываешь не сами ж задачи а что-то что позволяет их трекать

само собой. Самими задачи рулит кролик

т.е. храню метаинфомрацию о запускаемом пакете

просто мало ли, может есть гуру кролика, которые решали примерно такой кэйс

Всем приветы. Ребят, есть кто с друпалом и битриксом разбирается? Есть несколько ТЗ. Кто хочет заработать, пишите в личку.

Вопрос, а в symfony каким образом осуществляется доступ к DIC (в контроллере доступен, видел) ???

Вопрос, а в symfony каким образом осуществляется доступ к DIC (в контроллере доступен, видел) ???

Ты через конфиги описываешь сервис и говроришь что ему нужно как зависимость, а в самом сервисе описываешь конструктор.

Т.е. не существует возможности где-то принудительно разрешить зависимость в коде, вызвав как-то DIC?

Нету, насколько я знаю, это внесет путаницу

Т.е. не существует возможности где-то принудительно разрешить зависимость в коде, вызвав как-то DIC?

Это вообще очень плохая практика

кто как дебажит запросы со сторонних сервисов? К примеру, тот же телеграм. Он шлет запрос на указанный метод, где и обрабатывается. Так вот, как протестировать работу этого метода? Логи? Сохранить входящий запрос и отправить постменом? Или есть более удобный способ?

Ну да. Тестить ручками, или настроить дефолтный ремоут

Можно использовать ngrok, запрос пробрасывать на локальную машину, затем xdebug https://ngrok.com/

как пробросить запрос?

Скачиваешь ngrok, запускаешь в cli ngrok http 80 Получешь такого вида ссылку https://92832de0.ngrok.io

https://ngrok.com/docs

nkrok использовал уже, чтобы сделать локальный сервер доступным для тех же сервисов. Не знаю пока как пробросить запрос и настроить дебагер в таком случае. Почитаю доки

кто как дебажит запросы со сторонних сервисов? К примеру, тот же телеграм. Он шлет запрос на указанный метод, где и обрабатывается. Так вот, как протестировать работу этого метода? Логи? Сохранить входящий запрос и отправить постменом? Или есть более удобный способ?

можно nginx добавлять нужные заголовки к запрсосу

или тебе обязательно на локалке держать надо всё?

не то, чтобы надо, но удобнее, нет?

уважаемые, подскажите пожалуйста в email вставляют картинки через src, картинки к сожалению имеют русские буквы в названии и как результат для клиентов gmail картинки не отображаются, но нормально выглядят в yandex и mail.ru почтах сам email Content-Type: text/plain; charset="utf-8", Content-Transfer-Encoding: 8bit как правильно писать src, чтобы и в gmail отображались фото?

уважаемые, подскажите пожалуйста в email вставляют картинки через src, картинки к сожалению имеют русские буквы в названии и как результат для клиентов gmail картинки не отображаются, но нормально выглядят в yandex и mail.ru почтах сам email Content-Type: text/plain; charset="utf-8", Content-Transfer-Encoding: 8bit как правильно писать src, чтобы и в gmail отображались фото?

url_encode пробовал?

пробывал, есть подозрения, что после него ещё один urlencode происходит уже на smtp сервере и знаки % ещё раз кодируются

и без тоже пробывал

Из письма обратно адрес декодируется до точного?

А транслитировать путь до картинки?

вставляю в письмо ASD_русский.jpg в yandex почте получаю NT1015_%25D1%2581%25D0.jpg

командой поправить названия существующих и поправить метод, который генерит эти названия? Если уж ничего не помогает

может все же urlencode воспользоваться, как это полагается по стандарту?

и как вообще можно "вставлять картинки" в plain/text?

не туда глянул, не plain/text, a text/html

Решил проблему, я вставлял протоколо независимые ссылки, как добавил протокол, так всё ок стало Всем спасибо за советы)

Подскажите плиз, --set-upsteam работает на каждой ветке по разному или это глобальная настройка? могу ли для каждой ветки настроить удаленную ветку?

для каждой ветки отдельно

но нужно сначала несколько ремоутов под разными именами добавить

Не подскажите, где брать бесплатно списки прокси, желательно по СНГ...

Не подскажите, где брать бесплатно списки прокси, желательно по СНГ...

И чтоб не банили...

И чтоб не банили...

Не понял это к чему...

К тому, что их же банят напостой. Прокси бесплатные, о них же говорим?

Много времени уходит на то, чтоб чекнуть работоспособность каждого необходимого прокси. Если большое количество нужно будет разных использовать, то проще уже заплатить и поберечь себе нервы

Я КиноПоиск плюс парсю, может кто подсказать хитрости обхода блокировки, заголовки так же как у браузера, задержка 5 секунд, все равно капчу выдает

Попробуй goutte+domcrawler

Не поверишь, сам сейчас сижу в этим трахаюсь

Точнее закончил с парсингом ещё вчера, но проект на этом не окончен)

Crawler, нужно достать следующий элемент от найденного, не понял как сделать(пока что взял родителя, вытащил весь текст и регулярной достал нужное?)

filterXPath('//элемент')?

Впрочем, я понял, почему родителя и что ты так же и делал походу

Всем привет. Мысль вслух: из-за того что в Yii2 DIC доступен повсеместно, существует большой соблазн превратить его в еще и в фабрику ???

ERROR: S client not available

Если вы уже активно используете DIC в юии то должны уже наверное понимать где его можно вызывать, а где не стоит

Не подскажите, где брать бесплатно списки прокси, желательно по СНГ...

https://github.com/mattes/rotating-proxy как вариант

Если вы уже активно используете DIC в юии то должны уже наверное понимать где его можно вызывать, а где не стоит

что значит "вызывать"?

Всем привет. Мысль вслух: из-за того что в Yii2 DIC доступен повсеместно, существует большой соблазн превратить его в еще и в фабрику ???

раскрой мысль, что значит "доступен повсеместно" и что значит "превратить в фабрику"? Это и так набор фабрик, и его не надо вызывать или доступ к нему иметь - он делает зависимости сам.

Под повсеместностью имею в виде вызов в любой точке приложения Yii::$ontainer->get(...). Тогда появляется соблазн навесить обязанность по созданию экземляров классов

Из вчерашнего вопроса, я так понял такой возможности в симфони нет

Ты руками, с контейнером работать не должен.

что значит "вызывать"?

Yii::app()->container->get("*interface*") или как там пишется не знаю, имел ввиду использовать его в клиентском коде

Yii::app()->container->get("*interface*") или как там пишется не знаю, имел ввиду использовать его в клиентском коде

именно

Ты руками, с контейнером работать не должен.

я вас и "процитировал" :)

Из вчерашнего вопроса, я так понял такой возможности в симфони нет

можно заинджектить контейнер. Но вообще "глобальный доступ" это не очень хорошо

есть исключения, но надо смотреть на связанность

Еще вопрос, из документации симфони по EventDispatcher не углядел в каком месте происходит привязка слушателей к событиям. DIC?

Еще вопрос, из документации симфони по EventDispatcher не углядел в каком месте происходит привязка слушателей к событиям. DIC?

в конфиге указываешь ивент и метод листнера, там все просто

ну это если использовать symfony di

если юзаешь голый — дергаешь EventDIspatcher::addListener, передаешь туда ивент, callable и готово

сорь, промазал

Еще вопрос, из документации симфони по EventDispatcher не углядел в каком месте происходит привязка слушателей к событиям. DIC?

при компиляции контейнера

то есть до старта приложения

не помню точно по поводу сабскрайберов - может быть они уже при инициализации отрабатывают... никогда не интересовался если честно

ок, спасибо

не помню точно по поводу сабскрайберов - может быть они уже при инициализации отрабатывают... никогда не интересовался если честно

Там compiler pass был, который вызывал addListener. Был по крайней мере, не знаю как сейчас

Кто может подсказать по поводу исключений. Когда пишешь например какую то либу и т.п, которые будут использоваться другими людьми, нужно вываливать исключения и самому же их ловить? Или ловить уже должен тот кто либу будет использовать? Или не важно?

Это смотря что ты за исключение выкидываешь. Можно и так и так делать. Главное понимать логику работы. Вот например, твоя либа не может работать без каких либо настроек PHP. То тогда ты выкидываешь исключение которое должны обработать выше. Но ты также внутри своей либы можешь выкидывать и обрабатывать исключения если они тебе нужны.

Парни, объясните шлангу, как из функции вернуть массив? Именно вернуть, а не вывести на экран. С процедурным подходом проблем не испытываю, а вот на ооп не могу переехать.

return array(); ?

))))

return []; тогда уж

То есть, если у меня есть массив $example=array(1,2,3); То верну я его return $example (); ?

return $example;

без скобочек

$example=[1,2,3];