Предполагая, что ты какой-то невезуий парень, кинутый на дерьмовый проект, могу предположить что ищешь ты это https://dev.mysql.com/doc/refman/8.0/en/string-comparison-functions.html

Вариант такой себе. По производительности. Но времени у тебя, конечно же нет и нормализацией заниматься тебе никто не даст.

Всем общий привет!

Господа программисты, имею весьма деликатный вопрос, по поводу фрэма YII2. Чтение и обращение к таблицам БД там происходит из коробки, или нет?

На официальном сайте пока не нашел соответствующей инфы

Да, с минимальной настройкой.

Задать бд, задать модели для таблиц.

https://www.yiiframework.com/doc/guide/2.0/en/start-databases

Вот, пруф пришел! Чудно, мерси-мерси!

То есть совершенно не важно на чем многопоточность реализовывать? А то некоторые имеют мнение, что курл для многопоточных задач не подходит, мол глючный, а сокеты лучше

Не юзай многопоточный curl. Сделай простую очередь на листах redis’овских и чтобы воркеры дергали по одному и выполняли. А что касается висящих TCP соединений, то возможно ты просто уперся в лимиты ОС по кол-ву открытых коннектов и они ждут своей очереди (из-за этого же проблемы с аплинком) - это легко фиксится.

Не юзай многопоточный curl. Сделай простую очередь на листах redis’овских и чтобы воркеры дергали по одному и выполняли. А что касается висящих TCP соединений, то возможно ты просто уперся в лимиты ОС по кол-ву открытых коннектов и они ждут своей очереди (из-за этого же проблемы с аплинком) - это легко фиксится.

Обоснуй

редис и очереди отличное решение - мир сошел с ума

Обоснуй

Могу ошибаться, но в случае мульти-курл если хотя бы один из урлов «подвиснет», то все остальные ответы будут ждать его до тех пор, пока он не отвалится по таймауту. И только после этого можно будет закрыть соотв. хэндлеры и приступить к обработке контента. Т.е. быстрее будет обрабатывать по одному урлу параллельно воркерами.

редис и очереди отличное решение - мир сошел с ума

Никто не говорил что редис отлично подходит для очередей. Но быстро настроить и сделать просто чтобы работало - без проблем. А топик-стартеру именно это и нужно. Хотя у него урлы в базе - уже считай готовая «очередь». Хотя если более функциональная и при этом простая очередь нужна на одном серваке, то я взял бы beanstalkd.

Не, остальные получишь и можешь новых докинуть. В этом и прелесть мультиплексирования, пока один спит, другие работают

А как это в коде выглядит? Я не видел, чтобы какие-то колбэки можно было передавать на обработку? Или все же можно?

Я отталкиваюсь от примеров на php.net - там последовательная простыня кода просто. Возможно не знаю каких-то нюансов работы с multicurl.

Я просто отталкиваюсь от того, что когда-то была похожая задача и от мультикурла в пользу воркеров отказался именно по этой причине.

На пхп в примерах примитив, конечно. Как-то так https://github.com/miksir/multicurlcrawler/blob/master/CurlCollection.php#L96 Хотя сейчас я, конечно, брал бы что-то готовое асинхронное работающее с select/epoll

Посмотрел, понял. Спасибо. Главное чтобы обработка контента не занимала много времени (либо происходила асинхронно) тк в противном случае read-loop все же будет блокироваться. Еще раз спасибо!

Никто не говорил что редис отлично подходит для очередей. Но быстро настроить и сделать просто чтобы работало - без проблем. А топик-стартеру именно это и нужно. Хотя у него урлы в базе - уже считай готовая «очередь». Хотя если более функциональная и при этом простая очередь нужна на одном серваке, то я взял бы beanstalkd.

не нужно добавлять редис для очередей, потому что: * очереди отлично реализуются в РСУБД которая уже существует * есть проекты которые специализируются на очередях (rabbitMQ, 0mq, ...) * БЫСТРО и ПРОСТО в данном случае иллюзия, требуется время на обучение, введение в эксплатацию, мониторинг и тд и тп. не хорошо давать "вредные советы", потому что кто-то не понимая всех нюансов начнет по ним реально делать.

Не, остальные получишь и можешь новых докинуть. В этом и прелесть мультиплексирования, пока один спит, другие работают

Прелесть "мультиплексирования"... Ты точно терминами не ошибся?

Точно

Хотя в современной “школе” именно этот термин почти не слышу, да.

Хотя в современной “школе” именно этот термин почти не слышу, да.

Просто этот термин больше относится к физическому уплотнению канала. Несущая и поднесущие.

Ну тут идея та же, ты как бы один процесс “канал” делишь на насколько коннектов “потоков” методом временного мультиплексирования

Просто этот термин больше относится к физическому уплотнению канала. Несущая и поднесущие.

не, это теримн универсальный

не, это теримн универсальный

Ну у меня инженерное образование и я изучал и сталкивался больше с частотно-временным(сотовая связь)

проф деформация это нормально, хехе

Ты же прекрасно понял что имеется в виду, значит и термин подходит )

не нужно добавлять редис для очередей, потому что: * очереди отлично реализуются в РСУБД которая уже существует * есть проекты которые специализируются на очередях (rabbitMQ, 0mq, ...) * БЫСТРО и ПРОСТО в данном случае иллюзия, требуется время на обучение, введение в эксплатацию, мониторинг и тд и тп. не хорошо давать "вредные советы", потому что кто-то не понимая всех нюансов начнет по ним реально делать.

А для постгреса какая хорошая штука для очередей?

А для постгреса какая хорошая штука для очередей?

select for update

Это блокирующая операция?

не нужно добавлять редис для очередей, потому что: * очереди отлично реализуются в РСУБД которая уже существует * есть проекты которые специализируются на очередях (rabbitMQ, 0mq, ...) * БЫСТРО и ПРОСТО в данном случае иллюзия, требуется время на обучение, введение в эксплатацию, мониторинг и тд и тп. не хорошо давать "вредные советы", потому что кто-то не понимая всех нюансов начнет по ним реально делать.

Почти всегда существует несколько вариантов решения проблемы и если знать их всех, то будет из чего выбрать, исходя из обстоятельств. Вредным свой совет не считаю. В плане «сложности» возможно да, если со «стеком» не знаком. Пис!

Это блокирующая операция?

FOR UPDATE FOR UPDATE causes the rows retrieved by the SELECT statement to be locked as though for update. This prevents them from being locked, modified or deleted by other transactions until the current transaction ends. That is, other transactions that attempt UPDATE, DELETE, SELECT FOR UPDATE, SELECT FOR NO KEY UPDATE, SELECT FOR SHARE or SELECT FOR KEY SHARE of these rows will be blocked until the current transaction ends; conversely, SELECT FOR UPDATE will wait for a concurrent transaction that has run any of those commands on the same row, and will then lock and return the updated row (or no row, if the row was deleted). Within a REPEATABLE READ or SERIALIZABLE transaction, however, an error will be thrown if a row to be locked has changed since the transaction started.

это из доки mysql, уверен что в pg тоже самое

Не, я имею в виду если в таблице нет записей то что произойдет? селект сразу вернет пустоту?

Насколько я знаю да, но так нельзя делать очереди, это очень плохо

Если юзать базу для очереди, то ее в любом случае придется постоянно дергать на предмет наличия новых тасков.

Редис точно также

Нет, редис кокрастыке работает именно так как нужно для очереди, он блокирует селект пока в списке не появятся новые записи.

Это очень эффективно по ресурсам, и мгновенно доставляет таску до воркера

Как это сделать?

Не, я имею в виду если в таблице нет записей то что произойдет? селект сразу вернет пустоту?

да

Это очень эффективно по ресурсам, и мгновенно доставляет таску до воркера

это почему? у тебя есть loop в демоне который засыпает в случае если нет задач

А когда он просыпается? Каждую секунду?

А когда он просыпается? Каждую секунду?

как укажешь

очередь без кролика как обед без еды ?

очередь без кролика как обед без еды ?

не люблю крольчатину, но rabbitmq хорош

как укажешь

Не не это все кривые костыли. Я хочу чтобы как только задача упадет в хранилище, она в ту же миллисекунду была отправлена в воркер. Никаких засыпаний.

редис так может, postgres нет

Нет, редис кокрастыке работает именно так как нужно для очереди, он блокирует селект пока в списке не появятся новые записи.

Есть 2 варианта имхо. Первый - воркеры постоянно дрочат какой-нибудь lpop или чтл-то более сложное в транзакции. Второй - воркеры подписаны на pub/sub, но это полная шляпа, тк надо обыгрывать неполучение pub’а.

редис так может, postgres нет

Напиши плиз как. Я просто не в курсе - интересно.

Не не это все кривые костыли. Я хочу чтобы как только задача упадет в хранилище, она в ту же миллисекунду была отправлена в воркер. Никаких засыпаний.

да ясень пень очередь в РСУБД костыль, но до определенного уровня - вполне сойдет.

У меня этот уровень где-то в самом начале, ходить в базу каждые полсекунды и спрашивать не пришло ли задач это отвратительно

Напиши плиз как. Я просто не в курсе - интересно.

https://redis.io/commands/blpop

Но неужели умельцы не написали для потсгреса блокирующие очереди с транзакциями? Думаю все же есть

С другой стороны, те кому нужны блокирующие вызовы, в итоге все равно уйдет на кролика т.к. там куча других нужных фич

У постгреса есть нотификации

У меня этот уровень где-то в самом начале, ходить в базу каждые полсекунды и спрашивать не пришло ли задач это отвратительно

ради 50 задач в день поднимать +1 сервис очередей не всегда целесобразно

ой да ладно редис поднять это 5 минут

И туда же можно сложить кеш и все такое :)

кролика тоже ?

https://redis.io/commands/blpop

Спасибо! Видимо я застрял где-то в функционале первых версий.

ERROR: S client not available

кролика тоже ?

ну ему там роутинг надо настраивать

а вот про subscription в потсгресе я читал, все хотел попробовать но так и забил

Но вроде это тоже не подходит для очередй

Так как если подписку никто не слушает, то сообщение пропадет навсегда.

Так сообщения в таблицу а нотификации на новые инсерты

с роутингом в кролике все примитивно, особо если для примитивных целей там ничего особо настраивать не нужно

История не по теме) Стою я значит в Мфц(гос фигня документы оформляющая почти все которые есть в РФ). И у операционистов стоит mac2017 21.5. А у администратора 27. Притом наклеек номерок ревизионный с цифрами порядка 1500+

ой да ладно редис поднять это 5 минут

а потом у тебя в проекте: mysql, postgresql, mongodb, redis, rabbitmq, elasticsearch, casandra, clickhouse, vetrtica... потом "подниматель" увольняется минут через 15 и пипец

История не по теме) Стою я значит в Мфц(гос фигня документы оформляющая почти все которые есть в РФ). И у операционистов стоит mac2017 21.5. А у администратора 27. Притом наклеек номерок ревизионный с цифрами порядка 1500+

насколько я слышал там винда. а так - хорошо, что люди работают в хороших условиях.

Слушайте, а чем отличается менеджер от сервиса?

насколько я слышал там винда. а так - хорошо, что люди работают в хороших условиях.

Рассказывал приятель про эти условия. Маки с виндой ибо распилы, зарплата админа 20к.

Слушайте, а чем отличается менеджер от сервиса?

Диспетчер и исполнитель? Или в каком контексте?

Manager vs service

В контексте сервисов вставляемых в контейнер

Антон будет жить. Поприветствуем!

Ребят, каким образом работают хостинги ? Что у них такого особеного, что я просто так не могу запустить у себя сервак и выложить сайт в интернет ?

Огонь вопрос.

Ну в принципе можешь.

Если айпишник выделенный есть

Если есть статический айпи.

Но!

Работоспособность 24/7.

Отказоустойчивость(RAID хотя бы)

Топология(у тебя один линк, у датацентра 100500)

т.е. мне у провайдера выпросить ип и могу через свой сервак грузить сайты ?

Ну да. Так все петпроджекты и серверы личные хостят.

Грузи:)

У друга так сквид и файлопомойка висит.

Сенкс фор ол :)

А зачем личное-то?

интересно было, за что платят деньги