Видимо я чего-то недопонимаю. Опишу задачу с начала. Есть сервис с доступом к нему через Api. В нем хранятся данные о товарах 5-10 тыс. Одновременно могу получить данные только по 100 товарам (limit, offset), нужно раз в пол часа обновлять эти данные в локальной базе. Есть лимиты на количество одновременных запросов к API и на количество запросов в минуту. Как проще и лучше решить данную задачу. На битриксе решил через агентов, на ларе через horizon, остался один легаси проект.

в рамках одного выполнения скрипта? память кончится

Тут уж все от тебя зависит, а не от очередей. На очередях так же можно всю память занять)

Видимо я чего-то недопонимаю. Опишу задачу с начала. Есть сервис с доступом к нему через Api. В нем хранятся данные о товарах 5-10 тыс. Одновременно могу получить данные только по 100 товарам (limit, offset), нужно раз в пол часа обновлять эти данные в локальной базе. Есть лимиты на количество одновременных запросов к API и на количество запросов в минуту. Как проще и лучше решить данную задачу. На битриксе решил через агентов, на ларе через horizon, остался один легаси проект.

с учетом ratelimit я бы делал через beantalkd.... но судя по всему тебе нужно что-то более втупую

потому любая очередь сойдет

(на beanstalkd потому что есть отложенные задачи)

в рамках одного выполнения скрипта? память кончится

память кончится если ты не будешь чистить за собой

с очередями собственно тоже самое будет

просто если воркер упадет по памяти - пересоздастся новый

Видимо я чего-то недопонимаю. Опишу задачу с начала. Есть сервис с доступом к нему через Api. В нем хранятся данные о товарах 5-10 тыс. Одновременно могу получить данные только по 100 товарам (limit, offset), нужно раз в пол часа обновлять эти данные в локальной базе. Есть лимиты на количество одновременных запросов к API и на количество запросов в минуту. Как проще и лучше решить данную задачу. На битриксе решил через агентов, на ларе через horizon, остался один легаси проект.

Мойсклад чтоли?

угу

раз в полчаса запускаешь крон, которые вытаскивает по 100 товаров пока мойсклад не вернет пустой nextHref (или как там он)

#needhelp привет! Ни у кого случайно нет скриптов на пыхе (или консольных скриптов), с помощью которых можно по любому урду проверить хоть какие-нибудь примитивные уязвимости приложения (xss, доступность dev-файлов) ? Никак не могу нагуглить что-то толковое, все либо устаревшее, либо платное

мы ниразу в ограничение запросов МоегоСклада не попадали

#needhelp привет! Ни у кого случайно нет скриптов на пыхе (или консольных скриптов), с помощью которых можно по любому урду проверить хоть какие-нибудь примитивные уязвимости приложения (xss, доступность dev-файлов) ? Никак не могу нагуглить что-то толковое, все либо устаревшее, либо платное

kali linux с кучей софта на проверку уязвимостей)

раз в полчаса запускаешь крон, которые вытаскивает по 100 товаров пока мойсклад не вернет пустой nextHref (или как там он)

100 товаров раз в пол часа? Надо то все товары раз в пол часа. Не поделитесь примером?

конечно все

скрипт отработает за 1-2 минуты

kali linux с кучей софта на проверку уязвимостей)

А не знаете - от туда можно шёл скрипты повыковыривать? Чтоб на маке запускать или обернуть в свой интерфейс? Мне надо для публичного пользования приспособить

так а чо там примерять то? с помощью guzzle шлешь запрос, получаешь пачку из 100 товаров, обновляешь себе что надо, берешь след. урл, шлешь запрос получаешь следующую сотку и т.д. пока ['meta']['nextHref'] не пустой

А не знаете - от туда можно шёл скрипты повыковыривать? Чтоб на маке запускать или обернуть в свой интерфейс? Мне надо для публичного пользования приспособить

да можно. там просто сразу предстановлено. просто можно загуглить и найти самому) и нафига скрипт на пыхе? почему не питон или что-то еще?

Ну у нас же чат по пыхе ))) просто обертка на php

Спасибо- пойду ковырять )