Сейчас Макс должен начать втирать за InnoDB и транзакции

а чем оно тут поможет?

а чем оно тут поможет?

Ну смотри наимпортили ресурсов и собрали строку->id

Потом ТВшки через транзакции массово

там узкое место это загрузка картинок в один поток

Т.е. файлики киданули, он их раз в час при наличии обработал и дальше спит

Можно ещё сделать небольшое расширение для хрома. Которое на сайт донор инжектит скрипт, который запрашивает список например из 500 картинок с твоего сервера и запрашивает сам у себя, поскольку скрипт будет делать запрос от себя к себе и дальше уже отправлять на твой сервер. Тебе придётся разве что разрешить входящие запросы с сайта донора. То есть не ты будешь качать с него картинки, он будет тебе их отправлять

==Которое на сайт донор инжектит скрипт== шта?

Оу, я пропустил про катинки, ну тогда мини прогу на го, которая будет фотки в 10 потоков херачить

Про один поток кстати хорошо, а если я запущу тыщу кронов, делающих это, оно же будет в тыщу раз быстрее? Так?))

ну примерно так

==Которое на сайт донор инжектит скрипт== шта?

В чем трудности?

Или он один скрипт не запустит пока предыдущий запуск не завершилс

Про один поток кстати хорошо, а если я запущу тыщу кронов, делающих это, оно же будет в тыщу раз быстрее? Так?))

Но нужно файл предварительно разрезать на 1000 других

Или он один скрипт не запустит пока предыдущий запуск не завершилс

На нормальных серваках могут работать параллельно

Можно разрулить один крон и несколько потоков SH скрипт, который будет в фоне выполнять php скрипт

+ передать туда какие-нибудь метки разбивки

И следовательно по ним одним скриптом гонять большой файл

Ну если у меня будет эти 2 млн адресов в базе и статус 0/1, то запуская каждую секунду новый крон, по идее они все параллельно и будут пахать, пока все не вспашут

так я предлагал же в базе сделать очередь ((:

В чем трудности?

в понимании того, что ты написал)

Ну если у меня будет эти 2 млн адресов в базе и статус 0/1, то запуская каждую секунду новый крон, по идее они все параллельно и будут пахать, пока все не вспашут

Будут потери на запросах в базу

Ну в базу оно первым этапом и летит

Ну и тогда я бы ещё пару статусов ввёл, типа в процесе обработки

это фигня по сравнению с потерями на загрузке

Будут потери на запросах в базу

Ну мне кажется эти потери компенсируются массовостью кронов )

они алиэкспрес спарсили что ли)

И опять же если база MyIsam то будет блочить всю таблицу

в понимании того, что ты написал)

https://m.habr.com/ru/post/147111/

Короче идея неплохая, можно попробовать

И следовательно ожидая ответа может случится колапс

И они начнут работать в 1-2 потока

ну просто подобрать интервал в кроне

Не ну я думаю лагов, которые создаются при скачивании картинок хватит на запись в базу больше, чем на 2 потока. В общем, это перспективное направление)

В этой ситуации наверное лучше одним запросом по 100 вытаскивать

И следовательно пока 100 парсит и обрабатывает, других 100 ещё 100 раз выбрать сможет

@dinkwi Делал бота под крипту, который работал как расширение для хрома. Инжектил скрипт на сайт биржи и он делал миллионы запросов обходя все лимиты, которые есть если бы я делал запросы через api той же биржи.

Ну это да, но это больше нюансы, наверно можно разрулить каким-то промежуточным статусом, чтоб брать по 100 один раз и они не попадали другому крону

Ну это да, но это больше нюансы, наверно можно разрулить каким-то промежуточным статусом, чтоб брать по 100 один раз и они не попадали другому крону

Так если ты проверил урл, ставь единичку что уже чекнул его, и выбирай всё нечекнутые

@dinkwi Делал бота под крипту, который работал как расширение для хрома. Инжектил скрипт на сайт биржи и он делал миллионы запросов обходя все лимиты, которые есть если бы я делал запросы через api той же биржи.

Которое на сайт донор инжектит скрипт - ну это в корне неверное утверждение)

Ты меня запутал. Донор же. Он отдаёт же

Так если ты проверил урл, ставь единичку что уже чекнул его, и выбирай всё нечекнутые

Надо сразу всей сотне ставить, которая в выборку попала. Чтоб через секунду в следующую не попала.

я сомневаюсь что это вообще проблема

Надо сразу всей сотне ставить, которая в выборку попала. Чтоб через секунду в следующую не попала.

Зачем, ты сохранять картинку будешь, сохранил, запрос в базу с единичкой

обновить 100 записей, это миллисекунды

Зачем, ты сохранять картинку будешь, сохранил, запрос в базу с единичкой

Так а дальше что?)

Так а дальше что?)

Ну так эта запись уже не попадет в параллельный крон

а если и попадет, то хрен на нее ((:

Чтобы два раза не тягать

Ну так эта запись уже не попадет в параллельный крон

Это если поштучно, я же сейчас про то, чтоб сразу 100 штук взять, их надо как-то "залочить" на время обработки, чтоб они не попали в параллельный поток еще раз

Ты меня запутал. Донор же. Он отдаёт же

ты сам себя запутал)), ты написал дословно - вставляет скрипт в сайт донора, то есть ломает вебсервер и пишет туда свой скрипт. А по факту - просто подключает скрипт к текущей страницы в браузере))

так обновишь в базе, поставишь всем 1

можно и таблицу блокировать, чтобы наверняка

Это если поштучно, я же сейчас про то, чтоб сразу 100 штук взять, их надо как-то "залочить" на время обработки, чтоб они не попали в параллельный поток еще раз

В базу при выборке тогда пометку 1, типа в загрузке, 2 загруженно, 3 ошибка...

В базу при выборке тогда пометку 1, типа в загрузке, 2 загруженно, 3 ошибка...

Это и есть тот "промежуточный статус", я ж с него и начал )

так обновишь в базе, поставишь всем 1

да нафиг вам та база? file_exists + file_size

ты сам себя запутал)), ты написал дословно - вставляет скрипт в сайт донора, то есть ломает вебсервер и пишет туда свой скрипт. А по факту - просто подключает скрипт к текущей страницы в браузере))

Нет, не подключает, так как подключенный скрипт изолирован от сайта. Это политика безопасности хрома.

Короче более-менее перспективный путь, как это скачать не за 7 дней, а чуть быстрее, нащупан ))

Это и есть тот "промежуточный статус", я ж с него и начал )

Ну так значит ты на верном пути)

Можно попытаться, по крайней мере))

да нафиг вам та база? file_exists + file_size

Нравится мне в таких делах база больше. Именно полем с ноликом-единичкой )))

Нравится мне в таких делах база больше. Именно полем с ноликом-единичкой )))

ну хз... update + select .... file_exists => continue ))

Нет, не подключает, так как подключенный скрипт изолирован от сайта. Это политика безопасности хрома.

ладно, инжектит код скрипта в страницу, но никак не на вебсервер ))

Нравится мне в таких делах база больше. Именно полем с ноликом-единичкой )))

+ все равно, не узнаешь, скачана ли картинка вообще, пока не проверишь через getimagesize

ладно, инжектит код скрипта в страницу, но никак не на вебсервер ))

Я про сервер ничего не говорил, ну сайт имел ввиду страницу. Мы говорим открой сайт чаще, чем открой страницу.

о чем я еще мог подумать-то ?? ))))

о чем я еще мог подумать-то ?? ))))

Про сайт, но не про сервер)

ой, фсе)))

Чужой сайт мы можем только в браузере посмотреть)

не, ну можем через хром и скрипт прям туда заинжектить))

не, ну можем через хром и скрипт прям туда заинжектить))

На сайт, который видим в браузере)

вот, на страницу в браузере))) а не прям на сайт донора))

какбы different difference ))

Можно попытаться, по крайней мере))

по моему уже проще разбить файло в скрипте тупо бинарно и отправить сразу на каждый поток свой набор файлов. чем чтото писать и читать из базы

Привет! Подскажите самый простой способ перености ресурсы вместе с tv на revo

ща получишь минус и бан)))

Привет! Подскажите самый простой способ перености ресурсы вместе с tv на revo

Это в чат к ревистам

Добавить букву R

экспорт в файл на ево и импорт на рево

вариантов много