тут нужно что-то асинхронное, чтобы не ждать пока картинка скачается

У меня все три месяца не нужно было, так что не делал ничего такого.

с парсерами такая же хрень в принципе, больше времени уходит на скачивание страницы и разбор

Тот что у меня парсер от 3 до 10 секунд на страницу Али тратит. Так что достаточно быстро. ((:

Можно читать прям с потока и сделать сразу заливку. Проблема только в пачке, т.к. нужно было именно выборочно брать товары.

Недавно пили под 1 проект там импорт вообще на GO оказалось для таких целей производительней

на modx.pro для парсера я видел задействовали nodejs

Может быть. Тут что знаешь, то и делаешь. У меня еще задача была это все последователям оставить, так что выбор был очевидный. ((%

на modx.im есть интересная статья про импорт миллиона товаров из xml

Есть ссылка? Что там импортировали? Одно дело в одну таблицу импорт делать, а другое подготавливать данные и заливать в 5-10 таблиц с ожиданием создания id ((%

http://modx.im/blog/4933.html

Благодарю.

Привет. Кто нить может посоветовать статью по переезду с друпал 7 на ево? (45 000 страниц)

У меня сегодня кстати этот load data infile не заработал))

может его для безопасности отключают

Не хватает привилегий, а local хостер вырубил))

СМИ: король Таиланда самоизолировался в роскошном отеле в Германии в компании 20 наложниц

Привет. Кто нить может посоветовать статью по переезду с друпал 7 на ево? (45 000 страниц)

ну или разбираешься в бд друпала и пишешь скрипт для миграции или экспортируешь куда-нибудь и пишешь импорт ((:

Чтоб я так жил))

Я честно говоря особо и не понял за счет чего там ускорение? В основном за счет того, что все айдишники известны и идет просто запись в базу без всяких доп проверок из файла?

ну да

тем более там рево

я пару раз делал импорты для минишопа и это было ну очень медленно

хотя я не особо и старался, потому что это опять же были одноразовые импорты

Ну обычно, конда я делаю какие-то поэтапные импорты, то я первым делом все исходные данные из файлов в базу и переливаю. И это, как правило, всегда самая быстрая часть)

Потом начинается уже свистопляска с лимитами/офсетами/сортировкой, поиском/апдейтом что есть, чего нет, старыми/новыми айдишниками и прочими птичками "обработан"

нужно как-нибудь написать миграцию для шопкипера в коммерс ((:

А без всего этого конечно быстро тупо влить в базу одной командой файл)

нужно как-нибудь написать миграцию для шопкипера в коммерс ((:

А что там мигрировать? Заказы?)

ну да

все остальное придется руками

paramedit где-то еще можно в мультитв какой-нибудь сконвертить

Михаил может поспособствует ((:

после шопкипера коммерс это конечно как пива холодного летом навернуть

Да ну их, я оставляю модуль шопкипера, подписываю его "старые заказы" и все)

та миграцию заказов не особо проблемно сделать

от корзину нужно переделать оформление и т.д.

А остальное и там и там в дереве и сделано хрен пойми как у кого)

от корзину нужно переделать оформление и т.д.

Корзину это максимум день делов, весь переезд, если там не сильно печально все)

Ну если без замороченного функционала то да

Я за день перевозил тот магазин, где варианты на мультитв с плагином на цену)

я тоже такой магазин перевозил, все очень быстро получилось

Потому что там надо было добавить доставки и я такой "да ну их нахер, доставки шк платные"))

редактирование заказов в коммерс еще нужно довести до ума

сейчас там типа из дерева выбирать новые товары, неудобно да и оно вроде не работает

Для начала я просил цветовую дифференциацию по статусам в списке))

да, это тоже нужно

И фильтр по датам хотя бы))

есть же фильтр по датам

Не помню, чего то там после шопкипера не хватало, кроме этих цветных статусов, мне кажется что-то из фильтра

должно хватать в большинстве случаев

id заказа если только добавить

Надо найти шопкипер глянуть, такое чувство, что чего-то мне там не хватило:)

Хотя может я просто не прочитал про временной интервал и подумал, что там id

не хватает еще аякса

но это уже такое, в шопкипере я на каком-то сайте впиливал

там просили, чтобы когда статус меняешь, то не перезагружалась страница

там еще какой-то баг висит незакрытый в коммерс с пагинацией

Там для колонки статусов вообще надо как-то ширину зафиксировать, чтоб не ужималось до 1 буквы в этом селекте))

так что там по 500 ошибки при импорте? лог апача что говорит? или я опять что-то пропустил)

ты все пропустил

мог бы ворваться и помочь, а ты...

А так в итоге решили игнорить по причине "не может этого быть"))

))) ну причина есть, и в логе должна быть

у меня в лог не пишет ничего если в include путь неправильный

и в каком-то еще случае

но для импорта это все не подходит, конечно

ну если отбросить тот вариант, что коряво пишутся данные в бд, то 1) time limit 2) memory limit 3) mysql has gone away еще ниразу не попадалось что-то еще

1) time limit 2) memory limit это боль конечно

особенно time limit ((:

ну time limit можно еще на шаги разделить, с ним понятно, а вот когда у тебя крашится за 5 секунд работы и логов нет

и ты гадаеш в чем трабла

а там хитрый хостер сочинил скрипт который прибивает по нагрузке на процессор ((:

ну time можно фиксить, пиля свои прямые запросы)

memory - подчищать все и надеется. что сборщик мусора будет четко работать

а если мускул падает, просто делать меньший запрос на мультивставку

он просто так тоже падать не будет

на мультивставку ругается если не влазит

есть еще шанс, что у хостера диски битые 😸