fgetcsv и все такое изучил уже? ((:

с разрешения спонсора Иван Смирнягин, выложил интеграцию с multiCategoreis в открытый доступ)

fgetcsv и все такое изучил уже? ((:

это я пользовал, я не юзал раньше fputcsv

Ребят, я запилил новую версию editDocs. Основные изменения это вот: Обновление до версии 0.4.0 Интегрированы улучшения из форка от Webber. Импорт теперь может быть с любым количеством строк в файле таблицы. Добавлена интеграция с плагином MultiCategories, можно редактировать соответствубщий параметр вместе с основными полями или ТВ. Также можно добавлять данный параметр для плагина при импорте. добавлен выбор разделителя при экспорте в CSV. объеденены разделы испорт и апдейт в один раздел. Если документа нет, то он добавится, если найдено совпадение (по выбранному параметру) то значения обновятся.

+

небольшой видос по изменения в плане интеграции с MultiCategories

Огромный респект за терпение и наставления @webber_12

до сего дня я не знал что можно без крона через рекурсию обработать эксель файл на хоть сколько строк) теперь знаю

зачем через рекурсию

командир сказал так, значит так 😀

https://github.com/box/spout

https://github.com/box/spout

есть такой, но он мне не понравился. Если будет время думаю лучше уж тогда обновляемый SpreedSheet поставить.

а картинки сохраняет ?

есть такой, но он мне не понравился. Если будет время думаю лучше уж тогда обновляемый SpreedSheet поставить.

ну, spout это про скорость и память

хотя мне редко приходилось с xlsx что-то делать

csv самый удобный вариант

ну тут видишь,это если б во фронтенде создавалась нагрузка посетителями. то да, имело бы смысл. А так чаще всего один админ. Нагрузки и не заметишь.

в смысле не заметишь

у тебя же время выполнения ограничено

ну это же чтение файла, попробуй сам загрузить.

так проблема не в чтении, а в разборе

чем больше строк успеешь разобрать, тем лучше же (:

а разбор как раз через рекурсию аякс запросами идет, порциями

и разбор уже идет не экселя. а массив созданный из него

можно накрайняк https://c2n.me/433mNOL или max_execution_time

можно накрайняк https://c2n.me/433mNOL или max_execution_time

зачем? нет смысла

Но на шаредах хз, там вроде 128 лимит памяти часто и 30 сек выполнение

и разбор уже идет не экселя. а массив созданный из него

а массив аллах создает?

нужно провести тест с миллионом строк (:

нууууу

на больше 100 тыщ думаю уже крон и самописное решение

я последний раз делал импорт, где csv файлы под 100 мегабайт

там и таблица просто браузер повесит нах.

я последний раз делал импорт, где csv файлы под 100 мегабайт

долго процесс шел?

повесят сообщения о успешности добавления каждой строки =) браузер

сначала да, а потом я придумал как ускорить в 40 раз (((:

array_chunk ?

как, расскажи

Ну как ? Рассказал ? +)

да) завтра буду тестить. Это гениально! а т оу меня много апдейтов прайсов

Секретничают ... ля какие =)) Расковыряем жеж потм всеравно поделку =)

😂😂 так это не для поделки. Это просто подход.

для обновления больших прайсов через крон

Просто очень интересно можно ли уложить 500 000 строк ЦСВ в 128 метров шаред хостинга памяти и 30 сек выполнения дефолтного

модуль я переделывать не буду, он и так хорош)

нельзя

а mysql ?

при чем тут mysql

Всмысле переписать 500 к строк из одной таблчики в другую пускай с изменениями какими-либо

Просто интересно, как специалистов спрашиваю

разбивай на части

тут просто недавно делал, правда на ларке обработку 2-х таблиц на 65000 и 650 000 строк, в память не уложился 128, пришлось ставить 1024. Но по времени вроде норм 20-30 сек. По этому и интересно. Как у вас что получается, мб есть варианты лучше =)

Разбил на части, но получился большой массив, который в память не влез видимо =)

делить на сколько, на 10?

или на 100 сразу?

в чем обработка заключалась?

мне просто доводилось переделывать импорты на чистом говнокоде с прямыми запросами в базу, и то там не было таких чудесных результатов

хотя может конечно кривизна modx в плане организации данных мешает

но и в условиях получше, без тв и такого всего, не мгновенно все происходило

а у тебя 650000 строк за 20 секунд

смысл был простой, там 2 таблицы итоговые должны были получиться, почти как в модиксе content и TV связка таже по ИД ресурса. Была одна большая таблчика на 650 к записей примерно и у каждой записи, как в модиксе в контенте был parentID. Нужно было найти всех самых главных родителей самого верхнего уровня и записать их в одну табличку на 65 000 которая в итоге получилась. А их детей поместить в другую с relation по id родителя из первой таблички. Самая хреновость в том, что мы не знаем ИД строки из таблички с родителями чтобы привязать детей, пока не добавим в нее строку. Пришлось работать с массивами и коллекциями. Там был один нюанс, который помог. У каждой записи был собственный код, если его сохранить можно сделать потом select и у знать по нему Id записи и присоединить детей. Кароче тут история будет на миллиард строк со всеми подробностями. Получилось запихнуть все это в 2 tableSeedera но при этом выжрать память на гиг, на скрине с запасом =) https://c2n.me/433nox8

Скрин жирной таблчики https://c2n.me/433npot на 650 к ее структуры

code и code_parent - волшебные штуки которые позволили построить итоговый массив

ну с такой структурой может быть

но это если только читать из файла и писать в таблицу

Я просто понял одно если бы в цикле я проходил каждую запись из 65 000 чтоб записать в одну табличку и затем еще и детей найти и записать их в другую, это смерть +)

а всякие поиски и проверки да еще с перегрузом из-за коллекций...

Я хз могу пробнуть выложить кудато сидеры если надо с миграциями и sqlами =) я не знаю как это все на пальцах расписать, тут выкинут из чата =)

В принципе итог получился не такой уж и длинный супер код =) https://c2n.me/433nrXE

это второй главный сидер на 650 к

кароче ладно

а, тут другое совсем

из одной таблицы перебрать и в другую засунуть

а мы про импорты говорили

Ну может быть, конечно тут еще и уровень один в цсв вроде как + файлы вроде качать не надо

всмысле нет парентов там всяких

и чилдов

так такие задачи смысла нет вообще вписывать в 30 секунд

в консоли ограничений нет

память зато важна

Мы тут с модиксами сидим, я есть люди которые с лярдами записей каждый день работают =))