Maxim
Попробуй экспорт по крону настроить
А в чем преимущество крона? Сайт лежит на VPS, нагрузка близка к нулю. Рассуждаю логически, что и через админку скорость обработки скриптом должна быть одинаковой
Kirill
https://skyman.me/ru/anketa
Может кто помочь?
Андрей
Дело не в нагрузке
Anton
крон лимиты другие
Maxim
Через крон будет прилично шустрее
Можно для чайника пояснить кратко почему?
Андрей
Как минимум это в том числе рекомендация автора, большие объемы гонять через крон
Дима
только увеличение memory_limit до гига + настройка 15 000 товаров за итерацию позволяет свести кол-во ошибок к нулю.
Привет. После этой фразы я потерял нить. Ты подобрал параметры, при которых работает. Закрути гайки ещё потуже для надёжности л лимит подрежь на 20% и ещё 20% памяти накинь, и так и оставь 😉 Как раз для этого ты и купил компонент, настроить параметры которые автор дал возможность регулировать, и радоваться, так ведь?
Дима
Поэтому и спрашиваю, может кто имеет опыт работы с компонентом и большими объемами товаров...
Всё решения и сводятся к limit offset, если нет желания/времени/скилла лезть в код и оптимизировать прецизионно
Дима
Импортировать 15 тыс товаров с фронта Слабоумие и отвага
Да пожалуй я погорячился, надо не на 20% подрезать лимит, а из 15к за итерацию оставить 500-1000 @MaximLeeXL
Maxim
Привет. После этой фразы я потерял нить. Ты подобрал параметры, при которых работает. Закрути гайки ещё потуже для надёжности л лимит подрежь на 20% и ещё 20% памяти накинь, и так и оставь 😉 Как раз для этого ты и купил компонент, настроить параметры которые автор дал возможность регулировать, и радоваться, так ведь?
Скажу так, если бы не было навыков в администрировании VPS, то решить бы задачу не вышло от слова совсем. Если с импортом все понятно: ставь меньше товаров за итерацию при возникновении ошибок. То с экпортом такое не прокатит уже.
Павел
Да пожалуй я погорячился, надо не на 20% подрезать лимит, а из 15к за итерацию оставить 500-1000 @MaximLeeXL
Время жизни запроса (стандартно) 30 секунд За 30 секунд импорт (особенно процессорами) явно меньше тысячи Такие импорты нужно делать long pooling запросами из под cli Никак иначе )
Павел
А в идеальной истории - вообще не трогать modx ) Просто лить в базу напрямую
Maxim
если ставить 500 за цикл, то 1 000 из 20 000 товаров не выгружаются. При том что недозагруженные товары подменяются дублями. И я про экпорт товаров говорю
Павел
Ну в компоненте msimportexport вроде на js обход лимита в 30 сек реализован, а в целом то ты прав
Реализован так что товары двоятся 😀 На самом деле из фронта вариантов мало Вдруг товар «завис» в процессоре А офсет его еще раз зальет Отсюда и дубли
Павел
На самом деле отчасти это можно пофиксить очередями что есть в MODX Но тогда автору компонента нужно их использовать
Дима
А в идеальной истории - вообще не трогать modx ) Просто лить в базу напрямую
Не боксового решения в виде платного компонента путь
Павел
Не боксового решения в виде платного компонента путь
Опять же С очередями его можно сделать ) Но игра не стоит свеч
Павел
Но там тоже нюансы Может не хватить Мемори лимита хостинга ) Следовательно нужно чтобы был VPS, еще и правильно настроенный
Павел
Скорее всего такое и происходит
В вашем случае рекомендую либо написать скрипт импорта самостоятельно, либо обратиться к кому-нибудь за денежку
Павел
Либо лить по 10-25 товаров
Дима
Реализован так что товары двоятся 😀 На самом деле из фронта вариантов мало Вдруг товар «завис» в процессоре А офсет его еще раз зальет Отсюда и дубли
Чё то я не понимаю как limit offset, которые пробрасываются в запрос БД могут пересекаться... Только если активно добавляются новые товары прям в момент и стоит при экспорте какая нибудь сортировка лютая, не по id...
Дима
Товаров еще нет в БД, о каких офсетах речь ?)
У него же экспорт вроде, не импорт
Maxim
Импорт )
Экспорт!
Павел
А, экспорт )
Maxim
Да везде я про экспорт писал :)
Павел
В таком случае да, странная история Возможно в компоненте используются оффсеты коллекции, а не базы Никогда с ним не работал, поэтому даже хз
Дима
Либо лить по 10-25 товаров
Короче вот такое решение @MaximLeeXL ) ставь плюсики и го делать 👍 и мемори лимит можно обратно тащить
Nano.Karmabot.chat
Rad! deadcrystal got +1 from MaximLeeXL. 20 karma in total.
Nano.Karmabot.chat
Super! dimasites got +1 from MaximLeeXL. 52 karma in total.
Павел
Экспорт гораздо более «дешевая» операция для базы Особенно если есть индексы Думаю у автора компонента есть какой-то архитектурный косяк с выборками Пальцем в небо - возможно идет работа с коллекциями, а не с БД
Павел
А если нужно экспортировать товары из базы, то можно сходить в phpmyadmin и просто modx_site_content экспортировать )
Павел
Ну не зря он (автор) 2ю версию запилил с какими-то воркерами и демонами и очередями в стиле "отвал бошки". Щас она в альфе/бете
Его скорее всего задушили вопросами почему на моем хостинге за три копейки не работает импорт )) Вот и пришлось делать нормально
Maxim
Его скорее всего задушили вопросами почему на моем хостинге за три копейки не работает импорт )) Вот и пришлось делать нормально
Так оно так и есть! На шаринг у меня импорт 1000 товаров шел часов 8-10. На VPS заскакивает 1000 за 1 час
Kirill
Коллеги можем кто помочь с настройкой импорта фотографий с фронта?
Алексей
Коллеги можем кто помочь с настройкой импорта фотографий с фронта?
могу тулько посоветовать использовать https://www.dropzone.dev/ js но там нужно знать прграммирование.
Алексей
Стандартный метод не получится ускорить?
Ну вот подумайте. Если 10 мегабайт загружает 3 минуты пропускная способность канала судя по всему не большая. 10/180 = 57 кб.сек. Это не возможно ускорить, но можно хотя бы отобразить процесс загрузки + уменьшить вес фоток. допустим 10 метров - это 3 фотки. 1 фото 3 мега. при уменьшении на стороне сервера будет 500кб получим 1500 кб - загрузятся за 26 секунд, хотя бы.
Алексей
если 1 фото 10 мег, то можно уменьшить до 500...800 кб... а то и меньше.... в зависимости от параметров конвертации
Алексей
вот и весь секрет ускорения.
Алексей
Стандартный метод не получится ускорить?
стандартный как я знаю нет. там фото напрямую целиком грузиться....
Артур
Стандартный метод не получится ускорить?
Вообще странно это всё, у меня на проекте фотки по 500Мб загружаются минуты за две. Тут мне кажется всё зависит в первую очередь от скорости доступа в интернет у клиента
Kirill
У меня 500 мбит скорость канала
Kirill
На upload правда не знаю, но не думаю что маленький.
Kirill
Я еще думал на хостинг… может он как то влияет
Алексей
ну в полне вероятно что сервер медленный или по пути медленно что-то идет. проверьте сервер через ftp загрузка-выгрузка.
Kirill
https://skyman.me/ru/anketa
В целом, подобная анкета должна даже с 3-5 фотками грузиться за 5-10 сек
Алексей
вот у меня сейчас бегет со скоростью 50 кб.сек... это, конечно жесть.
Алексей
вечером все печально.
Дима
могу тулько посоветовать использовать https://www.dropzone.dev/ js но там нужно знать прграммирование.
Если что, @kzkir этот самый dropzone уже прикручен к платному компоненту #userFiles
Дима
в formIt работает он?
Я прикручивал чтобы работал. Аватарки/фотки к отзывам чтобы пользователи могли сами загружать и подрезать) Могу скинуть ссылку в ЛС на сайт если интересно глянуть. Но в компоненте userFiles загрузка с фронта это коробочный функционал, норм компонент на самом деле. Не идеальный, но где идеальный то найти)
Андрей
Если что, @kzkir этот самый dropzone уже прикручен к платному компоненту #userFiles
В последней версии с последним движком там чот проблемы были какие то
Андрей
Уже не помню точно
Андрей
Хотя вроде в админке только
Alisa
Всем привет и прошу тапками не закидывать ) в первый раз изучаю и натягиваю minishop2. Столкнулась с проблемой, пытаюсь вывести картинку в карточке в каталоге, через: [[!msProducts? &parents=`0` &link=`1` &tpl=`block-recommendations-card_tpl` &includeThumbs=`360x270` ]] В чанке вставила изображение стоит: <div class="cart-main__image-cont"> <div class="cart-main__image"> [[+360x270]] </div> </div> Но [[+360x270]] никак в верстке в фронте не выводится. Что делаю не так?
Alisa
А он разве не генерирует img?
Alisa
И если нет, то как правильно чанк вставлять?
Иван
Ну в src=”[[+360x270]]”
Alisa
<img src="[[+360x270]]" alt=""> вставила выводит тег с пустым полем <img src="" alt="">
Alisa
никаких tv не создавала, думала что все из коробки есть
Иван