D
odata интерфейс одинэсник публиковал можно было работать с сущностями
Anonymous
У нас такие одинэсники... Бараны умнее
Anonymous
Поэтому на них нельзя надеяться
D
это какая-0то стандартная вещь
D
расписана в их документации
D
ТС называется
Anonymous
Там стандарт есть да, только эти г... привыкли переменные по русски называть
D
ну и хрен с ними
Anonymous
Они же на русском кодят
Anonymous
Короче сделаю я этот модуль рест точкой и пусть учат стандарты рестфул апи
Anonymous
И это уже будет не моя боль, у меня все по стандарту, точно!)))
D
ты предоставляешь им апи, не они тебе?
Evgenii
как указать публичное свойство для консольной команды?
Anonymous
Дам урлы , пусть стучатся
Anonymous
Вернее дам тело запроса с каким я буду стучаться, и доку сгенерирую каким должен быть ответ
Anonymous
И пусть занимаются
Anonymous
как указать публичное свойство для консольной команды?
Консольная команда это контроллер и экшен
Anonymous
В экшене параметром принимаешь
Yurii
как указать публичное свойство для консольной команды?
ну обычную модель налячкал и задал там свойство, нахер оно тебе в контроллере
Anonymous
Через пробел передаешь
Andrey
как указать публичное свойство для консольной команды?
https://yiiframework.com.ua/ru/doc/guide/2/tutorial-console/#create-command
Evgenii
все-все, разобрался)
Фёдор
Раз уж зашла тема про 1с...
Фёдор
Есть выгрузка 1с на 40мб И есть 20 гигов картинок к ней
Фёдор
в выгрузке примерно 15 тыщ товаров
Фёдор
Разобрать XML -ок, не вопрос
Фёдор
проблема в том, что выгрузку надо обновлять ежедневно
Фёдор
поставщик выгрузки не умеет слать "только обновления", шлет всегда всё целиком
Фёдор
т.е. надо распарсить товары, проверить по ИД существование каждого, если есть отличия - обновить. Потом проверить наличие в базе картинки по имени файла, если есть новые - добавить, если есть устаревшие - удалить. и т.д.
Павел
Так и парси в новые таблицы
Павел
Потом подменяй
Фёдор
проблема в том, что каким-нибудь batch'ем это сделать не получается, так как все надо проверять.
Фёдор
сделано на очередях, для каждого товара создается задание, в котором все проверяется и по итогам что-то делается
Фёдор
импорт выгрузки почти 3 часа работает
Фёдор
Так и парси в новые таблицы
в новые нельзя, потеряются AI-айдишники, сломаются заказы и т.д.
Фёдор
как можно ускорить, если batch не получается внедрить?
The Ant
как можно ускорить, если batch не получается внедрить?
батч в такой ситуации не сильно быстрее будет
Фёдор
узкое место в save(), update() и т.д. - на них теряется время основное
Ivλn
поставщик выгрузки не умеет слать "только обновления", шлет всегда всё целиком
Поставщик не может добавить поле типа дата обновления позиции? По нему бы синкал свежие товары
Kirill
не использовать ActiveRecord?
The Ant
не использовать ActiveRecord?
хороший варик, сильно усскоряет да
Фёдор
поставщик - контора всероссийкого масштаба, клиент - локальный продавец Поставщик болт клал на пожелания. Есть общая дата обвноления выгрузки, но она в любом случае имеет ежедневные обновления.
The Ant
но это в случае когда записей дохуя
Ivλn
не использовать ActiveRecord?
Ага, dao нельзя заюзать?
Фёдор
Ага, dao нельзя заюзать?
Пока такая и была основная задумка, но уж больно много переписывать... Хочется обрести уверенность, что игра стоит свечь
The Ant
имхо тут алгоритм просто надо. из нового дампа вычесть старый (по именам файлов например). это будет то что нужно вставить
The Ant
не проверяя остальные.
The Ant
потом наоборот. это то, что нужно удалить
Kirill
Ну тогда просто залить всё мощностями сервера)
The Ant
итого у тебя будет в разы меньше операций
Kirill
придумай хеш для каждого товара
The Ant
или так да
Kirill
и сравнивай данные их файла и сохраненные
Фёдор
😰😰😰
The Ant
да просто пересечения найти
The Ant
скоко товаров? )
Ivλn
15к
Павел
Всего?
Фёдор
Я ещё недостаточно раскрыл убогость исходных условий...
Kirill
это же вообще не о чем
Kirill
ааа, нюансы
Павел
Сверяешь с предыдущей выборкой, определяешь новые товары и работаешь только с ними
Павел
Как тебе такое, Илон Маск?
The Ant
https://www.tecmint.com/best-linux-file-diff-tools-comparison/ посмотри мож че подберешь ) системными тулзами можно все сделать
Фёдор
Поставщика два, - у одного 3 файла выгрузки - в одном список товаров с урл картинок, в другом список категорий, в третем товар-категория. - у второго две выгрузки - товары в категориях и цены, но фото - по id товара по запросу на фтп, при том не факт, что картинка есть
Фёдор
в итоге дамп товаров или хэш товара придется собирать хер знает как по файлам
Павел
Мы за то чтобы сначала парсить все без базы, определять рабочее подмножество и потом работать с ним уже
Павел
Текущую и предыдущую выгрузку ты же можешь сравнить?
Фёдор
разве что попробовать всё загнать в массив и сравнивать массивы
Фёдор
разве что попробовать всё загнать в массив и сравнивать массивы
но тут не проверить будет есть ли новые картинки по фтп и т.д.
The Ant
посмотри может подберешь что
Павел
но тут не проверить будет есть ли новые картинки по фтп и т.д.
Проверять у 10 товаров намного быстрее чем у 15k
Павел
А у существующих товаров картинки проще проверять по задаче которая постоянно крутится
Фёдор
Посмотрел, спасибо, но пока эта мысль кажется слишком ресурсозатратной в реализации