Dmitriy
D
odata интерфейс одинэсник публиковал
можно было работать с сущностями
Anonymous
У нас такие одинэсники... Бараны умнее
Anonymous
Поэтому на них нельзя надеяться
D
это какая-0то стандартная вещь
D
расписана в их документации
D
ТС называется
Anonymous
Там стандарт есть да, только эти г... привыкли переменные по русски называть
D
ну и хрен с ними
Anonymous
Они же на русском кодят
Anonymous
Короче сделаю я этот модуль рест точкой и пусть учат стандарты рестфул апи
Anonymous
И это уже будет не моя боль, у меня все по стандарту, точно!)))
D
ты предоставляешь им апи, не они тебе?
Evgenii
как указать публичное свойство для консольной команды?
Anonymous
Дам урлы , пусть стучатся
Anonymous
Вернее дам тело запроса с каким я буду стучаться, и доку сгенерирую каким должен быть ответ
Anonymous
И пусть занимаются
Anonymous
Anonymous
В экшене параметром принимаешь
Anonymous
Через пробел передаешь
Evgenii
все-все, разобрался)
Artyom
Artyom
Фёдор
Раз уж зашла тема про 1с...
Фёдор
Есть выгрузка 1с на 40мб
И есть 20 гигов картинок к ней
Фёдор
в выгрузке примерно 15 тыщ товаров
Фёдор
Разобрать XML -ок, не вопрос
Фёдор
проблема в том, что выгрузку надо обновлять ежедневно
Фёдор
поставщик выгрузки не умеет слать "только обновления", шлет всегда всё целиком
Фёдор
т.е. надо распарсить товары, проверить по ИД существование каждого, если есть отличия - обновить.
Потом проверить наличие в базе картинки по имени файла, если есть новые - добавить, если есть устаревшие - удалить. и т.д.
Павел
Так и парси в новые таблицы
Павел
Потом подменяй
Фёдор
проблема в том, что каким-нибудь batch'ем это сделать не получается, так как все надо проверять.
Фёдор
сделано на очередях, для каждого товара создается задание, в котором все проверяется и по итогам что-то делается
Фёдор
импорт выгрузки почти 3 часа работает
Фёдор
как можно ускорить, если batch не получается внедрить?
The Ant
Фёдор
узкое место в save(), update() и т.д. - на них теряется время основное
Kirill
не использовать ActiveRecord?
Фёдор
поставщик - контора всероссийкого масштаба, клиент - локальный продавец
Поставщик болт клал на пожелания.
Есть общая дата обвноления выгрузки, но она в любом случае имеет ежедневные обновления.
The Ant
но это в случае когда записей дохуя
Ivλn
Фёдор
Ага, dao нельзя заюзать?
Пока такая и была основная задумка, но уж больно много переписывать... Хочется обрести уверенность, что игра стоит свечь
The Ant
имхо тут алгоритм просто надо. из нового дампа вычесть старый (по именам файлов например). это будет то что нужно вставить
The Ant
не проверяя остальные.
The Ant
потом наоборот. это то, что нужно удалить
Kirill
Ну тогда просто залить всё мощностями сервера)
The Ant
итого у тебя будет в разы меньше операций
Kirill
придумай хеш для каждого товара
The Ant
или так да
Kirill
и сравнивай данные их файла и сохраненные
Фёдор
😰😰😰
The Ant
да просто пересечения найти
The Ant
скоко товаров? )
Ivλn
15к
Павел
Всего?
Фёдор
Я ещё недостаточно раскрыл убогость исходных условий...
Kirill
это же вообще не о чем
Kirill
ааа, нюансы
Павел
Сверяешь с предыдущей выборкой, определяешь новые товары и работаешь только с ними
Павел
Как тебе такое, Илон Маск?
The Ant
https://www.tecmint.com/best-linux-file-diff-tools-comparison/ посмотри мож че подберешь ) системными тулзами можно все сделать
Фёдор
Поставщика два,
- у одного 3 файла выгрузки - в одном список товаров с урл картинок, в другом список категорий, в третем товар-категория.
- у второго две выгрузки - товары в категориях и цены, но фото - по id товара по запросу на фтп, при том не факт, что картинка есть
Фёдор
Фёдор
в итоге дамп товаров или хэш товара придется собирать хер знает как по файлам
Павел
Мы за то чтобы сначала парсить все без базы, определять рабочее подмножество и потом работать с ним уже
Павел
Текущую и предыдущую выгрузку ты же можешь сравнить?
Фёдор
разве что попробовать всё загнать в массив и сравнивать массивы
The Ant
Ivλn
The Ant
посмотри может подберешь что
Павел
Павел
А у существующих товаров картинки проще проверять по задаче которая постоянно крутится
Фёдор
Посмотрел, спасибо, но пока эта мысль кажется слишком ресурсозатратной в реализации