@tsymbalmitia ты очередями на джумле занимался?

@tsymbalmitia ты очередями на джумле занимался?

сомтря как их строить и как надо

Импорт больших прайсов

На десятки тысяч товаров

Импорт больших прайсов

какие объемы файлов и икак передаются

какие объемы файлов и икак передаются

Пока хз, csv какой-нибудь, загрузка со страницы или по фтп, пока хз

Пока хз, csv какой-нибудь, загрузка со страницы или по фтп, пока хз

тебе руками присылают? или какой протокол передачи

из 1с, по ssh откуда, выкачка по http

Битрикс 24

Я пока думаю как по уму это сделать

Чтоб не напороться на время выполнения скрипта

Вообще по крон нужно будет обновление цен и остатков

Битрикс 24

из битрикс 24 забирается в каком формате и протоколу?

нет, сначала бы понять как передается

протокол передачи

Чтоб не напороться на время выполнения скрипта

Так запускай cli

первый этап получение, второе обработка

Там нет ограничения

Так запускай cli

Я и планирую

Но с большим объемом файлов не работал

Я и планирую

Для cli нет ограничения по времени

Но с большим объемом файлов не работал

Тут только надо следить за памятью

А то некоторые не влезают

В остальном все норм Cli не критичен относительно времени

Но с большим объемом файлов не работал

сначала надо определиться с протоколом передачи и форматами, потом думать про обработку, да, запускать такое надо в кли: 1. нет ограничений по вреемени 2. написать надо чтобы память не текла совсем 3. надо писать алгоритмы импорта так, что если упадет, можно восстановить 4. если нужна скорость, запустить можно в несколько процессов обработку, предварительно разбив алгорит импорта, чтобы можно было паралеллльно обрабатывать

5. есть нюансы импорт в сам движок куда нужно, это нужно подбирать решение точечно к движку

5. есть нюансы импорт в сам движок куда нужно, это нужно подбирать решение точечно к движку

Ну тут либо напрямую в базу, либо моделями

Я пока применительно к жш

Ну тут либо напрямую в базу, либо моделями

зависит от правильности источника

Там объём не десятки тысяч товаров, но не хочу по 100 раз переделывать одно и то же

по хорощему надо прогонять через всю логику пхп

котоаря написана

чтобы правильно все обработалось, всеми плагинами и тд

через валиацлию проходила и тд

чтобы правильно все обработалось, всеми плагинами и тд

Там просто остатки и одна цена (пока что)

Там объём не десятки тысяч товаров, но не хочу по 100 раз переделывать одно и то же

ты написал это

я и говорю что надо прогонять через бизнес логику программы

чтоюы устранить все ошибки

десятки тысяч это фигня

но зависит от интервала импорта

если это не постоянная синхронизация

которая все обхемы сразу сгружает

Раз в сутки, может 2 раза. Как конверсии на сайте пойдут.

если мгновенная синхронизация, то она строится по сути на хуках

на порциональных изменениях

Раз в сутки, может 2 раза. Как конверсии на сайте пойдут.

можно гнать через модели JS

проблем не будем

если мгновенная синхронизация, то она строится по сути на хуках

Я так хотел, но на стороне б24 нет хуков на приходные накладные. Поэтому крон.

Раз в сутки, может 2 раза. Как конверсии на сайте пойдут.

алгоритм общий если не в один поток, а в несколько чтобы сократить время синхронизации 1. получил файлы откуда в каком-то формате 2. запускаешь предварительно логику какую-то, скрипт кли например, который разобьет на порции импорта 3. запускаешь импорт. то есть сразу несколько процессов одного кли скрипта, и передаешь им аргументы каждый откуда импортирует и докуда, все логируется, чтобы можно было прервать импорт и потом восстановить 4. в скрипте кли импорта гонишь через модели, если таблица базы innodb, то там блокирование идет на уровне записи, а не всей таблицы и можно параллельно спокойно гнать

Спасибо, буду думать

Спасибо, буду думать

можешь сделать следующее

если JS использует дужмлвоский билдер запросов

то в каждом потоке импорта можно сделать накопление запросов от моделей

то есь создать одну большую транзацию, модели по сути сделают insert,update пачки

и потом коммит

если ошибка, то rollback

тем самым обеспечишь безопасность от ошибок

и авттоматически откат будет

и помечаешь в конфигах где-то, что импорт сломан

и все останалваиется

@sergeytolkachyov если надо будет переключающися конфиги программно, то можно вот это использовать

https://github.com/RadicalMart/lib_env

чтобы не в плагине например там обращсять в его params поле

а через это

это по сути то что джумла свой configuration файл делает

JLoader::registerNamespace('Env', <путь>); Env\Env::addScope('default', <путь до папки где будут храниться конфиги>); Env\Env::setScope('default'); Env\Env::set('import.flag', false); $flag = Env\Env::get('import.flag');

файл будет <указанынй путь>/import.php и в нем класс (EnvImport) и flag будет свойство и устанвлено в false

это полностью файлы, к бд ничего не идет, и можно находу конфиги менять соовстветсвено

мы такое применяем к внешним ресурсам

если сдохло, помечается что ресурс не доступен и применяется другая логика

это я для того что можно импорт вот флаг работает не работает помечать так ну и друиге вещи

хранение вренных токенов и тд

например mail.ru при работе с почтой выдает токены на час и надо где-то сохрантяь

@sergeytolkachyov тебе информации хватает?

надо еще что-то?

Пока нет, спасибо.

Пока нет, спасибо.

Тебе надо наоборот чтобы второй поток не запустился иначе собьется и выйдет что последний итем старого импорта запишется поверх нового

Тебе надо наоборот чтобы второй поток не запустился иначе собьется и выйдет что последний итем старого импорта запишется поверх нового

я это и написал вверху что распределять надо заранее порции

Кто-нибудь работал с electron.js?

А вообще битра 24 это же онлайн сервис там должна быть возможность реалтайм по одному отправлять на сайт