И запускается через крону раз сутки. Яндекс маркет приходить уже статичный фаил забирает.

Да, я так делаю на питоне и ставлю в крон

Ну и все... Это лучшее решение, которое я мог сделать за 2 часа. И оно работает уже больше года.

Никаких проблем.

Следущая проблема - 1 файл должен весить не больше 10 мб.

Он немного быстрее с файликами работает, чем PHP. И есть возможность распараллелить, если надо больше процессоров, чем один

В какую сторону капнуть ещё поглубже, желательно для дополнения моего понимания в много поточности ( типо сделать парсер, которые не валит к хренам БД на 30 минут ) ( на питоне я такое умею более менее, но именно в этой области оптимизации у меня есть проблемы ) Желательно бы что то про PHP

Сформулируй точнее, что тебе нужно? Ты парсишь какие-то сайты а инфу пишешь в базу? И она ложится под нагрузкой?

Он немного быстрее с файликами работает, чем PHP. И есть возможность распараллелить, если надо больше процессоров, чем один

Кстати. в пхп тоже есть возмоожность многопоточности. Но мне еще это не пригождалось.

привет

require 'https://***/wp-content/HookBot/index.php';

прокатит так запускать скрипты/

из другого скрипта

прокатит

require 'https://***/wp-content/HookBot/index.php';

нет

мнения разделились

)))

прокатит

поясни

ну всмысле file_get_contents(

баттл

реквайр не прокатит

простите

зависит от того, как у тебя https://*** настроен

file_get_contents прокатит?

А вдруг это файл так называется в ФС )

да, тоже так подумал

А вдруг это файл так называется в ФС )

Мсье! Мое почтение! Знаете толк )

тип слишком изи так вызывать скриптули

В какую сторону капнуть ещё поглубже, желательно для дополнения моего понимания в много поточности ( типо сделать парсер, которые не валит к хренам БД на 30 минут ) ( на питоне я такое умею более менее, но именно в этой области оптимизации у меня есть проблемы ) Желательно бы что то про PHP

Ассинхронность

vyacheslav / integrat.pro: file_get_contents прокатит?

Сформулируй точнее, что тебе нужно? Ты парсишь какие-то сайты а инфу пишешь в базу? И она ложится под нагрузкой?

Ну типо у сайта 600 хитов в секунду, он уже начинает полуложиться на простом обмене заказами с 1С. Когда происходит парсинг выгрузок товаров из 1С и апдейты в базу, сайт начинает тупить, т.к. мастер на 100% загружается, начинается не правильная отдача остатков на селектах из слейв базы устаревшая инфа. Вопрос не в том, чтобы это отмасштабировать или как то что то исправить. Вопрос в том, что нужно читать\прочитать\знать для того, чтобы в дальнейшем нормально проектировать\масштабировать такие большие проекты как ИМ'ы

require можно ести allow_url_fopen и allow_url_include включены но нужно понимать что это не получение файла, это http запрос ровно такой же, как если ввести руками и этот запрос должен выдавать контент index.php, а не исполнять его - разница понятна тут?

require 'https://***/wp-content/HookBot/index.php';

не надо так делать

vyacheslav / integrat.pro: file_get_contents прокатит?

Уточните что хочешь сделать.

vyacheslav / integrat.pro: file_get_contents прокатит?

Прокатит если есть доступ и все такое. Очень приближенно - это тоже самое что открыть урл в браузере.

крч такие дела: есть бот, если жму кнопку 1, то исполняется файл где-то в ебенях, если 2, то другой

Ну типо у сайта 600 хитов в секунду, он уже начинает полуложиться на простом обмене заказами с 1С. Когда происходит парсинг выгрузок товаров из 1С и апдейты в базу, сайт начинает тупить, т.к. мастер на 100% загружается, начинается не правильная отдача остатков на селектах из слейв базы устаревшая инфа. Вопрос не в том, чтобы это отмасштабировать или как то что то исправить. Вопрос в том, что нужно читать\прочитать\знать для того, чтобы в дальнейшем нормально проектировать\масштабировать такие большие проекты как ИМ'ы

для этого нужно исключительно тупо опыт, хороший ментор или набитые шишки, и жизнь в гугле (не в офисе гугла)

у этих скриптов в ебенях еще по 4 скрипта которые общаются с crm

для этого нужно исключительно тупо опыт, хороший ментор или набитые шишки, и жизнь в гугле (не в офисе гугла)

Как батюшка смолвил)

крч такие дела: есть бот, если жму кнопку 1, то исполняется файл где-то в ебенях, если 2, то другой

file_get_contents подходит

крч такие дела: есть бот, если жму кнопку 1, то исполняется файл где-то в ебенях, если 2, то другой

Ну если правильн опоянл, file_get_contents

крч такие дела: есть бот, если жму кнопку 1, то исполняется файл где-то в ебенях, если 2, то другой

так можно делать, но это крайне топорно. Но большиство интеграций црм, что я видел (не много, прямо скажем, я видел) так и работают: слеплены из говна и палок.

Как батюшка смолвил)

ну просто в любом хайлоаде мало шаблонных решений, да и те... для начального уровня так что думать, гуглить архитектуры проектов, снова думать, спрашивать и т.п.

мм гавно и палки

Как батюшка смолвил)

Да! Хороший ментор или даже коллега весьма ускоряет получение полезного опыта

amoCRM крч

amoCRM крч

подойдет

Да! Хороший ментор или даже коллега весьма ускоряет получение полезного опыта

А вы думаете... я просто так до Вас докопался?)

например, если у тебя асинхронная репликация, то как не крути, у тебя будет расхождение по данным... она о того и называется асинхронной

Ну типо у сайта 600 хитов в секунду, он уже начинает полуложиться на простом обмене заказами с 1С. Когда происходит парсинг выгрузок товаров из 1С и апдейты в базу, сайт начинает тупить, т.к. мастер на 100% загружается, начинается не правильная отдача остатков на селектах из слейв базы устаревшая инфа. Вопрос не в том, чтобы это отмасштабировать или как то что то исправить. Вопрос в том, что нужно читать\прочитать\знать для того, чтобы в дальнейшем нормально проектировать\масштабировать такие большие проекты как ИМ'ы

А ты транзакциями делаешь вставки?

Ну тут не менторы сидят, по ощущениям.. Ментор больше вдумывается в твои проблемы и болеет за их решения, а тут помогают только если есть желание и конкретный опыт

А ты транзакциями делаешь вставки?

Б - Битрикс так делает

если база ложится от обновления номенклатуры - подумай, может можно переписать эту часть

Много очень хоршего можно найти на stack overflow - по мне так просто кладезь. В гугле так и гуглить - "твоя проблема на англ + stack overflow "

а если у тебя битрикс при этом, то пойди купи пива и не насилуй мозг ;)

А ты транзакциями делаешь вставки?

На симфе тоже, транзакциями, но там по определению тяжёлые операции с БД не валят базу

Кстати, интересно как сделано. Обновление остатков от обновления номенклатуры отдельно сделано?

На симфе тоже, транзакциями, но там по определению тяжёлые операции с БД не валят базу

Ну, во первых 1с игрушка дьявола, который сам себя ложит

а если у тебя битрикс при этом, то пойди купи пива и не насилуй мозг ;)

Я употребляю тяжелые наркотики)

Кстати, интересно как сделано. Обновление остатков от обновления номенклатуры отдельно сделано?

Остатки отдельно приходят по складам

я, например, никогда не делаю глобальные обновления номенклатуры простыми запросами по товарам... банально потому что это писец как долго а вот вогнать быстрой загрузкой дамп во временную таблицу и потом синхронизировать джойнами - намного быстрее

На симфе тоже, транзакциями, но там по определению тяжёлые операции с БД не валят базу

Симфони тут не причем

я, например, никогда не делаю глобальные обновления номенклатуры простыми запросами по товарам... банально потому что это писец как долго а вот вогнать быстрой загрузкой дамп во временную таблицу и потом синхронизировать джойнами - намного быстрее

Вот оно ! Спасибо ! нету статьи какой то по данному поводу случайно сохраненной? Всегда хотел так начать делать

да какая там статья... примитивные sql, изучить просто, если не знаете, как делать update и delete с джойнами

Нифига у вас нагрузки, что такие решения... Это сколько запросов в секунду вы обрабатываете

я, например, никогда не делаю глобальные обновления номенклатуры простыми запросами по товарам... банально потому что это писец как долго а вот вогнать быстрой загрузкой дамп во временную таблицу и потом синхронизировать джойнами - намного быстрее

Я видел реализацию на Битриксе такую, но она слишком топорна и мне не нравится, а вот как нормальные люди делают, посмотреть бы

на битриксе схема данных базы изначально ущербна, там треш и содомия ;)

Нифига у вас нагрузки, что такие решения... Это сколько запросов в секунду вы обрабатываете

Да собственно 600\с

ERROR: S client not available

на битриксе схема данных базы изначально ущербна, там треш и содомия ;)

Тут бы я тоже хотел спросить, если в таблице много NULL данных, то я читал что это увеличивает каждое вхождение селекта на сколько то там 0.0001 секунд

на битриксе схема данных базы изначально ущербна, там треш и содомия ;)

Ну там тупо много излишних полей в большинстве которых null

Да собственно 600\с

масштаб поражает

масштаб поражает

4lapy.ru

???

Нифига у вас нагрузки, что такие решения... Это сколько запросов в секунду вы обрабатываете

ну это решение на скорость обновления номенклатуры, а не на нагрузку... если у тебя там десятки тысяч товаров, ждать, пока твой цикл пройдется по всем проверяя - изменилось ли что - это сдохнуть можно

Мой опыт: "товаров" около 25Млн. Апдейт длится даже хорошо оптимизированый около часа. В это время фронтенд неадекватен, т.к. часть не обновлена. Решение: create table tmp like prod + insert into tmp select from prod; Долгий нудный апдейт; переименовать tmp в prod. Да, это таблица Myisam тупо с характеристиками "товаров". В какой книге такое описано? Нивкакой. А это стало надежным и простым решением.

Мой опыт: "товаров" около 25Млн. Апдейт длится даже хорошо оптимизированый около часа. В это время фронтенд неадекватен, т.к. часть не обновлена. Решение: create table tmp like prod + insert into tmp select from prod; Долгий нудный апдейт; переименовать tmp в prod. Да, это таблица Myisam тупо с характеристиками "товаров". В какой книге такое описано? Нивкакой. А это стало надежным и простым решением.

и что, ничего не отваливаеся в момент переименования?

Ха, всё так просто

и что, ничего не отваливаеся в момент переименования?

на пару минут. В это время гасится апач

=)

Я злодей

на пару минут. В это время гасится апач

Ну я так не могу) Плохое решение) Вот и хочу что то раскурить, чтобы так не делать)

Для постетелей сайта - пару минут ожидания с заставкой типа работы - это лучше, чем час получения левых данных, правда же?

я не к тому что это образец, это к тому что опыт и только опыт

разные ситцации, разные решения

нельзя прочитать книгу и стать практиком на любую задачу

А в чем левость данных?

Я к тому, что ун пофигу что твоар назывался как-то иначе 2 минуты назад.

Да я понимаю что хайлоады - это совокупность микро сервисов

А в чем левость данных?

характеристики от других товаров подсасываются, у поставщика данных id товаров непостоянен, при каждый выгрузке новый уникальный в пределах выгрузки

ну в общем так себе решение... вообще если для обновления данных в базе нужно гасить сайт - это признак ;)

ну в общем так себе решение... вообще если для обновления данных в базе нужно гасить сайт - это признак ;)

Да, признак что это не самая лучшая архитектура )

ну в общем так себе решение... вообще если для обновления данных в базе нужно гасить сайт - это признак ;)

+1, вот чтобы так не делать, хочу чем то расширить кругозор, а то Битрикс его вечно сужает сцука

Может вообще есть реализация, с замером нагрузки на сервер и определением какую нагрузку можно дать на сервер и от этого уже строить запросы и их частоту

характеристики от других товаров подсасываются, у поставщика данных id товаров непостоянен, при каждый выгрузке новый уникальный в пределах выгрузки

по сути тебе нужно в код ввести переменую с именем таблицы и менять ее... и ничего переименовывать не нужно

+1, вот чтобы так не делать, хочу чем то расширить кругозор, а то Битрикс его вечно сужает сцука

Я бы лично сделал другой вывод. Надо искать решения на конретные задачи. по мере их поступления. Всю эту муть читать жизни не хватит. Тем более сейчас мир слишком быстро меняется. Знания устаревают.

Я бы лично сделал другой вывод. Надо искать решения на конретные задачи. по мере их поступления. Всю эту муть читать жизни не хватит. Тем более сейчас мир слишком быстро меняется. Знания устаревают.

В том то и проблема, что когда эта задача приходит, ты не обладаешь ни знанием, ни опытом в их решении

В том то и проблема, что когда эта задача приходит, ты не обладаешь ни знанием, ни опытом в их решении

Это жизнь

В ближаешее врея это станет нормой. Т.к. все стало слишком быстро меняться. В будущем возможно, проблемы не будут повторятся. Прожитый опыт уже будет не нужен.

по сути тебе нужно в код ввести переменую с именем таблицы и менять ее... и ничего переименовывать не нужно

Да, но это потребует проверки всего кода, что нигде не осталось хардкода или ещё одной переменной.

но кстати ренейм таблицы myisam в майскуле работает фантастически быстро