Трубка зелёная включена?

Да

А в заголовках отправляется idekey?

Да

Magic, я не знаю что ещё не так

Вот и я не знаю

В дргих иде оно берет и работает

Кука ставится?

https://github.com/drumser/docker-lemp/blob/master/configuration/php/php7/ext/xdebug.ini Вот мой конфиг. Я прописываю этот хост и иде Кей в дебаг/proxy в настройках, настраиваю мапинг и все работает

Конфиг xdebug тут непричем

оно работает в других иде прям тут же, на это сессии и на этом компе

шторм перезапускал, надеюсь?

Естественно

Hi

Where is the Russian vps

Всем привет. С коллегой затеяли спор

Есть задача. Есть достаточно большой допустим csv фай на импорт товаров допустим на миллион записей. Задача симпортить товары, т.е те что есть обновить, а тех что нет добавить. А спор вот в чем. Он доказывает что если использовать итератор например SplFileObject и гонять это в цыкле батчами то 1 это все отожрет немеряно памяти и в какойто момент упадет по памяти 2 SplFileObject грузит весь файл в память

Есть гдето хорошая статья которая обьяснит как работает SplFileObject ?потому-то рабочий прототип писать не хотелось бы

А ты за что топишь?)

Я за правду

Тогда гугли генераторы)

Я конкретно попросил привести мне кейсы в какой момент упадет потому что знаю что подобная реализация уже есть в одной системе и она успешно работает

Есть задача. Есть достаточно большой допустим csv фай на импорт товаров допустим на миллион записей. Задача симпортить товары, т.е те что есть обновить, а тех что нет добавить. А спор вот в чем. Он доказывает что если использовать итератор например SplFileObject и гонять это в цыкле батчами то 1 это все отожрет немеряно памяти и в какойто момент упадет по памяти 2 SplFileObject грузит весь файл в память

читай построчно, используй генератор

Ну, оно неоптимально работает в любом случае и оперативку отожрёт скок сможет

читай построчно, используй генератор

Там еще вопрос про внедрение батч процессора

Ну, оно неоптимально работает в любом случае и оперативку отожрёт скок сможет

А что тогда оптимально будет работать?

А что тогда оптимально будет работать?

Генераторы, дважды уже сказали

Генераторы, дважды уже сказали

Окей. Все равно ему просто так не доказать нужно еще агрументировать что это в цыкле не упадет

Окей. Все равно ему просто так не доказать нужно еще агрументировать что это в цыкле не упадет

Упадет, поднимите и продолжите с последнего места

не упадет

Ты построчно читаешь, всегда зеаешь где курсор. Изи

А чего бы не запустить и то, и другое и не понаблюдать за ресурсами

буквально недавно импортировал 20 гиг в базу

не упадет

Ну у него вргумент что кроме чтения данных в цыкле еще будет обращение к бд т/е/ стратегия инсерт апдейт

и типо на этом месте значит упадет

А ещё сервер может сгореть

Про очистку данных я ему как бы говорил но он не понимает он все ще думает что грузится вся инфа с файла

кек)

Не надо чистить. Просто докидывайте

буквально недавно импортировал 20 гиг в базу

А есть како-то рабочий пример который можно ему показать и скаать вот

?

позволь мне погуглить за тебя: http://mark-story.com/posts/view/php-generators-a-useful-example

https://likegeeks.com/process-large-files-using-php/

позволь мне погуглить за тебя: http://mark-story.com/posts/view/php-generators-a-useful-example

Это все я ему вчера приводил? особенно последнюю ссылку. Я человек тупо не понимает что весь файл не грузится в память

он утверждает что грузится

ну так обясни ему что аткое указатель

Ох это тяжело

ну или напиши пример)

но и потом он не понимает что это все можно сделать в один поток в цыкле он думает что это упадет

поставь лимит 128 и загрузи фаел на 256

ну или напиши пример)

да походу придется)

Ну значит гнать его нахер из профессии в макдональдс картошку жарить, раз не понимает и не хочет разбираться)

Ну значит гнать его нахер из профессии в макдональдс картошку жарить, раз не понимает и не хочет разбираться)

Ну как бы я уже не первого такого синьера встречаю

но и потом он не понимает что это все можно сделать в один поток в цыкле он думает что это упадет

Поток всегда будет 1

)))

Ну как бы я уже не первого такого синьера встречаю

Эт днарь какой-то, а не синьор

Поток всегда будет 1

Короче он топит за решение с темповыми таблицами и сложным sql запросом

т.е альтернативных вариантов не принимает

Эт днарь какой-то, а не синьор

Ну тем не менее задачи он решает.))

Ну тем не менее задачи он решает.))

Тоже темповыми таблицами?)

Ну тем не менее задачи он решает.))

Угу, заметно)

Тоже темповыми таблицами?)

Хз пока на проекте не пересекались.

А как он в темповую таблицу данные загонять собирается?)

А как он в темповую таблицу данные загонять собирается?)

не спросил правда сам вчера нагуглил сейчас попробую ссылку найти

Та не, спасибо, ненадо)

Насколько я понял что-то типа такого LOAD DATA LOCAL INFILE 'path/to/file.csv' INTO TABLE 'table_name';

Не самый плохой вариант)

Насколько я понял что-то типа такого LOAD DATA LOCAL INFILE 'path/to/file.csv' INTO TABLE 'table_name';

Тогда вы оба не поняли. Тут логика такая, из большого файла на десятки, сотни гигабайте вычитали, скажем, 1000 строчек. Положили их в фаел и используя эту комнаду загрузили. Такими вот пачками и импортируете.

Не самый плохой вариант)

Да я и не говорю что плохой

Тогда вы оба не поняли. Тут логика такая, из большого файла на десятки, сотни гигабайте вычитали, скажем, 1000 строчек. Положили их в фаел и используя эту комнаду загрузили. Такими вот пачками и импортируете.

Может тут больше спор об альтернативном варианте

База у вас мускуль скорее всего

База у вас мускуль скорее всего

У него да он в основном с маджентой работал

для него это оказался самый быстрый вариант импорта

Я де кстати говорю что база может быть и иная

для него это оказался самый быстрый вариант импорта

Не сомневаюсь

"Цыган на цыпочках цыпленку цыкнул цыц", к чему это я. Но я бы упоролся настолько, что не просто бы сделал импорт в одно лицо, но еще и асинхронщину какую-нибудь замутил. правда хз насколько это будет быстро если диск не ssd.

load data во временную и sql запрос будет сильно быстрее, чем читать построчно и инсертить/апдейтить

load data во временную и sql запрос будет сильно быстрее, чем читать построчно и инсертить/апдейтить

там вопрос в том, что потом с данными будет происходить (из временной). так-то вариант вполне себе

можно ли обойтись запросом, либо надо писать вундерпроцедуру, что не каждый осилит и т.д.

Построчно прочитать файл и сгенерировать на его основании файл с sql дампом)

Потом выполнить то, что получилось

это, мало отличается от sql в цикле

https://twitter.com/lastzero/status/1054680928247799809?s=21

расходимся

как это не считает ЯП'ом?\

как это не считает ЯП'ом?\

у долбаёбов, которые выучили синтаксис другого языка принято считать, что пхп - не о программировании) они там где-то в мире пхп4 живут и им заебись)

так и есть

если Фесор зайдёт к гоферам и скажет, что он на пхп пишет, его заклеймят тупым кретином, ламером и недоучкой) хотя, имено у них он в любом случае такое клеймо получит :)

а спорить с такими нет смысла?‍♂️

ага, а го - очень читаемый, да.

особенно когда на нём пишут анонимные пхпшники :)

если Фесор зайдёт к гоферам и скажет, что он на пхп пишет, его заклеймят тупым кретином, ламером и недоучкой) хотя, имено у них он в любом случае такое клеймо получит :)

У джеесеров еще жоще)

притом в питон чате 99% вопросов -- это фото экрана и вопрос, чего не компилится.

я уже говорил, что современный js похож на php4?! xD

надо срочна переходить на дарт

или котлин