Philipp
эпол выпусил свой Huawei P9 XD
николай
есть эксперты по php?
Unknown
какая проблема?
Kirill 🎹 📷
николай
как массив выести в таблицу, но при этом разделить данные и отображение
Unknown
подробнее можно?
николай
в одном файле цикл, который парсит, данные загружаются в массив, нужно эти данные передать другому файлу, где все соберется в таблицу
Unknown
что используется в php
николай
но в общем-то я хотел спросить, что делать, если скрипт долго работатет. Парсер должен пройтись по i++ страницам, собрать данные, если страниц дофига, то пишет, что слишком долго скрипт работает
николай
библиотеки или что?
simple_html_dom.php
Unknown
framework
Unknown
Unknown
по умолчание 30 секунд, если процес дольше перед началом файла нужну указать например set_time_limit(3600)
Unknown
здесь скрипт будет работать час
николай
скрипт не убьет нужный мне сайт?
если час будет работать
Unknown
нет
николай
допустим у меня таблица, в каждой ячейке параметр вложенного массива т.е. td>array[0]['param]
как сделать цикл, чтобы [0] менялось и построчно вывело данные
николай
сравнить с максимальным ключом и остановить цикл?
если да, то как узнать последний ключ
Unknown
пример массива можно?
Unknown
эти данные впизать в базу?
Unknown
а яцейки в базе какие?
николай
нет, я их пока на табличку вывожу. я уже делал в таблицу, но там полный говнокод. в ячейках значения типа [0]['nickname'] и тд
николай
я так понимаю нужен цикл, но как узнать максимальное значение первого ключа
Unknown
например
николай
о, нащел
Unknown
foreach($array as $items) {
echo $items['nickname']."\n";
}
николай
о, я сделал, правда без форич, потому что боюсь, что будет массив в массиве. с помощью count подсчитал сколько записей и сделал цикл.
Mr
привет!
Mr
я программист 😄
николай
ну привет
николай
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 36 bytes) in simple_html_dom.php on line 723
николай
что делать, как разобрать цикл, чтобы поэтапно парсил без дофига памяти?
николай
на странице 40 строк, 10 страниц.
Mr
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 36 bytes) in simple_html_dom.php on line 723
Разрешенный объем памяти в 128МБ исчерпан (при попытке выделить 36 байт)
Mr
в общем надо увеличить memory_limit до 256 в php.ini
николай
боюсь, что если буду этот скрипт выкладывать на сервер, меня хостер прирежет
Mr
может там бесконечный цикл "сработал". 128 это много для пхп
Mr
ща почитаю вашу переписку. 5 минут
николай
не, он не бесконечный, просто дофига значений
special agent
Поэтому для парсинга лучше юзать ноду
николай
http://ideone.com/zr9ZJO
special agent
+
Mr
в одном файле цикл, который парсит, данные загружаются в массив, нужно эти данные передать другому файлу, где все соберется в таблицу
надо делать на лету. то есть класть в базу прямо в цикле. я тут недавно парсер написал для Яндекс АПИ. сначала он 500 раз тянет geo, собирая рез-т в массив. потом 500 раз делает запросы. это вторая коллекция. И потом только в базу кладет. Там было на ноде. но даже на ней это было оооочень медленно.
николай
ок, то есть нужно юзать бд, из бд на страничку?
Mr
сорри. я пробустил тот момент, где БД даже не используется 😁
Mr
а целевую страницу(-ы) можно посмотреть? которые парсить. или жто секрет?
николай
а целевую страницу(-ы) можно посмотреть? которые парсить. или жто секрет?
https://valkyrie-wow.org/armory/statistic/Elisyum/online?Character_page=1
Mr
https://valkyrie-wow.org/armory/statistic/Elisyum/online?Character_page=1
ого. если вы там друзья, то попросите чтобы вам сделали вывод в JSON формате. иначе будет сложно, зато интересно. и пхп тут действительно лучше не пользоваться
Mr
тут нужна нода
Alexander 🐯
https://valkyrie-wow.org/armory/statistic/Elisyum/online?Character_page=1
Я сначала подумал, что не так прочитал сайт) Вов) ммм
николай
ого. если вы там друзья, то попросите чтобы вам сделали вывод в JSON формате. иначе будет сложно, зато интересно. и пхп тут действительно лучше не пользоваться
скорее всего невозможно будет договориться. Узнать бы как распараллелить шкрипт. А ноду я не знаю, мне знаний даже для пхп едва ххватает.
Nirland
скорее всего невозможно будет договориться. Узнать бы как распараллелить шкрипт. А ноду я не знаю, мне знаний даже для пхп едва ххватает.
по странично пишешь куда нить в базу или файл во что угодно и проблема решена. распараллелить пхп можно только запустив n процессов. можно написать скрипт мастер, который например зайдет на последнюю страницу определит сколько их всего и стартанет воркеры в отдельных процессах, можно постепенно чтоб все не легло. т.е. воркер на входе принимает урл его обрабатывает пишет. мастер определяет число страниц, запускает воркеры. запускать можно с помощью fork или curl какой то изврат еще был. задача решена
Влад
Всем привет!
Кто-то занимается\знает людей, которые могут обменять PayPal $ на Webmoney?
Fedorov
Включил джедая верстки. Охуел как он рассказывает про свои оптимизированные шаблоны
Виталий
Опрос на засыпку, Atom или Sublime 3?
Alexander 🐯
Brackets
Alexander 🐯
А вопрос не уточнен)
Виталий
в качестве беглого редактора, что бы не запускать среду, просто интересно кто чем пользуется =)
Виталий
ну я пока остановился на сублайме, но часто слышал об атоме
Виталий
в сублайме мне нравится замена текста =))
Виталий
удобней чем в нотепад++
Виталий
визуал код майкрософта ж на движке атома построен вроде как?
Виталий
ну вот пока остановился на сублайме =)) он под старенькой xp работает =))))
Виталий
на работе блин переходить на новые ос не хотят
Виталий
а линукс из-за специфики не подходит, много софта не работает =)
Yevhenii
Виталий
угу =))))
Виталий
оуууу
Виталий
это больная тема
Виталий
не в моем случае, по крайней мере пока
pervomart
Может вам будет интересно
pervomart
Так, разбавим культуру программированием. Я дико рекомендую статью про то, как правильно сегодня писать CSS — ФУНКЦИОНАЛЬНО.
Мне нравится, что такой подход позволяет обойтись ванильным JS и CSS, не нужно никаких там CSS Modules или Less (им я больше всего пользовался, еще со времен Express.js). А то create-react-app без eject не позволяет подключить препроцессор, и приходится выкручиваться.
Сижу вот, пью вино, и переписываю код своего классного приложения (потом покажу).
https://github.com/chibicode/react-functional-css-protips
Виталий
от чего же? для работы вполне, путь не фронт-енд
Виталий
но для бекенда на php годно