@phpgeeks

Страница 7500 из 8430
Golodnyi
29.05.2018
17:19:00
Если явно не разрешают, значит запрещено

Dmitry
29.05.2018
17:19:03
юридически - нет

Vespertilio
29.05.2018
17:19:10
Народ, нужна поддержка. Нужно спарсить статьи с сайта ~300 страниц на каждой по 10 статей. Отправляю запросы через guzzle парсинг через simple html dom, фреймворк laravel. Как у меня всё построено сейчас: При get запросе на мой сайт (пусть будет '/parse') паралельно отправляются запрос на ссылки всех страниц со статьями чтобы получить массив ссылок на все статьи сайта. Далее паралельно отправляются запросы по полученным ссылкам, результаты запросов парсятся. Результаты парсинга выводятся в виде массива на страницу (ларавеловская функция dump() - аналог var_dump()) Я понимаю что как пытаться выводить такой огромный объем данных на страницу разом, так и паралельно отправлять 3000 запросов это извращение. Если пытаться спарсить за раз около 50 страниц (500 статей) то всё ещё идёт более - менее нормально, но при больших объёмах начинает происходить какая-то дичь. Собственно вопрос - как правильно спарсить такой объём данных и сохранить его (в бд / файл ... не важно где )? За любые подсказки и инфу буду весьма признателен
не правильная архитектура так делать изначально. Это во-первых должно быть асинхронно, лучше использовать AJAX для вывода на фронт, время работы этого механизма не известно, может вывалится по таймауту. Сам парсер вообще реализовать микросервисом, ларка пусть только фронт рендерит

Dmitry
29.05.2018
17:19:14
Google
Golodnyi
29.05.2018
17:20:02
а почему не на оборот?
Потому что ты не можешь на улице пнуть каждого, кто явно тебе это не запретил, но можешь того, кто явно это разрешил

Golodnyi
29.05.2018
17:21:17
Отсутствие лицензии в опен соурс воспринимается как no license, это не копируемый контент

Rodion
29.05.2018
17:22:24
А NDA в России и на Украине же не имеет юридической силы и им можно поддереться?

Golodnyi
29.05.2018
17:22:50
Сомнительно

Нда договор

Игорь
29.05.2018
17:23:47
не правильная архитектура так делать изначально. Это во-первых должно быть асинхронно, лучше использовать AJAX для вывода на фронт, время работы этого механизма не известно, может вывалится по таймауту. Сам парсер вообще реализовать микросервисом, ларка пусть только фронт рендерит
Благодарю за ответ, можно чуть по подробнее пожалуйста? Что такое микросервисы? Что вы имеете ввиду под реализацией через микросервисы? С ajax тоже ещё не работал и что это - представляю слабо. Грубо говоря мне нужна примерная последовательность действий чтобы понять что к чему, что искать и изучать

Vespertilio
29.05.2018
17:53:14
Благодарю за ответ, можно чуть по подробнее пожалуйста? Что такое микросервисы? Что вы имеете ввиду под реализацией через микросервисы? С ajax тоже ещё не работал и что это - представляю слабо. Грубо говоря мне нужна примерная последовательность действий чтобы понять что к чему, что искать и изучать
отдельное приложение, которое будет отвечать чисто за парсинг и можно даже AJAX апишку туда воткнуть, либо разбить на два, парсинг отдельно, AJAX api отдельно. Можно писать такие на ReactPHP, Swoole, Workerman. Ларка будет рендерить фронт, а на фронте JS, который будет дергать данные по AJAX и пока они подготавливаются будет рисовать прогрессбар и тд. Такой подход не удет лочить контекст рендера страницы во время работы тяжелого парсера на сервере, и даст возможность более гибко реагировать на события и информировать пользователя

Vespertilio
29.05.2018
17:55:37
Благодарю за ответ, можно чуть по подробнее пожалуйста? Что такое микросервисы? Что вы имеете ввиду под реализацией через микросервисы? С ajax тоже ещё не работал и что это - представляю слабо. Грубо говоря мне нужна примерная последовательность действий чтобы понять что к чему, что искать и изучать
ну надо посмотреть сначала что такое AJAX, грубо говоря это асинхронная подгрузка данных на уже отрендеренную страницу. JS в браузере делает http запрос на сервер в фоне, получает данные в JSON парсит и встраивает в страницу

Т.е. если что-то тяжеловатое надо - пишутся отдельные приложухи?
конечно, в едином контексте это не делается

Игорь
29.05.2018
17:57:25
конечно, в едином контексте это не делается
понятно, завтра буду разбираться. Я вижу ты человек опытный, можно к тебе периодически обращаться если какие-то вопросы будут?

Google
Vespertilio
29.05.2018
17:57:29
Т.е. если что-то тяжеловатое надо - пишутся отдельные приложухи?
https://github.com/hellvesper/isblocked/blob/dev/server.php вот например я делал микросервис, который скачивает CSV, парсит его, загоняет в in memory sqlite базу и отдает с нее данные по AJAX запросам в JSON

Gozel
29.05.2018
18:07:54
кто знает как получить данные из контакт форм 7? нужно вставить имя и фамилию в другие страницы

add_action( 'wpcf7_mail_sent', 'your_wpcf7_mail_sent_function' ); function your_wpcf7_mail_sent_function( $contact_form ) { $title = $contact_form->title; $submission = WPCF7_Submission::get_instance(); if ( $submission ) { $posted_data = $submission->get_posted_data(); } if ( 'Electronic Signature Form' == $title ) { $yourName = $posted_data['your-name']; $yourLastName = $posted_data['your-lastname']; } }

не работает :(

Vespertilio
29.05.2018
18:09:10
эм в смысле после поста?

Gozel
29.05.2018
18:11:06
эм в смысле после поста?
нет я добавила в конце add_shortcode( 'driversinfo', 'your_wpcf7_mail_sent_function' ); и пытаюсь шорткодом вставить инфу на отдельные страницы

Vespertilio
29.05.2018
18:12:38
Gozel
29.05.2018
18:12:53
запостил но не работает все равно

Vespertilio
29.05.2018
18:15:10
запостил но не работает все равно
а как они попадают на другу страницу? их надо где сохранять, в сессии или в БД

Gozel
29.05.2018
18:16:07
они сохраняются в БД (установлен плагин)

Vespertilio
29.05.2018
18:17:49
ладно я пас, нужен кто-то с опытом в вордпресс, если это вордпресс как я понял. Слишком много вариантов для гадания

1Bot
29.05.2018
18:30:42
Можно поподробнее пожалуйста? Какую задачу? Как?
Предусмотреть нужно еще защиту сайтов от массовых запросов

Можно поподробнее пожалуйста? Какую задачу? Как?
1. Разработай свой апи для парсера страниц (бекенд) 2. Проектируй интерфейс для управления хозяйством парсера (фронтенд) через апи 3. Совершенствуй

Evgeniy
29.05.2018
19:07:09
mysql deprecated,разве нет?
да, об этом в видео

Dmitry
29.05.2018
19:30:59
сгинь нечистая сила

Ирина
29.05.2018
19:31:16
нее )

ради вас же стараюсь )

Vespertilio
29.05.2018
19:31:36
мы явно не адресаты сего)

@doktorgradus

Google
Vladimir
29.05.2018
19:33:04
ради вас же стараюсь )
Сами аналоги половины написать можем:))

Vespertilio
29.05.2018
19:34:26
я думаю все

Dmitriy
29.05.2018
19:44:52
Подскажите что надо вернуть в статичном методе класса чтобы идти по запросу например так: DB::sql("SELECT * FROM tasks")->get();

Есть статичный метод принадлежащий классу sql и далее хочу использовать обычный метод get

В обычных методах возвращал $this но у статичных методов нет this, пробовал вернуть self, но так не работает

Александр
29.05.2018
20:04:58
Dmitriy
29.05.2018
20:11:14
я сделал чуть извращенски

пытался вернуть конструктор так

self::_construct()

а по ответу теперь так: $db = new self(); return $db;

Теперь могу обращаться дальше к методам класса в запросе

Иллариэль
29.05.2018
20:13:15
Сейчас поднимал впн и соксы за бугром, дня два разбирался как это работает, когда понял, пришла мысль а что если замутить php приложение которое будет делать это все автоматом? Итак вопрос: а не изобретаю ли я велосипед?

Может кто уже реализовал?

Panda
29.05.2018
20:14:32
Реализовал конечно

Иллариэль
29.05.2018
20:16:20
Реализовал конечно
Можно Линк, или что искать?

Panda
29.05.2018
20:16:43
Посмотри на гитхабе

Владимир
29.05.2018
20:16:59
Может речь про приложение на golang?

docker называется)

Google
Elena
29.05.2018
20:17:12
доброго времени суток. Кто подскажет с Git?

not a git repository (or any of the parent directories): .git у меня выскакивает ошибка, хотя директорию я указывала до этого. Имеются проблемы с ПК — он иногда выдаёт синий экран и временные настройки в некоторых софтинах сбрасываются, но Git и после обычной перезагрузки забывает об указанной директории.

eesotyrt
29.05.2018
20:19:05
мб кому-то нужна будет подработка-пищшите челику.Не должно быть сложным

программист реализовал бота для вк и слился, бот работает на php + vds, коннектится к mysql (зачем туда коннектится я не понял, если не нужно - можно убрать, так как у бота там много команд - а нужна только 1 команда, юзает эта команда mysql или нет, не знаю), как я понял настраивается все через консоль, подключить бота к вдс, настроить mysql - если нужно, убрать лишние команды (прогер сказал, что убрал, так как это бот разрабатывался для другого сообщества - было множество команд, но нужна оттуда только 1, думаю несложно реализуется) - еще была проблема, что при работе бот пропускает людей при сильной нагрузке на него, возможно проблема в вдс или в коде, решить эту пробелму, понятия почему так происходит - нет, так как бот стоял не на моем вдс. Возможно переписать бота под 1 команду, все коды в исходнике для работы имеются. __ Знания настройки VDS, php + mysql (понять нужен mysql вообще или нет, если нет - можно убрать его)

вроде максимально описал

Владимир
29.05.2018
20:19:59
а точно из этой директории запускается команда?

Elena
29.05.2018
20:20:06
Да

а, комманда?

Владимир
29.05.2018
20:20:13
да

Elena
29.05.2018
20:20:14
Сейчас проверю

всё, работает!))

Владимир
29.05.2018
20:20:48
ну и хорошо)

Elena
29.05.2018
20:20:50
спасибо

Владимир
29.05.2018
20:20:56
пожалуйста

Vladimir
29.05.2018
20:22:32
Можно Линк, или что искать?
Верно, докеримейдж есть

Гуглите docker l2tp vpn

Вроде так искал

Google
Saw
29.05.2018
21:06:33
Всем привет! Уважаемые программисты, подскажите, пожалуйста, как проверить платеж киви? Сейчас много интернет-магазинов где оплата через киви. Просят при переводе средств в комментарии указывать номер заказа. Плюсом такой оплаты, а не через регистрацию киви магазина, я вижу в том что нет комиссии. и налогов долбаных :D Прошу не слать меня по разным ссылкам или еще куда подальше, а объяснить доступным языком как это работает и как мне это можно организовать.

Vespertilio
29.05.2018
21:09:12
у киви было апи, я как-то подключал, вроде бы не только магазины можно было через него обрабатывать

Saw
29.05.2018
21:09:44
В ообще вопрос стоит так. Как без Api и разрешения как обычный пользователь зайти на сайт, залогинится и вытянуть инфу от туда?

в программном коде это как реализовать и какие языки нужны?

вообщем мне тут сказали что это делается через cURL и PHP если кто то знает другой способ дайте знать =)

Magic
29.05.2018
21:20:16


Иллариэль
29.05.2018
21:22:36
Вроде так искал
Спасибо да есть уже такое, нашел

Kolya
29.05.2018
21:23:18
Андрей
29.05.2018
22:06:06
Ребят очень нужен человек кто дружит с php, MySQL и WordPress! Постоянное сотрудничество. Никак не могу найти, все заняты

Aziz
29.05.2018
22:08:00
Здраствуйте, такой вопрос, хочу сделать, чтобы для каждой группы была своя функция в модели для проверки checkUser, checkAdmin, checkModer, как можно вызвать, если например я запрашиваю в таблице доступов и мне выдает moder, admin, как мне вызвать checkModer итп? Юзер групп очень много

Евгений
29.05.2018
22:15:09
function checkAdmin() { echo 'called'; } $group = 'Admin'; $function = 'check' . $group; $function();

Страница 7500 из 8430