че там у вас с вилкой? сбертех хахах

Ну, в глаз или в жопу раз

Всё как обычно

мда, идея неудачная

Как и вопрос

ну мб ты не в курсе вилка- это проект сбертеха на хабре и мб где-нибудь исчо

я не совсем вкурсе, там дизайну учат, очень продвинутому

А, думал ты про з/п, не в курсе про проект

нее

Я в мобилках, хз кто там чем занимается

но поугарал там пипл :)

Как и везде, есть посредственные сотрудники

Посмотрю на досуге, спс

Народ, а вот чтобы парсить с сайта большие обьемы информации без риска быть забаненным, надо как-то ограничивать процесс по времени, т.е. делать какие-нибудь промежутки в выполнении кода, а-ля time.sleep() ?

Зависит от сайта

Использовать прокси, делать промежутки парсинга.

Подставлять разные данные в юзерагенте и т.д

Ну сайт не популярный, прост оинтернет магазин каких-то запчастей.

Википедия, например, не банит, даже если в 100 потоков долбиться

Использовать прокси, делать промежутки парсинга.

промежутки это то о чем я говорил как раз?

промежутки это то о чем я говорил как раз?

Да, нужно эмулировать действия пользователя. тогда риск будет минимальный

Ясно, спасибо.

Ясно, спасибо.

Есть Фреймворки граб, скрапи

Из коробки нокоторые вещи идут

А я бьютифул суп осваиваю. Там такого "в коробке" нету?

Суп это парсер, а не фреймворк

Его можно использовать как бэкенд для граба

То есть скраппи будет фронт-эндом, тогда?

То есть скраппи будет фронт-эндом, тогда?

скрапи ето спайдермэн

?

сложна!

ну короче он в основном для скрапинга сайтов, но может юзать некоторые API(например Amazon Associates Web Services)

Пилил кто на питоне и каком-нить фреймворке интернет-магазин? Или движки годные есть уже?

Хочется хуяк хуяк и в продакшен

Будто это рнр

wordpress? D:

wordpress? D:

На питоне?

чем скрапинг сайтов отличается от парсинга?

И на вп магаз это же как анальный секс

На питоне?

я хз, но там точно хуяк-продакшн

чем скрапинг сайтов отличается от парсинга?

тем что работает в основном с HTML, быстро и эффективно. Это я про scrappy

Пилил кто на питоне и каком-нить фреймворке интернет-магазин? Или движки годные есть уже?

Пилил. Осталась верстка

а говорили, что джикури - прошлый век

жи есть

а говорили, что джикури - прошлый век

Я что на фронтендера похож?

Слепил из чего было. Главное, що работает

Слепил из чего было. Главное, що работает

А из чего лепил? И как ощущения? Секурность?

Из жанги

Как я понял по ссылке только хтмл и ксс?

Ощущения норм

Как я понял по ссылке только хтмл и ксс?

Что?

Слепил из чего было. Главное, що работает

А что там работает, если не секрет?

Все. Мобильная версия только не фурычит

Вернее накосорезил с адаптивной версткой

И Корзины не видно

Сейчас поправить не могу, так как в другой стране и без компа

ты походу еще не закончил отмечать

"Здесь должен быть наш товар" - это все работает? :D

Выберете цвет:

не показывай это никому больше

???

Я же говорю. Только верстка

http://johnybear.pythonanywhere.com/item_list/3 Server Error (500)

Лол. И бд заполнить надо

http://johnybear.pythonanywhere.com/item_list/3 Server Error (500)

https://docs.djangoproject.com/en/1.10/topics/http/shortcuts/#get-object-or-404

https://docs.djangoproject.com/en/1.10/topics/http/shortcuts/#get-object-or-404

а мне это зачем? :D

Господа, как избавиться от повторяющихся словарей в списке словарей, если порядок ключей в словаре может меняться (поэтому нельзя через tuple, собственно)?

Что?

Ну вот эти вот анимации меню - это ксс же?

Материалах цсс

https://docs.djangoproject.com/en/1.10/topics/http/shortcuts/#get-object-or-404

Это знаю. Спасибо.

Кто работал с vk api, подскажите можно ли получить посты с открытых групп без авторизации?

низя

для работы с апи обязательно нужная авторизация

невсегда

Кто работал с vk api, подскажите можно ли получить посты с открытых групп без авторизации?

Можно

wall.get

Народ, кто-нибудь имел дело с BeautifulSoup? Ну или хотя бы просто, парсил сайты чем-нибудь.

Слышал о таком

Немного использовал

Так, чисто поиграться

Хорошая вещь

Там у них на офф сайте хорошая документация

Да мне вопрос не по нему конкретно а более общий.

http://entuziast-spares.ru/ вот тут каталог - потом первый элемент в списке - потом снова первый элемент в списке - потом снова - потом снова и так пока не попадаешь на страницу с данными которые и надо спарсить. Вот эту повторяемость как лучше оформить? У меня вышло 5 фор лупов один за одним. Прозреваю, что это не правильно.

Можно попробовать расфосовать по методам

А потом просто соблюдать очередность их выполнения

http://entuziast-spares.ru/ вот тут каталог - потом первый элемент в списке - потом снова первый элемент в списке - потом снова - потом снова и так пока не попадаешь на страницу с данными которые и надо спарсить. Вот эту повторяемость как лучше оформить? У меня вышло 5 фор лупов один за одним. Прозреваю, что это не правильно.

пять фор-циклов то зачем? один while

Ну, 1-й фор, типа "для каждого дива с таким-то классом найти в нем тег А там ссылку, и перейти по ней". 2-й фор, "для каждого дива с таким же классом найти тег А, там новую ссылку и перейти по ней", и так вот до самого конца.

Как одним while сдлать я не представляю.

то есть, на странице http://entuziast-spares.ru/buy-spares/echo/zapchasti-dlya-tehniki-sadovoj-echo/ тебе нужно будет перебрать все каталоги запчастей, не только первую ссылку?

http://entuziast-spares.ru/buy-spares/ тут зайти в каждую ссылку, и везде вообще в каждую ссылку поку не упрешься в страницу с характеристиками, и их уже сохранить

все каталоги всех запчастей и по всем производителям

самый просто вариант - рекурсия.