find . -name '*.py' | xargs wc -l

Оно и комментарии считает, а комментарии это не полезный код

Оно и комментарии считает, а комментарии это не полезный код

Я бы поспорил. Комментарии, конечно не код, но вещь очень полезная, желательно их использовать (те же докстринги).

подскажи пожалуйста

https://github.com/51Degrees/Device-Detection/tree/master/python у ребят своя база, в двух форматах, форматы тоже свои оптимизировано под задачи, хитрые алгоритмы и сишные либы под капотом первый формат попроще - определяет точней, но работает чуть медленней. второй наоборот соответственно. бесплатные базы обновляются раз в месяц, платные чаще и есть автообновление скачать быструю базу только после регистрации можно

Language files blank comment code Python 9 81 196 374 Вот так вот...

чо? cloc?

Спасибо, огонь!

ls -l -rwxrwxrwx 1 yegor yegor 20582817 Dec 14 13:09 companies.json афигеть файло

никому не надо продать?

Список русских ИП и тому подобных компашек с номерами телефонов

воруешь?

канеш

Мамкин хацкер что ль?

Мамкин хацкер что ль?

типа левачек

)))))

А зачем кому то покупать то, что можно получить бесплатно?!

Почему не напейсать шкрипт который будет ходить по доскам объявлений типа авито и выковыривать номера телефонов всех мелких торгашей и торговать этим делом?

А зачем кому то покупать то, что можно получить бесплатно?!

верно сказано

А зачем кому то покупать то, что можно получить бесплатно?!

Где ты это получишь бесплатно?

Где ты это получишь бесплатно?

в интернете блин! =)

в интернете блин! =)

Ну попробуй собери список торгашей с авито бесплатно

Но мне по факту не сколько прибыль сколько задача интересна

как организовать кучу задач в которых будет куча задач в которых будут парсеры и чтоб эти парсеры между собой как-то общались и чтоб в базу это заливалось и не дублировалось

И чтоб с сайта только свежее дергать

как организовать кучу задач в которых будет куча задач в которых будут парсеры и чтоб эти парсеры между собой как-то общались и чтоб в базу это заливалось и не дублировалось

парсеры между собой общались в пределах чего?

Ну попробуй собери список торгашей с авито бесплатно

Так а какая практическая польза от этого списка?

как организовать кучу задач в которых будет куча задач в которых будут парсеры и чтоб эти парсеры между собой как-то общались и чтоб в базу это заливалось и не дублировалось

Очередь бери какую-нибудь. Хоть редис, хоть zmq

Очередь бери какую-нибудь. Хоть редис, хоть zmq

если все в пределах процесса то обычную очередь взять и все

как организовать кучу задач в которых будет куча задач в которых будут парсеры и чтоб эти парсеры между собой как-то общались и чтоб в базу это заливалось и не дублировалось

Зачем парсерам общаться? Если для того, чтобы не дублировалась инф., то она не будет дублироваться, если выдавать каждому свою задачу. Для этого надо очередь организовать. Первый пришел, забрал задачу. Второй пришел, забрал задачу

Юзаю всратый ткинтер, есть массив со строками, нужно выдать много Lable, через for, в итоге ничего не робит

Юзаю всратый ткинтер, есть массив со строками, нужно выдать много Lable, через for, в итоге ничего не робит

плохо когда ничего не работает. попробуйте сменить прокладку между стулом и монитором.

Пробовал менять на множество прокладок, всё также

Ы

Зачем парсерам общаться? Если для того, чтобы не дублировалась инф., то она не будет дублироваться, если выдавать каждому свою задачу. Для этого надо очередь организовать. Первый пришел, забрал задачу. Второй пришел, забрал задачу

на сайте будут дубли полюбас. ну то есть несколько объявлений с одинаковым контактом. как понимаю, задача в том чтобы уникальные контакты как раз собрать.

на сайте будут дубли полюбас. ну то есть несколько объявлений с одинаковым контактом. как понимаю, задача в том чтобы уникальные контакты как раз собрать.

проверить базу на наличие такого номера, в чем проблема

на сайте будут дубли полюбас. ну то есть несколько объявлений с одинаковым контактом. как понимаю, задача в том чтобы уникальные контакты как раз собрать.

Дубли наверно лучше не на этапе парсинга убирать, а в постобработке

проверить базу на наличие такого номера, в чем проблема

как вариант) авито что ли парсит)

да скорее всего хеш от имени и телефона подойдет с какой-нибудь простенькой нормализацией и навесить на него уникальный индекс

Зачем парсерам общаться? Если для того, чтобы не дублировалась инф., то она не будет дублироваться, если выдавать каждому свою задачу. Для этого надо очередь организовать. Первый пришел, забрал задачу. Второй пришел, забрал задачу

Ну вот задачи как-то надо тоже ставить

Ну вот задачи как-то надо тоже ставить

Можно сделать обходчик, который формирует задачи, и очередь задач для обработки выбранных страниц. Вариантов много. А можно воспользоваться scrappy

вот “очередь задач"

как отправить сообщение к боту если незнаешь токен?

да скорее всего хеш от имени и телефона подойдет с какой-нибудь простенькой нормализацией и навесить на него уникальный индекс

зачем усложнять хэшами? номер и есть номер, продажникам у которых такие базы есть, обычно похер как зовут абонента Вася или Петя

какой нафиг хэш

uniq constraint

на пару полей

база сама в состоянии хэш посчитать

uniq constraint

?

И лови IntegrityError )

Кстате, по поводу телефонов. Нет ли каких таблеток чтоб их к общему виду приводить

Чуть позже пример кину

Кстате, по поводу телефонов. Нет ли каких таблеток чтоб их к общему виду приводить

для этого тожно должен быть пакет в npm

В этом видео Олег использует цикл и 'List Comprehension', а не генератор. Есть генераторы списков (что в видео), есть функция-генератор (что использовалось выше) - это абсолютно разные вещи.

И снова здорова. Открываешь dis и смотришь. Удивляешься что "абсолютно разные вещи" не такие разные.

И лови IntegrityError )

on dublicate ignore

Вот типа такой капец как-то до ума довести - http://dpaste.com/3ZEJFXQ

И снова здорова. Открываешь dis и смотришь. Удивляешься что "абсолютно разные вещи" не такие разные.

Да, они про одно и то же, по сути, только это разные уровни абстракции. В одном случае - использование генератора, в другом - его реализация

on dublicate ignore

?

привет! подскажите, плиз, как задеплоить апп (MongoDB+python) на AWS в контейнере? Есть ли какие то очень понятные гайды или примеры реализации? Почитал пару часов разные, не смог разобраться

Ребят привет, есть пару человек для теста софта? Только виртуалка или дедик!

банить или не банить вот в чем вопрос

что думаю остальные участники чата?

что думаю остальные участники чата?

За то что спросил помощи что бы узнать мнение других?

Ну, пусть вилку укажет, сойдёт как вакансия

За то что спросил помощи что бы узнать мнение других?

ага, выглядить как взлом или ддос

ага, выглядить как взлом или ддос

Не то и не то

за ник надо наказать, но бан - многовато

ага, выглядить как взлом или ддос

Но дедик/виртуалку потом на мусор только

банить или не банить вот в чем вопрос

Давай дослушаем эту историю и забаним

https://github.com/51Degrees/Device-Detection/tree/master/python у ребят своя база, в двух форматах, форматы тоже свои оптимизировано под задачи, хитрые алгоритмы и сишные либы под капотом первый формат попроще - определяет точней, но работает чуть медленней. второй наоборот соответственно. бесплатные базы обновляются раз в месяц, платные чаще и есть автообновление скачать быструю базу только после регистрации можно

к сожалению она не находит такие параметры как "patch", "minor", "major"(