все равно же перебор

Сморите, я перебириаю список и изменяю сразу много элементов в нем, которые после изменения уже не нужно трогать. Перебор копии будет работать, но он будет перебирать излишки, время работы будет расти неистовски, даже не знаю в каком порядке В таком случае перебор не копии тоже говно, или норма?

Перебор не копии тебе выдаст ошибку сразу. Кхе

берешь список, идешь по нему листкомпом, генеришь новый, записываешь на место старого

хотя

покажи конкретную задачу, чо уж там

Сморите, я перебириаю список и изменяю сразу много элементов в нем, которые после изменения уже не нужно трогать. Перебор копии будет работать, но он будет перебирать излишки, время работы будет расти неистовски, даже не знаю в каком порядке В таком случае перебор не копии тоже говно, или норма?

чего?

Сморите, я перебириаю список и изменяю сразу много элементов в нем, которые после изменения уже не нужно трогать. Перебор копии будет работать, но он будет перебирать излишки, время работы будет расти неистовски, даже не знаю в каком порядке В таком случае перебор не копии тоже говно, или норма?

которые не надо трогать в новый список клади

Сморите, я перебириаю список и изменяю сразу много элементов в нем, которые после изменения уже не нужно трогать. Перебор копии будет работать, но он будет перебирать излишки, время работы будет расти неистовски, даже не знаю в каком порядке В таком случае перебор не копии тоже говно, или норма?

покажи код и задачу

Это чат для профессионалов

С дома залью

Функциональщины ему подкиньте!

я так понял - идем по списку. Возможно из первых элементов этого списка нам надо делать правки в большом количестве последующих (однократно, а потом их отдавать)

Целыми днями обсуждение как обходить списки

пф

тогда б я б сделал генератор, куда скармливаешь исходный, а оттуда вываливается результат

Кто-нибудь сегодня елку решил как-нибудь изощренно? Мультитредингом там или асинками. Покажите.

лисп считается за изощренное 8)

Кто-нибудь сегодня елку решил как-нибудь изощренно? Мультитредингом там или асинками. Покажите.

Какую часть?

Какую часть?

2,конечно

Ней, я нетворкх просто взяла и веса проставила ребрам

ах ты

Ах ты

Кто-нибудь сегодня елку решил как-нибудь изощренно? Мультитредингом там или асинками. Покажите.

? уже второй день нет времени на елку. тут полная елка на проекте.

лисп считается за изощренное 8)

Определённо

Я лично перехожу на вечеренее решение ёлки.

Подкинули на работе серьезных тасков и задачи стали чуть посложнее.

я перед началом работы

Товарищи, в первые вижу эту ошибку по гуглил и вроде Я всё правильно делаю - import requests from requests.auth import HTTPBasicAuth import json user = 'user' passwd = 'pass$' url = 'url' # Make your request response = requests.get(url, auth=HTTPBasicAuth(user, passwd)) # Convert JSON to dict r = response.json() print(r) ОШИБКА json.decoder.JSONDecodeError: Expecting value: line 2 column 1 (char 1)

Товарищи, в первые вижу эту ошибку по гуглил и вроде Я всё правильно делаю - import requests from requests.auth import HTTPBasicAuth import json user = 'user' passwd = 'pass$' url = 'url' # Make your request response = requests.get(url, auth=HTTPBasicAuth(user, passwd)) # Convert JSON to dict r = response.json() print(r) ОШИБКА json.decoder.JSONDecodeError: Expecting value: line 2 column 1 (char 1)

Значит там не жсон

Значит там не жсон

хмл может быть

хмл может быть

А зачем .json()

А зачем .json()

я просил урл с жсон может они хмл дали

я просил урл с жсон может они хмл дали

а ты хедер на жсон прописал?

7

С пределах прямоугольника 80х25 символов

я просил урл с жсон может они хмл дали

Так ты сперва посмотри тело ответа. Зачем эти гадания?

Так ты сперва посмотри тело ответа. Зачем эти гадания?

или так, да, тоже хороший варик ;D

Так ты сперва посмотри тело ответа. Зачем эти гадания?

у меня нет ответа

Ошибка такая json.decoder.JSONDecodeError: Expecting value: line 2 column 1 (char 1)

а что, текст залогировать не?

у меня нет ответа

блэт, не делай .json() и посмотри что в респонсе

Это в меде столько тратят наверное)

ну если в обычной казани что-то около 270 в год сейчас то в москве 450 и дальше больше

Товарищи, сколько денег просить за парсер сайта?

Или может расскажете какое-то ценообразование?

Товарищи, сколько денег просить за парсер сайта?

Смотря какой сайт...

Ну я с сайта выдергиваю около 26к нужных единиц чего-то

Товарищи, сколько денег просить за парсер сайта?

Я бы тоже хотел услышать про ценообразование... Ибо задача сия может разниться от очень простой до суперсложной....

Ну я с сайта выдергиваю около 26к нужных единиц чего-то

"ЕДИНИЦА" -- это что?

ну если совсем конкретно то номер телефона

Ну это строчка, как бы, неких данных. Ко-во строк не должно влиять на стоимость вообще. Входит в базовую.

Товарищи, сколько денег просить за парсер сайта?

оцени время написания помножь на цену своего часа например 800р

ну если совсем конкретно то номер телефона

А вот если ты парсишь в одну сущность номер телефона и имя -- это одно. А номер телефона, имя, фам. отчество, адрес и город -- это уже другая цена должна быть.

оцени время написания помножь на цену своего часа например 800р

Оценить время -- это всё равно, что оценить деньги, ибо они -- линейно зависимые величины.

вобщем все плохо)))

оцени время написания помножь на цену своего часа например 800р

Как оценить время?

ну он же не первый раз программирует и примерно знает сколько примерно времени на это потратит, а с заказчиком договаривать о цене часа и говорить сколько по максимуму может занять времени задача.

вобщем все плохо)))

Я полагаю, надо выделить сколько страниц информации надо обработать, и сколько единиц информации (полей) вычленить. Далее -- базовая цена, + на каждую страницу -- базовая цена страницы + на каждое доп. поле -- базовая цена доп. поля. + поля и страницы надо ранжировать по сложности, простые, средние, сложные Разные цены будут.

ну он же не первый раз программирует и примерно знает сколько примерно времени на это потратит, а с заказчиком договаривать о цене часа и говорить сколько по максимуму может занять времени задача.

Ну я вот первый раз такую задачу буду делать, если буду.

В том то и дело что первый раз

вобщем все плохо)))

Кстати, а как ты JS на странице обрабатываешь? Если они там не дурни, они же будут через JS данные высылать, а не на чистом HTML...

как сложить такую гору чисел? +13 +4 -8 +11 +13 -12 +19 +6 -4 -7

кладешь в список, а потом магия: '''res = 0 for el in lis: res+ = el ''''

Гайз, кто-то делал тг ботов с панелью управления? Есть ли смысл от джанги или фласка хватит?

Кстати, а как ты JS на странице обрабатываешь? Если они там не дурни, они же будут через JS данные высылать, а не на чистом HTML...

ну это уже зависит от крутости сайта и того кто его делал

там все в хтмл

я уже почти все сделал

ERROR: S client not available

Кстати, а как ты JS на странице обрабатываешь? Если они там не дурни, они же будут через JS данные высылать, а не на чистом HTML...

Фантомжс?

Гайз, кто-то делал тг ботов с панелью управления? Есть ли смысл от джанги или фласка хватит?

Хочешь быстро поднять делай на джанге

Но смысл?

Вот и я его ищу.

там все в хтмл

ВОт если HTML, может быть 3 разновидности: Парсится regex парсится только XML-парсером, Парсится только HTML-парсером. Первая очень простая, две остальные -- сильно сложнее.

Фантомжс?

А можно детальнее ? Ссылку?

А, кажется уже сам нашёл

А, кажется уже сам нашёл

Ну ты же знаешь наверняка

Ну ты же знаешь наверняка

Не, я не знал, но нашёл... НА Qt...

Или может расскажете какое-то ценообразование?

Человека\часов универсальная мера. Например стоишь ты 15 долларов в час или 50 долларов в час. Оцениваешь время, выставляешь примерную стоимость. Если будут правки, пожелания, или проблемы, которые увеличивают время, увеличивается и стоимость

Человека\часов универсальная мера. Например стоишь ты 15 долларов в час или 50 долларов в час. Оцениваешь время, выставляешь примерную стоимость. Если будут правки, пожелания, или проблемы, которые увеличивают время, увеличивается и стоимость

тАк блин, след. вопрос -- как оценить время... Ясно дело, что надо не деньги считать, а время, это и ежу понятно

Сложность задания оценить сложно, кто то делает быстрее, кто то дольше. И качество от времени не всегда зависит.

тАк блин, след. вопрос -- как оценить время... Ясно дело, что надо не деньги считать, а время, это и ежу понятно

Жак Фреско описывал этот вопрос, мог бы найти видео. Но в youtube полно. Если ты незнаешь конечное время, подели на этапы равные по твоему мнению. Выполни первый этап проверь с твоим прогнозом, если делаешь дольше, корректируешь остальные этапы по времени (увеличиваешь) , делаешь быстрее (уменьшаешь)

То что ты делаешь впервые оценить сложно, только на ощущениях. То что ты уже делал, ты должен и так знать примерное время. Чел из Яндекса оценивал всю работу по формуле, что то вроде. думает 3 месяца надо * 1.7 = 153 дня + 1 неделя.

1 неделю он всегда добавлял для того, что если проебет все дедлайны, то ему хватит 1 недели, чтобы кое как сделать любой проект на коленке

То что ты делаешь впервые оценить сложно, только на ощущениях. То что ты уже делал, ты должен и так знать примерное время. Чел из Яндекса оценивал всю работу по формуле, что то вроде. думает 3 месяца надо * 1.7 = 153 дня + 1 неделя.

Ну, это философия всё. Пустое.

Ладно, вопрос реально сложный...

Ну, это философия всё. Пустое.

Я например парсил кинопоиск давно, задача была, со страниц стащить все фильмы, данные актеров, продюссеров вот это все, правильно в базу по табличкам, чтобы бери и пользуйся, а также скачать в папку с путями все трейлеры, если они есть, все обложки. В общем все-все, кроме отзывов. Я скрипт написал за вечер, парсило-качало 2-3 дня. И жесткий диск передал заказчику за 100 баксов.

Хотя в то время баксов 200 было. помню 30 000 тенге было.

Я например парсил кинопоиск давно, задача была, со страниц стащить все фильмы, данные актеров, продюссеров вот это все, правильно в базу по табличкам, чтобы бери и пользуйся, а также скачать в папку с путями все трейлеры, если они есть, все обложки. В общем все-все, кроме отзывов. Я скрипт написал за вечер, парсило-качало 2-3 дня. И жесткий диск передал заказчику за 100 баксов.

Ну, чёт дёшево... Оно и без проксей по идее не должно было работать

Ну, чёт дёшево... Оно и без проксей по идее не должно было работать

Почему? Там не было банов, и не фигачило оно в секунду 10 раз. Дольше всего качало трейлеры. И не фигачил я одновременные скачивания сотни ссылок.

Я например парсил кинопоиск давно, задача была, со страниц стащить все фильмы, данные актеров, продюссеров вот это все, правильно в базу по табличкам, чтобы бери и пользуйся, а также скачать в папку с путями все трейлеры, если они есть, все обложки. В общем все-все, кроме отзывов. Я скрипт написал за вечер, парсило-качало 2-3 дня. И жесткий диск передал заказчику за 100 баксов.

Ну и я что-то не верю, там только БД под это ваять надо дня два. И сайт сам изучать по структуре данных минимум дня 2.

Время 2-3 дня, да хоть неделю если твой скрипт работает,

Почему? Там не было банов, и не фигачило оно в секунду 10 раз. Дольше всего качало трейлеры. И не фигачил я одновременные скачивания сотни ссылок.

Ну ок, банов не было, но хотя бы БД надо было нарисовать... Сколько там таблиц было в БД у тебя? Полагаю, минимум 20

Ну и я что-то не верю, там только БД под это ваять надо дня два. И сайт сам изучать по структуре данных минимум дня 2.

Хм... почему? Html парсить не сложно, раньше я делал парсинг свой, а сейчас есть прекрасная BeatifulSoap тогда про нее незнал. БД не нужно ничего особо проектировать. Таблица фильмов, таблица актеров, таблица режжисеров, таблица обложек, таблица трейлеров и тд, и связки по ID друг с другом в иерархии. сверху вниз. И сохраняй все.

Ну ок, ты видимо гений-хакер...

Ну ок, банов не было, но хотя бы БД надо было нарисовать... Сколько там таблиц было в БД у тебя? Полагаю, минимум 20

Да может где то 20, но это просто считай документы. Если бы тогда МонгоДБ было, вообще все проще. Я бы в ORM по классам бы запихал и вообще не думал о базе данных. А тогда я записывал все в PostgreSQL, парсинг был PHP

Ну, ну ты всё равно гонишь, вечер -- это 4 часа, ну, ок, может 8 часов, один рабочий день. Ну, не утолкать всё в 8 часов это...

Я -то как бы не против, но просто потом получается, что заказчики думают, что такая задача -- это раз плюнуть, и на фрилансах любой сайт парсить заказчики предлагают за 2-5 тысяц рублей.

Ну ладно...

Ну ок, ты видимо гений-хакер...

Не думаю, что это сложно. просмотри страницу. https://www.kinopoisk.ru/film/vlastelin-kolec-dve-kreposti-2002-312/ - там большая часть полей это аттрибут у таблицы Фильм. Обложка тоже может быть аттрибутом на скаченный файл. Таблица Трейлеров, Таблица сотрудников.