даже мне, злобному виндузятнику не приходит в голову такое спрашивать в чате.

даже мне, злобному виндузятнику не приходит в голову такое спрашивать в чате.

вот ты сейчас @zartsoft оскорбил!

вот ты сейчас @zartsoft оскорбил!

он тоже спрашивает про CharAt?

Давай это будет последним предупреждением.

Четвёртого раза не будет.

Раза.

А что такое charat и почему я должен это знать?

ди ги чарат?

а

это ж .index

нет, это __getitem__

index это поиск индекса по значению, а нужно значение по индексу

Понапереходят из своих жаб

И просят странное

скрипт ходит по ссылках, собирает оттуда данные, добавляет в лист в обычной реализации это занимало около 120 с, попробовал запилить многопоточность, получилось что с двумя, что пятьюдесятью воркерами 60 с. почему так)?

Может два ядра всего?

На видяхе многопоточность лучше реализовуй. Есть либы на Питоне для openCL

*медитирую*

)

При чём тут ядра и gpgpu?

а это ты у автора ответа спроси

но ключевое слово "ходит по ссылках"

Я понял каюсь

scapy же!

На видяхе ты веб не реализушь

По идее только внутренние вычисления. Я правильно понял?

scapy же!

Да хоть хуяпи, тут боттлнек в сети

Да хоть хуяпи, тут боттлнек в сети

уверен? ;)

чтобы упереться в сеть, "ходя по ссылкам" - это надо постараться, с учетом текущих каналов

в смысле в пропускную способность сети

Может что-то банально блочит частоту запросов?

Может что-то банально блочит частоту запросов?

а сколько ты запросов-то делаешь? Сколько ссылок обрабатываешь?

уверен? ;)

Ну смотри, с 1 до 2х линейно масштабируется, с 2х до 50ти уже всё. Мутитрединг с GIL просто позволяет переключать треды, пока они в блокировках сидят.

а сколько ты запросов-то делаешь? Сколько ссылок обрабатываешь?

Я не автор запроса. Он код свой прислал. Сейчас скину. Это из другого чата

http://pastebin.com/rKQfXRKL

То есть не автор вопроса* т9

Если дело было бы не в сети, а в парсере, то на более менее машине не ранее 2012 года остановку в скалабилити увидели бы на 8-16 тредах

Но тут уже в 2 упирается

Вывод — парсер простой, сеть загружена и является боттлнеком

Вам не треды нужны, а неблокирующие сокеты и прочая асинхронщина, потому что основное время скрипт ожидает ответа от сервера, а не скачивает/получает информацию.

Сейчас в бегиннерв перешлю

scrapy - как раз и реализован на twisted. Используйте же нормальные инструменты ,а не пилите свой велосипед

Мне вообщем ближе думать на уровне системного вызова select() без сахарной асинхронщины

Вот топик стартер

☺️

Вам не треды нужны, а неблокирующие сокеты и прочая асинхронщина, потому что основное время скрипт ожидает ответа от сервера, а не скачивает/получает информацию.

спасибо, потыкаю в asyncio

Какое то странное умение читать. Зачем асинкио если есть уже готовый инструмент для таких задач?

ну можно рассматривать как учебное задание

:)

Какое то странное умение читать. Зачем асинкио если есть уже готовый инструмент для таких задач?

Отупляющая концепция

Отупляющая концепция

Нет

Опасный ответ.

Я знаю :3

Я знаю :3

Хоть что-то

:D

http://pastebin.com/rKQfXRKL

хз, у меня норм работает либо у него криво написана сама функция запроса либо у него медленная сеть (что маловероятно) либо его тротлят на тех сайтах, куда он делает запросы

http://pastebin.com/D13VS0Jj

ERROR: S client not available

Мне вообщем ближе думать на уровне системного вызова select() без сахарной асинхронщины

Не надо думать про select от слова совсем

http://pastebin.com/rKQfXRKL

Весь этот код на gevent будет проще

Весь этот код на gevent будет проще

конкурренс видел?

он, к сожалению, похоже помер, но выглядело отлично

gevent это плохо же

но асинкоёбам ты этого не докажешь

gevent это плохо же

а чем плохо?

Не надо думать про select от слова совсем

Каждый раз, когда пишешь асинхронную приложеньку - думай: "а как бы поступил селект?"

Каждый раз, когда пишешь асинхронную приложеньку - думай: "а как бы поступил селект?"

select * from users;

select * from users;

To select or not to select?

всем привет! как можно еще больше это минимизировать? и желательно оптимизировать :D

Я прнс

збс спсб

Да, это ёбаный пиздец конечно Но ведь чуваку сказали сделать эту хрень в как можно меньшее количество строк И вариант с шифровкой в base64 едва ли прокатит

бля

где вы такое достаёте

В питоночатиках пишут

Я прнс

Нс бртн, пздц

кулхацкер какой-то

Помнится Zart любил запилить максимальное продуктивное приложение на pyramid с наименьшим количеством строк

а почему в прошедшем? он помер после этого что ли?

Может его пристрастия изменились

Например, стал пилить на django

? Вот это жирно.

ясно, считай помер

@zartsoft ди сюда, только кофе проглоти в начале, чтобы монитор не залить.