Какое будущее ждёт наш ЯП?

Мысли опытных и бывалых?

Asyncio

Продолжите мысль?

Какое будущее ждёт наш ЯП?

Data Science, ML and AI

Продолжите мысль?

ну вы предложили мультипроцессинг, я предложил сделать это асинхронно

Data Science, ML and AI

web уйдёт?

web уйдёт?

Думаю не совсем

ну вы предложили мультипроцессинг, я предложил сделать это асинхронно

Могу сегодня вечером сделать бенч asyncio vs multiprocessing на скачивание файлов. Если интересно.

Могу сегодня вечером сделать бенч asyncio vs multiprocessing на скачивание файлов. Если интересно.

чо значит vs

чо значит vs

Против

если хочешь макс профит нужно юзать hardware concurency количество потоков(у вас процессов) и в каждом много скачиваний асинхронно

но это даст какойто профит если ваша сеть сильно больше тянет чем дает сервер

тут 3 точки тормозов - скорость отдачи сервера, канал приема клиента и процессор

против первого - увеличивать количество одновременных скачиваний, против последнего - разбить на процессы

против второго ничего не поможет

Python 3.6 Pandas 0.20.3 Bokeh 0.12.14 Есть df, из него сделан pivot_table, причем с MultiIndex (подробности на скрине ниже) Хочу сделать vbar stacked по каждой дате, вывести X = дата из start_date_of_trial_access высота столбца= значения для каждого status_id (new_lead, DNC, и.т.д) При наведении на график вывести показатели по responsible_user_id_x и кол-ву Пробовал много чего, как я понял все упираеться в правильной передачи значения source = ColumnDataSource(data=bok) для датафрейма с мультииндексом. К сожалению смог найти решение только для Boke 0.11.0 ( Помогите разобраться

source = ColumnDataSource(data=status_idp) p = figure(title="status_id",x_axis_type="datetime", plot_width=900, plot_height=400, tools=TOOLS, toolbar_location='below') p.vbar(x=status_idp.index, bottom=0, top=status_idp.new_lead, width=1, color='red', legend='new_lead') show(p)

source = ColumnDataSource(data=status_idp) p = figure(title="status_id",x_axis_type="datetime", plot_width=900, plot_height=400, tools=TOOLS, toolbar_location='below') p.vbar(x=status_idp.index, bottom=0, top=status_idp.new_lead, width=1, color='red', legend='new_lead') show(p)

Очень специфичная задача, думаю, на стоковерлов больше возможностей поймать кого сведующего

Хотя это относится к анализу, как понимаю, самому тоже интересно стало

Разучивают такую вещь, как декораторы

Сек

Ну и понятное дело повторять одно и тоже каждый раз муторно и не DRY

Почитай про очереди

Почитай про очереди

Сложно представить, как это можно применить к моей ситуаци) Пока слеп

Кладёшь задание на отправку в очередь. Достаёшь оттуда, пытаешься отправить. Когда получаешь ответ от сервера что все ок - уведомляешь очередь что это сообщение обработано

Как понимаю, это тоже можно задекорировать?

И это более правильный подход нежели while try except?

Кладёшь задание на отправку в очередь. Достаёшь оттуда, пытаешься отправить. Когда получаешь ответ от сервера что все ок - уведомляешь очередь что это сообщение обработано

Годно.

Хорошо. Благодарю. Хотел узнать об одном и ещё доп. инфы подчерпнул)

Это не совсем цифры

https://stackoverflow.com/questions/5074803/retrieving-parameters-from-a-url

x[-n:] Где n длина с конца

Весь урл который ты скинул

text = 'https://zen.yandex.ru/media-api/publication-view-stat?publicationId=5aabdfb8a815f13d161aaa67' print (text.split('=')[1]) Вот мой корявый вариант)

x = "https://zen.yandex.ru/media-api/publication-view-stat?publicationId=5aabdfb8a815f13d161aaa67" print(x[-24:])

https://docs.python.org/2/library/urlparse.html

Не?

И тебе надо вытащить 5aa8ba4f9b403c50c355e94c?

Это часть пути, попробуй ссылку мою

Это часть пути, попробуй ссылку мою

Скидывайте на третий питон.

Оке

подскажите как бы мне проще всего из питона 3.4.5 выполнить команду в шелл и забрать в переменную вывод stdout?

subprocess читаю сейчас, может есть лучше варианты?

https://docs.python.org/2/library/urlparse.html

Вы мне напомнаете фронтенд разработчиков: "Написать в одну строчку или импортнуть целую библиотеку? Конечно же импортнуть" ?

Хз, я не против использования встроенных библиотек. Если бы требовалось что-то ставить через pip, то уже другое дело

подскажите как бы мне проще всего из питона 3.4.5 выполнить команду в шелл и забрать в переменную вывод stdout?

subprocess.call([...], shell=True)

Хз, я не против использования встроенных библиотек. Если бы требовалось что-то ставить через pip, то уже другое дело

Тоже, но иногда можно обойтись просто синтаксисом языка как например в этом случае.

Тоже, но иногда можно обойтись просто синтаксисом языка как например в этом случае.

Это если у тебя фиксированная длина нужного параметра

subprocess.call([...], shell=True)

спасибо!

Это если у тебя фиксированная длина нужного параметра

+

subprocess.call([...], shell=True)

чтото не пашет, выдает бред

messages_qty = subprocess.call(["echo 1"], shell=True)

а выдает 0

messages_qty = subprocess.call(["echo 1"], shell=True)

["echo", "1"]

ааа....

блин, все равно 0

блин, все равно 0

Это return code. Вам нужно читать stdout?

Это return code. Вам нужно читать stdout?

понял, var.stdout

Попробуйте subprocess.check_output(["echo", "1"])

Попробуйте subprocess.check_output(["echo", "1"])

да, выводит только ответ в байтах

когда я делаю str(var) выдает b'1\n'

когда я делаю str(var) выдает b'1\n'

.decode("utf-8")

subprocess.check_output([...]).decode("utf-8")

subprocess.check_output([...]).decode("utf-8")

да, так работает,

это действительно самый простой вариант?

еще в конце поставил .strip() чтобы не было никаких переносов строки

это действительно самый простой вариант?

Можно без decode если check_output([...], universal_newlines=True) Вот самый простой способ

Можно без decode если check_output([...], universal_newlines=True) Вот самый простой способ

да, супер, спасибо!

Как понимаю, хранить, к примеру, токены для доступа постинга в соц. сети в config.py не очень правильно. Например, перед заливкой на гит придётся чистить эти строчки. Как выйти из такого положения?

Как понимаю, хранить, к примеру, токены для доступа постинга в соц. сети в config.py не очень правильно. Например, перед заливкой на гит придётся чистить эти строчки. Как выйти из такого положения?

надо написать скрипт который тебе перед отправкой на git затирает токен а потом восстанавливает обратно

надо написать скрипт который тебе перед отправкой на git затирает токен а потом восстанавливает обратно

Звучит сложно. Я вот не придумал ничего лучше, кроме как использовать access.py и добавить его в гитигнор

делаешь vi upload.sh и в нем mv config.py .. && git push .

Звучит сложно. Я вот не придумал ничего лучше, кроме как использовать access.py и добавить его в гитигнор

а действительно я про гит игнор совсем забыл,