@darik_ii будет жить. Поприветствуем!

@TaDimon будет жить. Поприветствуем!

Привет всем.

Меня в бигенерах забанили

Кто может с разбаном помочь?

Друзья, а какие есть либы для питона по анализу текста ? К примеру, пользователь вводит: hey, hi,, hello, good evening, etc., после анализа она бы выдавала: greeting. ну и т.д. Спасибо.

Кто может с разбаном помочь?

Тебя там по делу забанили

Тебя там по делу забанили

Я знаю, я хочу извиниться

Больше не буду, я просто спросил

@nastachku2019 будет жить. Поприветствуем!

Подскажите как найти время выполнения задач селери, у меня есть к примеру 10 картинок, циклом создаю task.delay(), как узнать время выполнения 10 задач, ну или хотя бы одной для начала

Vitaly BY будет жить. Поприветствуем!

Подскажите как найти время выполнения задач селери, у меня есть к примеру 10 картинок, циклом создаю task.delay(), как узнать время выполнения 10 задач, ну или хотя бы одной для начала

https://stackoverflow.com/questions/19481470/measuring-celery-task-execution-time use celery signals luke

Python 3.6, aiohttp 3.5.4, requests 2.21.0 проблема следующая: Есть один сайт который надо спарсить, если я кидаю GET запрос через requests.Session() то контент отдаётся и его можно обрабатывать. если кидать GET через aiohttp.ClientSession() то меня детектит как бота почти мгновенно. Притом такое наблюдается даже с дефолтными настройками сессий, (т.е. я пробывал ставить разные юзерагенты и куки) вопрос собственно в следующем - Чем так принципиально отличается aiohttp что его сразу считают за бота? Как это можно побороть?

Python 3.6, aiohttp 3.5.4, requests 2.21.0 проблема следующая: Есть один сайт который надо спарсить, если я кидаю GET запрос через requests.Session() то контент отдаётся и его можно обрабатывать. если кидать GET через aiohttp.ClientSession() то меня детектит как бота почти мгновенно. Притом такое наблюдается даже с дефолтными настройками сессий, (т.е. я пробывал ставить разные юзерагенты и куки) вопрос собственно в следующем - Чем так принципиально отличается aiohttp что его сразу считают за бота? Как это можно побороть?

Ты что то упускаешь из виду. Тщательно сравни заголовки исходящих запросов requests и aiohttp

Ты что то упускаешь из виду. Тщательно сравни заголовки исходящих запросов requests и aiohttp

поднял сервер который в консоль пишет хидеры, кинул ему GET из requests и aiohttp идентичны

поднял сервер который в консоль пишет хидеры, кинул ему GET из requests и aiohttp идентичны

Попробуй посмотреть на этапе отправки

Здравствуйте. Кто-нибудь работал в pandas?

т.е. с pandas

Здравствуйте. Кто-нибудь работал в pandas?

nometa.xyz

Здравствуйте. Кто-нибудь работал в pandas?

ЗАДАВАЙ. СРАНЫЙ. ВОПРОС. СРАЗУ.

т.е. с pandas

нет, почти 8к человек в питоночате никогда не работали с pandas

Привет Ребята есть вопрос можно задать? Как установить питон на компьютер? Это то, как делать не надо! А так всем доброе утро ???

Есть 2 столбца 'position' и 'detect'. В 'position' лежит расстояние срабатывания детектора. В 'detect' данные в словаре{} или '--' (отсутствие данных). df = pd.DataFrame('file.csv') dd=df['detect'][:]', dp=df['position'][:]- выбираю столбцы 'detect' и 'position. a=[i for i in dd if i!='--'] - отбрасываю ячейки без данных. Вопрос в том, как сделать так, чтобы отсортированные данные соответствовали данным в 'position'.

"...в словаре" - можно просто числа, не в словаре.

Есть 2 столбца 'position' и 'detect'. В 'position' лежит расстояние срабатывания детектора. В 'detect' данные в словаре{} или '--' (отсутствие данных). df = pd.DataFrame('file.csv') dd=df['detect'][:]', dp=df['position'][:]- выбираю столбцы 'detect' и 'position. a=[i for i in dd if i!='--'] - отбрасываю ячейки без данных. Вопрос в том, как сделать так, чтобы отсортированные данные соответствовали данным в 'position'.

Что ты в конечном итоге хочешь получить. Сейчас у тебя какая то дичь

Позиция - данные

Позиция - данные

т.е. тебе нужны две колонки (position, detect) в списке? А не два раздельных списка? Нет, не так. Тебе надо убрать записи с пустым detect?

Можно и так и так. Мне главное их связать как-то , чтоб обращаясь к позиции была ссылка(или ещё что-то) на данные в detect.

Пустой я убрал и поместил в список 'a'

Позиция - данные

это же словарь

это же словарь

Да, только нужен сортированный

Да, только нужен сортированный

с 3.7 же словари автоматически сортируются

с 3.7 же словари автоматически сортируются

Не сортируются

И не автоматически

Сохранение порядка вставки != Сортировка

с 3.7 же словари автоматически сортируются

они аналог ordereddict

Есть 2 столбца 'position' и 'detect'. В 'position' лежит расстояние срабатывания детектора. В 'detect' данные в словаре{} или '--' (отсутствие данных). df = pd.DataFrame('file.csv') dd=df['detect'][:]', dp=df['position'][:]- выбираю столбцы 'detect' и 'position. a=[i for i in dd if i!='--'] - отбрасываю ячейки без данных. Вопрос в том, как сделать так, чтобы отсортированные данные соответствовали данным в 'position'.

DataFrame вообще большой?

Сохранение порядка вставки != Сортировка

виноват, перепутал)

Python 3.6, aiohttp 3.5.4, requests 2.21.0 проблема следующая: Есть один сайт который надо спарсить, если я кидаю GET запрос через requests.Session() то контент отдаётся и его можно обрабатывать. если кидать GET через aiohttp.ClientSession() то меня детектит как бота почти мгновенно. Притом такое наблюдается даже с дефолтными настройками сессий, (т.е. я пробывал ставить разные юзерагенты и куки) вопрос собственно в следующем - Чем так принципиально отличается aiohttp что его сразу считают за бота? Как это можно побороть?

эмулируй поведение человека

Пытался так: dd=df[['position', 'detect']][:] a=...... Но выводится только ['position', 'detect']

эмулируй поведение человека

для эмуляции нужен селениум, это раз, а во вторых оно нормально работает без всякой эмуляции через requests проблема именно при GET через aiohttp

DataFrame вообще большой?

7000*251

для эмуляции нужен селениум, это раз, а во вторых оно нормально работает без всякой эмуляции через requests проблема именно при GET через aiohttp

не нужен, сам подумай, сколько с одного айпи может быть переходов разных

для эмуляции нужен селениум, это раз, а во вторых оно нормально работает без всякой эмуляции через requests проблема именно при GET через aiohttp

ты через менеджер контекста делаешь?

aiohttp?

ты через менеджер контекста делаешь?

нет

Пытался так: dd=df[['position', 'detect']][:] a=...... Но выводится только ['position', 'detect']

ты делаешь срез фрейма, наложи df.filter(like='??')

попробуй через with aiohttp.ClientSession() as session:

@KaiKain597

ты делаешь срез фрейма, наложи df.filter(like='??')

Хорошо, попробую. Спасибо

Уважаемые, Python 3.7.0 Пытаюсь прочитать har файл, но когда использую open в бинарном моде - он выдает не байты, а всякое io... говно Как получить байты или хотя бы текст?

Уважаемые, Python 3.7.0 Пытаюсь прочитать har файл, но когда использую open в бинарном моде - он выдает не байты, а всякое io... говно Как получить байты или хотя бы текст?

Код покажи.

import json from harparser import HAR with open('intercept.json', 'rb', buffering=0) as f: print(type(f)) my_har = HAR.log().decompress(f)

<class '_io.FileIO'> Traceback (most recent call last): File "E:\GitHub\crunchbase-parser\json_format.py", line 6, in <module> my_har = HAR.log().decompress(f) File "C:\Soft\Python 3.7.0\lib\site-packages\harparser.py", line 118, in decompress return self.json(json_string=decompress(compressed_json_string)) TypeError: a bytes-like object is required, not '_io.FileIO'

f.read() пробовал?

лол

Пардон, надо было лучше спать

Как символу '--' присвоить NaN?

Это два символа. И символу ничего присвоить нельзя

Так тоже нельзя n='--' ?

locals()["--"] = float("nan") фьють-ха

Так тоже нельзя n='--' ?

Что ты сделать-то хочешь?

Хочу заменить '--' на NaN в DataFrame

Эксперты по pandas приглашаются в тред

попробуй через with aiohttp.ClientSession() as session:

попробывал, проблема осталась. как я понимаю по отладчику, проблема где то в aiohttp/client.py 495 resp = await req.send(conn)

@krotovkk будет жить. Поприветствуем!

Хочу заменить '--' на NaN в DataFrame

Пробовал df.replace("--", float("nan"))?

@chicoxyzzy будет жить. Поприветствуем!

Эксперты по pandas приглашаются в тред

не юзал pandas, но судя по сегодняшним задачам оттуда - это Машина Судного дня

Парни, как сделать так, чтоб массив наполнялся, а то получается, что ничего не происходит? while True: word = [] key = getch().decode('cp866') if key == ' ': print(word) else: word.append(key) print(key)

у тебя с каждой итерацией создаётся пустой массив

убери его наружу

Хочу заменить '--' на NaN в DataFrame

data.replace('—', np.nan, inplace=True)

убери его наружу

tocno

Хочу заменить '--' на NaN в DataFrame

df =df.replace('--', np.NaN)

Ты готов, упоротый математик?

Это не я, если что

Ок. Вроде получилось. Благодарю.

Пробовал df.replace("--", float("nan"))?