Потому что скорее всего задача около датасаенса

ну вот как бы хочется не гадать)

а почему вообще стоит задача прочитать БЫСТРО файл на питоне?

не быстро, а много. А если много - то если не быстро, то долго) А надо просто не долго. :D

а дальше что с файлами делать будешь?

не быстро, а много. А если много - то если не быстро, то долго) А надо просто не долго. :D

В фонд золотых цитат это. срочно )

а дальше что с файлами делать будешь?

merge sort

merge sort

pandas?

ни, эт тестовое. сказали "пиши сортировку большого файла"

pandas - хак, не засчитается) Можно еще unix sort заюзать)

зоебись, мы тебе тестовое задание всем чатом должны делать?

хах. я ужо сделал. Я задал вполне конкретный вопрос, а не сказал "риализуйте мне"

большие файлы сортируются комбинацией merge sort и быстрой сортировки во внутренней памяти

большие файлы сортируются комбинацией merge sort и быстрой сортировки во внутренней памяти

я в курсе, спс) Я лишь интересовался, как быстрее вычитывать файл построчно)

я читаю файл, набираю строки в лист, пока общая их длина не превысит порог, после чего сортирую через sort(), и пишу в TemporaryFile, который закидываю в лист, после чего прохожу по этому листу из сортированных файлов, и мержу

все варианты по скорости +- одинаковы

если хочешь оптимизации по памяти то делай через итераторы

к итераторам можно добавить разбиение на чанки: it = iter(iterable) while True: chunk = list(itertools.islice(it, n)) if not chunk: return yield chunk

можно заморочиться и избавиться от list

а merge sort сделать через heapq

(скоро 6666 участников)

а merge sort сделать через heapq

а чем heapq лучше просто параллельного обхода сортированных временных файлов с выводом в новый?

я читаю файл, набираю строки в лист, пока общая их длина не превысит порог, после чего сортирую через sort(), и пишу в TemporaryFile, который закидываю в лист, после чего прохожу по этому листу из сортированных файлов, и мержу

И почему ты уверен что конечный файл будет отсортирован?

а чем heapq лучше просто параллельного обхода сортированных временных файлов с выводом в новый?

его можно сделать на итераторах

впринципе тоже самое, просто тебе не придется обходить крайние случаи

И почему ты уверен что конечный файл будет отсортирован?

в каком смысле? Смотри, я вычитываю файл по кускам, пока не наберется размер блока Каждый блок сортирую, и заливаю в TemporaryFile, а каждый такой файл кидаю в лист. У меня получается лист из темпорари

у тебя сортировка в пределах чанка.

я понимаю, смотри дальше

я беру этот лист

беру файл с конца, беру файл с начала - мержу их (параллельно обходя, и выводя в файл max из f1.readline(), f2.readline()

беру файл с конца, беру файл с начала - мержу их (параллельно обходя, и выводя в файл max из f1.readline(), f2.readline()

файл с конца читаешь?!

этот новый файл сую в начало листа, беру следующую пару, вторую сначала и вторую с конца, смерживаю, сую в [2]

файл с конца читаешь?!

с конца листа сортированных блоков

как бы отсортировать можно и с обратным порядком

как бы отсортировать можно и с обратным порядком

зачем?

чтобы не читать с конца

я не читаю с конца Т_т

список с конца в начало тоже не стоит читать

у меня есть лист , вкотором лежать хэндлеры на сортированные чанки. Это понятно?)

список с конца в начало тоже не стоит читать

я читаю с конца, чтобы "сложить" лист пополам

после такой итерации у меня остается лист, в котором в 2 раза меньше чанков, но они уже в 2 раза больше

и я снова делаю итерацию. Вот щас подумал, не быстрее ли рил всу кучу смержить через очередь

лол

#работа #remote #Python #Bali Ребята, всем привет! Ищу к себе в команду Python разработчика, обязательно имеющего возможность 2-3 раза в год выбираться в наш Балийский офис на пару месяцев, для совместного хардкодинга и пати, а в остальное время работать удаленно. Togezzer.net - мессенджер, инструмент для принятия решений, который позволяет общаться, работать, делать задачи удобно и без отвлечения от важного. И на данный момент это единственная в мире асинхронная система коммуникации. https://itunes.apple.com/ru/app/togezzer/id1350490541?mt=8 https://play.google.com/store/apps/details?id=net.togezzer.android Stack:python3.6, postgresql, redis, tarantool (lua), aiohttp, socketio, sqlalchemy, pytest, swagger, alembic деплой docker, kubernetes, helm, gitlab Сейчас у нас есть работающая кодобаза ~40kLoC, в которую нужно добавлять новые фичи и улучшать существующий функционал. Рутинна бывает разная, но порой может удивить. Но я сразу должна сказать, что каких-то суперштук у нас нет, вроде ML/Gis/мегаалгоритмов Нам все равно, сколько у вас опыта в годах, самое главное понимание, что вам доверяют принимать ключевые решения, что придется отвечать за свои действия и как работает распределенная команда. А я предлагаю: З/пл 100.000-200.000 nett + релокационный пакет. Классных нас, крутого СЕО, отсутствие понятия «Бизнес по-русски» и желанные поездки по всему миру Я тут! @Veve_V

вакансия звучит конечно красиво

вакансия звучит конечно красиво

По факту- все точно так же, как и описано)

По факту- все точно так же, как и описано)

Жаль увы я лишь тестированием занимаюсь, удачи вам)

Жаль увы я лишь тестированием занимаюсь, удачи вам)

Все озвученное в вакансии осваивается меньше чем за год. а ты так печально говоришь...

Все озвученное в вакансии осваивается меньше чем за год. а ты так печально говоришь...

Да не проблема в изучении, просто в другом направлении работаю Но уже о подобном думал

Все озвученное в вакансии осваивается меньше чем за год. а ты так печально говоришь...

Вот) единственное, тк мы все распределено, освоение затянется

Да не проблема в изучении, просто в другом направлении работаю Но уже о подобном думал

Так если тебе твое не нравится. чего ты этим занимаешься? а если нравится то чего такой грустный? )

Так если тебе твое не нравится. чего ты этим занимаешься? а если нравится то чего такой грустный? )

А кто сказал, что мое не нравится? А грустный, потому-что я не на бали

#сказочноебали

#сказочноебали

Сначала прочитал #сказочнонаебали

Эх не на бали

Кто как решал проблему с ошибкой вызова Google Api: "The project id used to call the Google Play Developer API has not been linked in the Google Play Developer Console"? Пытаюсь получить отзывы о приложении в маркете. У гугла для этого есть Api и непонятные доки. Проект связан в консоли, аутентификация по OAuth 2.0, токен получен, ошибка получается при отправке Get HTTP запроса с указанием токена. Да, гуглил, что только не советуют, все не помогает. Библиотека для Python подключена.

Кто знает как пользоваться Гугл спичом?

?

от чего возникает ошибка cffi.ffiplatform.VerificationError: CompileError: command 'cl.exe' failed: No such file or directory я поставил visual studio2017 и нашел cl.exe в папке, которую дописал в path в винде C:\Program Files (x86)\Microsoft Visual Studio\2017\Community\VC\Tools\MSVC\14.15.26726\bin\Hostx64\x64 теперь в виндовой cmd команда cl.exe печатает Microsoft (R) C/C++ Optimizing Compiler Version 19.15.26730 for x64 а в питоне - ошибка как побороть ее?

Как много вопросов и мало ответов...

вопрос один, а остальное описание)

вопрос один, а остальное описание)

Самое примитивное- это проверить что нигде не затесались руские символы и пробелы, попробовать перепечатать руками

cffi.ffiplatform.VerificationError: CompileError: command 'C:\\Program Files (x86)\\Microsoft Visual Studio\\2017\\Community\\VC\\Tools\\MSVC\\14.15.26726\\bin\\Hostx64\\x64\\cl.exe' failed with exit status 2

Самое примитивное- это проверить что нигде не затесались руские символы и пробелы, попробовать перепечатать руками

после ребута

винда английская) так что проблем с путями нет

ERROR: S client not available

Питоноводы, подскажите, плиз, вот есть res = requests.get(“http://....”) data = res.json() почему в некоторых случаях появляется ошибка при попытке получить переменную data?

А ошибка какая?

Конкретно вот этот адрес: http://rzhunemogu.ru/RandJSON.aspx?CType=1

Питоноводы, подскажите, плиз, вот есть res = requests.get(“http://....”) data = res.json() почему в некоторых случаях появляется ошибка при попытке получить переменную data?

потому что не каждый ответ возвращается с json внутри

А что может вернуть такой запрос? С виду там словарь с одним ключем и значением и всё

например ошибка сервара 5хх или 404. ответ будет а прикрепленного к нему json нет

например ошибка сервара 5хх или 404. ответ будет а прикрепленного к нему json нет

Ну ссылка-то рабочая. Разве может быть ошибка сервера?

Это веб, здесь все может быть

Ну ссылка-то рабочая. Разве может быть ошибка сервера?

res = requests.get(“http://....”) print(res.content) data = res.json()

hi is anybody know why its not working ? surname = driver.find_element_by_xpath("//*[@id='cp_f_panelFormularz']/div[2]/div[2]/div[2]") surname.clear() surname.send_keys('Alla') surename_second = driver.find_element_by_xpath("//*[@id='cp_f_daneOs_txtNazwiskoRodowe']") surename_second.clear() surename_second.send_keys('Alla') first_name = driver.find_element_by_xpath("//*[@id='cp_f_daneOs_txtImiona']") first_name.clear() first_name.send_keys('Kuchika')

hi is anybody know why its not working ? surname = driver.find_element_by_xpath("//*[@id='cp_f_panelFormularz']/div[2]/div[2]/div[2]") surname.clear() surname.send_keys('Alla') surename_second = driver.find_element_by_xpath("//*[@id='cp_f_daneOs_txtNazwiskoRodowe']") surename_second.clear() surename_second.send_keys('Alla') first_name = driver.find_element_by_xpath("//*[@id='cp_f_daneOs_txtImiona']") first_name.clear() first_name.send_keys('Kuchika')

can u ask more precisely?

#pip3 install pyAudioAnalysis import pyAudioAnalysis.audioAnalysis as aa aa.speakerDiarizationWrapper('diarizationExample.wav', 'num',4) ------------------ cffi.ffiplatform.VerificationError: CompileError: command 'C:\\Program Files (x86)\\Microsoft Visual Studio\\2017\\Community\\VC\\Tools\\MSVC\\14.15.26726\\bin\\HostX86\\x64\\cl.exe' failed with exit status 2

can u ask more precisely?

yes i am trying to fill input via web selenium but it does not work i have very little code which i try i can send you if like to try ur PC

почему возникает ошибка?

no error

it just not fill up

i think every time browser refresh or open they generate dynamic ID

may be thats why it cant find id

but i dont know how to work with dynamic generated id

but i dont know how to work with dynamic generated id

You can always find element by class and parent class. Or by element text.

You can always find element by class and parent class. Or by element text.

And by walking on DOM tree

but i try but does not work

And by walking on DOM tree

can i send you link so you can give me one field solution

Это страшное называется UTF-8 кириллица в JSON

And by walking on DOM tree

i send u link please can you check

Это страшное называется UTF-8 кириллица в JSON

Значит это всё же возможно обработать методом .json() ??

Значит это всё же возможно обработать методом .json() ??

Я тебе это написал чтобы ты показал контент запроса на котором с ошибкой падает.

Ну да

а заодно и саму ошибку