привет всем такой вопрос: я конверчу xml в датафрейм панды для последующего анализа, для этого беру элемент артикл, собираю с него данные в словарь и кидаю во фрейм, заметил что в начале тысяча итераций работают секунд по двадцать, потом замедляются, на двадцатой тыще тысяча проходит уже за минуту и жрёт шесть гигов, при xml файле размером в 170 метров for article in file.getroot().xpath("//ARTICLE"): ean_with_prices = dict() channel = '' for element in article.iter(): if element.tag == "A_NR": ean_with_prices['A_NR'] = element.text if element.tag == "A_PRICE": channel = element.get("channel") if element.tag == "A_VK": ean_with_prices[channel] = element.text dataframe = dataframe.append(ean_with_prices, ignore_index=True) в чём может быть проблема?

а не пробовал вырубить работу с пандой и посмотреть сколько ест?

всё равно не понятно почему замедляется парсинг и почему 6-8 гиг жрёт

ну вообще расширять список чем больше тем сложнее

а вот насчет 6-8 гигов - вопрос

а не пробовал вырубить работу с пандой и посмотреть сколько ест?

вот думаю ещё попробовать словарь отключить, посмотреть сколько чистый парсинг ест

Добро пожаловать, Максим Смирнов! Не забудь ознакомиться с правилами чата. Ссылка в описании группы.

ну вообще расширять список чем больше тем сложнее

он расширяется не много, там гдет 50 ключей, потом его в панду и новый словарь инициализирую

ага, проверил просто парсинг пролетает со свистом, парсинг в словарь так же попинаем панду

Народ порекомендуйте годную статью или книгу по корутинам, потокам, асинхронности и вот этому вот всему, ощущаю пробелы у себя в этой теме

На питоне есесно

привет всем такой вопрос: я конверчу xml в датафрейм панды для последующего анализа, для этого беру элемент артикл, собираю с него данные в словарь и кидаю во фрейм, заметил что в начале тысяча итераций работают секунд по двадцать, потом замедляются, на двадцатой тыще тысяча проходит уже за минуту и жрёт шесть гигов, при xml файле размером в 170 метров for article in file.getroot().xpath("//ARTICLE"): ean_with_prices = dict() channel = '' for element in article.iter(): if element.tag == "A_NR": ean_with_prices['A_NR'] = element.text if element.tag == "A_PRICE": channel = element.get("channel") if element.tag == "A_VK": ean_with_prices[channel] = element.text dataframe = dataframe.append(ean_with_prices, ignore_index=True) в чём может быть проблема?

попробуй так: сделай генератор сконвертируй в список сконвертируй в датафрейм https://stackoverflow.com/questions/42999332/fastest-way-to-convert-python-iterator-output-to-pandas-dataframe

или просто append в список

попробуй так: сделай генератор сконвертируй в список сконвертируй в датафрейм https://stackoverflow.com/questions/42999332/fastest-way-to-convert-python-iterator-output-to-pandas-dataframe

да, примерно так и сделал сделал лист, потом аппенд словарей в него, потом единственный dataframe.append(list) летает

но всё равно жрёт как падла, он не долго)

@Saluev, помнишь, я там парсер писал? Так вот, потестил парсер, заменил им старый. И тут понеслись какие-то странные непонятные глюки. Яоткатился, проверил еще десять раз, что работа парсера валидна. Вкатился - опять глюки. Начинаю разбирать проблему. 1. Профайлинг обоих парсеров показывает стабильно, что новый работает в два раза быстрее старого при одинаковых датасетах в районе 1-2М строк. 2. При включенном новом парсерее вся система работает МЕДЛЕННЕЕ примерно на 20 микросекунд. 3. При старом парсере апи + ангуляры работают корректно. 4. При новом они начинают как-то люто подтормаживать с задержками более секунды и потом пачками события уходить в статус pending 5. Парсер никакого отношения к апи и ангулярам не имеет. Он вообще другим занимается, куда не лезет. 6. netstat показывает, что от количества открытых соединений глюки не зависят. 7. Отладочная информация со стороны бэка(пехепе) показывает весьма непонятные результаты, в которых в принципе ничего военного. Те же разбросы по микросекундам.

Кстати, пока возился со своим парсером и тюнил его, курил всякие хай перфоманс для петона. И наткнулся на фразу чет в стиле ну всем математикам очевидно, почему dict.has_key говно . Блин, я не математик, мне чет неочевидно(((((((((((

оно там разве не хешмапой лежит ? разве там не o(1) ?

вот да

Добрый день коллеги. Не исключаю что сейчас выслушаю кучу инфы что я говно-программист. Но... т.к. изучал Python самостоятельно не в ВУЗе, благополучно забил на Алгоритмы и структуры данных. на данный момент нуждаюсь в преподе для быстрого курса вышеописанной темы в кротчайшие сроки именно с реальными примерами из Python. Если ли у кого знакоміе преподаватели или возможно кто-то сам пожелает?

мне тоже не очевидно

Кто помнит, как в терминале линуха сделать скрипт, типа ls | python3 "_.replace('a', 'b')" ?

что там помнить что сделать хочешь?

оно там разве не хешмапой лежит ? разве там не o(1) ?

Профайлер показывает, что has_key еще медленее, чем get.

что там помнить что сделать хочешь?

заменить в выводе например символы пробела на символы переноса строки

Профайлер показывает, что has_key еще медленее, чем get.

а in ?

а in ?

А in как раз рекомендуется

вот да

там был fallback который сильно ухудшал время

просто in my_dict

заменить в выводе например символы пробела на символы переноса строки

такое точно лучше седом питон оверхед а позже написали python -c "код" в argv входная строка

такое точно лучше седом питон оверхед а позже написали python -c "код" в argv входная строка

это лишь как пример

Кстати, пока возился со своим парсером и тюнил его, курил всякие хай перфоманс для петона. И наткнулся на фразу чет в стиле ну всем математикам очевидно, почему dict.has_key говно . Блин, я не математик, мне чет неочевидно(((((((((((

а оно в третьем питоне разве осталось?

а оно в третьем питоне разве осталось?

У меня пока второй

ну и по честноку, я не люблю всякие седы и прочие башевские неочевидности, мне проще питончиком

У меня пока второй

зря

(не знаю баш, ага)

#работа #Python #Cpp #Java #Москва #Яндекс #офис Разработчик в Отдел технологий разработки. Уровень дохода успешного кандидата составляет 100 000 – 300 000 RUR + бонусы и большой социальный пакет. Всем привет, давайте знакомиться. Меня зовут Алексей. Я team lead одной из команд Отдела технологий разработки Яндекса, также я отвечаю за найм в отделе. Мне можно задавать вопросы про то, чем мы занимаемся, про задачи, про что угодно. С удовольствием отвечу. Наши решения направлены на то, чтобы любой проект Яндекса получал готовую инфраструктуру: системы распределенной сборки и непрерывной интеграции для C++, Java, Python и Go, способные обрабатывать сотни сборок в минуту, систему ревью кода, распределенную систему выполнения задач, систему хранения данных (ресурсов) и много других систем и инструментов. Мы также разрабатываем свою систему контроля версий, используя лучшее из Git, SVN и Hg, в которой комфортно работать и можно быстро создавать новые изменения в большом репозитории. Мы предлагаем вам принять участие в создании и развитии инструментов, позволяющих поддерживать высокий темп и качество разработки. Есть задачи на любой вкус. Из языков – C++, Python, Java. Есть низкоуровневые решения и есть прикладные системы, взаимодействующие с различными видами баз данных. Небольшое видео про нас: https://youtu.be/8NHDcwOEBDs?t=13127

ну и по честноку, я не люблю всякие седы и прочие башевские неочевидности, мне проще питончиком

это другой вопрос вопрос быстродействия не волнует?

Кстати, пока возился со своим парсером и тюнил его, курил всякие хай перфоманс для петона. И наткнулся на фразу чет в стиле ну всем математикам очевидно, почему dict.has_key говно . Блин, я не математик, мне чет неочевидно(((((((((((

@Saluev почему всем математикам это очевидно?

это другой вопрос вопрос быстродействия не волнует?

вообще нет

Профайлер показывает, что has_key еще медленее, чем get.

>>> s={1:2} >>> s.has_key(3) Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'dict' object has no attribute 'has_key'

#работа #Python #Cpp #Java #Москва #Яндекс #офис Разработчик в Отдел технологий разработки. Уровень дохода успешного кандидата составляет 100 000 – 300 000 RUR + бонусы и большой социальный пакет. Всем привет, давайте знакомиться. Меня зовут Алексей. Я team lead одной из команд Отдела технологий разработки Яндекса, также я отвечаю за найм в отделе. Мне можно задавать вопросы про то, чем мы занимаемся, про задачи, про что угодно. С удовольствием отвечу. Наши решения направлены на то, чтобы любой проект Яндекса получал готовую инфраструктуру: системы распределенной сборки и непрерывной интеграции для C++, Java, Python и Go, способные обрабатывать сотни сборок в минуту, систему ревью кода, распределенную систему выполнения задач, систему хранения данных (ресурсов) и много других систем и инструментов. Мы также разрабатываем свою систему контроля версий, используя лучшее из Git, SVN и Hg, в которой комфортно работать и можно быстро создавать новые изменения в большом репозитории. Мы предлагаем вам принять участие в создании и развитии инструментов, позволяющих поддерживать высокий темп и качество разработки. Есть задачи на любой вкус. Из языков – C++, Python, Java. Есть низкоуровневые решения и есть прикладные системы, взаимодействующие с различными видами баз данных. Небольшое видео про нас: https://youtu.be/8NHDcwOEBDs?t=13127

требования?

хз что вы там измеряете

@Saluev почему всем математикам это очевидно?

мне тоже неочевидно

>>> s={1:2} >>> s.has_key(3) Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'dict' object has no attribute 'has_key'

Потому шо ты модный хипстер и пишешь на тройке, где его ужо нет

хз что вы там измеряете

длину второго питона

длину древнего легаси, которое доживает последний год?

окей

>>> s={1:2} >>> s.has_key(3) Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'dict' object has no attribute 'has_key'

имеется в виду in, наверное

давайте ещё профайлером потыкаем 2.4

Добрый день коллеги. Не исключаю что сейчас выслушаю кучу инфы что я говно-программист. Но... т.к. изучал Python самостоятельно не в ВУЗе, благополучно забил на Алгоритмы и структуры данных. на данный момент нуждаюсь в преподе для быстрого курса вышеописанной темы в кротчайшие сроки именно с реальными примерами из Python. Если ли у кого знакоміе преподаватели или возможно кто-то сам пожелает?

автор кнут

имеется в виду in, наверное

увы нет, именно has_key - он судя по всему просто кривой и что-то лишнее делал. Его выпилили чтобы никого не смущать

автор кнут

у него примеры на миксе а не на питоне

увы нет, именно has_key - он судя по всему просто кривой и что-то лишнее делал. Его выпилили чтобы никого не смущать

есть пруфцы?

Продублирую

Народ порекомендуйте годную статью или книгу по корутинам, потокам, асинхронности и вот этому вот всему, ощущаю пробелы у себя в этой теме

На питоне есесно

Народ порекомендуйте годную статью или книгу по корутинам, потокам, асинхронности и вот этому вот всему, ощущаю пробелы у себя в этой теме

https://www.google.com/search?q=python+asyncio&oq=python+asyncio

Так я и сам могу

есть пруфцы?

что такое в мейллистах было. но сами в них ищите

Я же рекомендации хочу, а не все подряд

есть пруфцы?

$ python -mtimeit -s'd=dict.fromkeys(range(99))' '12 in d' 10000000 loops, best of 3: 0.0285 usec per loop $ python -mtimeit -s'd=dict.fromkeys(range(99))' 'd.has_key(12)' 10000000 loops, best of 3: 0.067 usec per loop

Я же рекомендации хочу, а не все подряд

ты выбираешь сидеть и ждать подарка с небес, или взяться хоть за что-нибудь?

ну разница в 3 раза - не смертельно

Я уже с потоками сам нашёл материал на хабре, а мне сказали что это плохой стиль

хз короче

автор кнут

Спасибо

ну разница в 3 раза - не смертельно

ну да. это, скорее всего, затраты на getattribute и call

пишут, что has_key нужен если вы пишете до питона 2.3

ты выбираешь сидеть и ждать подарка с небес, или взяться хоть за что-нибудь?

Я выбираю дождаться годного материала, перед этим почитывая сам по методу который ты скинул

пишут, что has_key нужен если вы пишете до питона 2.3

в любом случае актуальности этого осталось меньше года

требования?

Из обязательного: – Знания одного из языков: C++, Python, Java, C#, Go – Хорошая алгоритмическая подготовка. Все остальное (знания БД, кругозор и т.д.) скорее как дополнительные плюсы.

Из обязательного: – Знания одного из языков: C++, Python, Java, C#, Go – Хорошая алгоритмическая подготовка. Все остальное (знания БД, кругозор и т.д.) скорее как дополнительные плюсы.

звучит как требование на джуна, нет?

Из обязательного: – Знания одного из языков: C++, Python, Java, C#, Go – Хорошая алгоритмическая подготовка. Все остальное (знания БД, кругозор и т.д.) скорее как дополнительные плюсы.

Отписал в лс :)

звучит как требование на джуна, нет?

У нас много вакансий на разные уровни подготовки.

да, я в курсе)

У нас много вакансий на разные уровни подготовки.

тестовое задание? код на бумажке? задачи про хрустальные шары?

ну да. это, скорее всего, затраты на getattribute и call

https://www.python.org/dev/peps/pep-0290/#testing-dictionary-membership в общем да

тестовое задание? код на бумажке? задачи про хрустальные шары?

Код на бумажке заставляет страдать

всего ли getattribute и вызов функции

хз что имел ввиду автор того высказывания

#работа #Python #Cpp #Java #Москва #Яндекс #офис Разработчик в Отдел технологий разработки. Уровень дохода успешного кандидата составляет 100 000 – 300 000 RUR + бонусы и большой социальный пакет. Всем привет, давайте знакомиться. Меня зовут Алексей. Я team lead одной из команд Отдела технологий разработки Яндекса, также я отвечаю за найм в отделе. Мне можно задавать вопросы про то, чем мы занимаемся, про задачи, про что угодно. С удовольствием отвечу. Наши решения направлены на то, чтобы любой проект Яндекса получал готовую инфраструктуру: системы распределенной сборки и непрерывной интеграции для C++, Java, Python и Go, способные обрабатывать сотни сборок в минуту, систему ревью кода, распределенную систему выполнения задач, систему хранения данных (ресурсов) и много других систем и инструментов. Мы также разрабатываем свою систему контроля версий, используя лучшее из Git, SVN и Hg, в которой комфортно работать и можно быстро создавать новые изменения в большом репозитории. Мы предлагаем вам принять участие в создании и развитии инструментов, позволяющих поддерживать высокий темп и качество разработки. Есть задачи на любой вкус. Из языков – C++, Python, Java. Есть низкоуровневые решения и есть прикладные системы, взаимодействующие с различными видами баз данных. Небольшое видео про нас: https://youtu.be/8NHDcwOEBDs?t=13127

как много вакансий от яндекса. и каждый день новый рекрутер. Но верхний предел начал радовать, рпньше жмотились

разбег космос

тестовое задание? код на бумажке? задачи про хрустальные шары?

Тестовое задания для стажеров – да. Для кандидатов с опытом – подобное уже не практикуется. Код на бумажке/на доске во время собеседования – да. Задачи про хрустальные шары – не знаю о чем ты, но думаю что это в прошлом ?

как много вакансий от яндекса. и каждый день новый рекрутер. Но верхний предел начал радовать, рпньше жмотились

А мы все также слабы в алгоритмах на бумажках

хз, мне не показалось, что они что-то сложное задают

как много вакансий от яндекса. и каждый день новый рекрутер. Но верхний предел начал радовать, рпньше жмотились

вот только не известно, насколько достижим верхний предел

как много вакансий от яндекса. и каждый день новый рекрутер. Но верхний предел начал радовать, рпньше жмотились

Не жмотились, инфа 100%. Я. работаю в Яндексе не один год.

Тестовое задания для стажеров – да. Для кандидатов с опытом – подобное уже не практикуется. Код на бумажке/на доске во время собеседования – да. Задачи про хрустальные шары – не знаю о чем ты, но думаю что это в прошлом ?

про шары такая задачка на логику. часто спрашивают

Не жмотились, инфа 100%. Я. работаю в Яндексе не один год.

ну окей, по моим данным яндекс всегда ниже рынка платил

мне задачку про шары задавал мой начальник на моей самой первой работе

но тогда все-таки было всего 2 шара, на n шаров мы не обобщали

ну окей, по моим данным яндекс всегда ниже рынка платил

и по моим тоже...

ну окей, по моим данным яндекс всегда ниже рынка платил

Данные ошибочные. Я здесь давно и точно знаю что хорошие разработчики у нас зарабатывают заметно выше рынка.

ну окей

Данные ошибочные. Я здесь давно и точно знаю что хорошие разработчики у нас зарабатывают заметно выше рынка.

Это которые высокогрейдовые и проактивные?

Это которые высокогрейдовые и проактивные?

Да ? Но и не только они.