там есть параметр типа chunksize в read_csv, который возвращает не датафрейм, а итератор по ним

Просто мне надо 3 гб архивов алгоритмом обработать, не сильно ли пандас это всё замедлит?

Просто мне надо 3 гб архивов алгоритмом обработать, не сильно ли пандас это всё замедлит?

пандас - это либа, написанная частично на голых сях, которую используют для обработки данных

3 гб он прожует, будь уверен)

и вообще, это самый быстрый способ на питоне работать с csv файлами в принципе

и вообще, это самый быстрый способ на питоне работать с csv файлами в принципе

Ну прям уж самый быстрый

Да я знаю, что такое пандас, и пользуюсь постоянно) Просто я слышал, что лучше писать на голом питоне, если хочешь максимально быструю версию своего алгоритма получиь

Ну точнее

Ясно, что на сях там быстрее

Ну прям уж самый быстрый

а что быстрее?

Но это я имею в виду, что я не хочу на сях писать

Да я знаю, что такое пандас, и пользуюсь постоянно) Просто я слышал, что лучше писать на голом питоне, если хочешь максимально быструю версию своего алгоритма получиь

если алгоритм раскладывается векторно - то нет

если алгоритм раскладывается векторно - то нет

Имеешь в виду, что либы для ml имеют много написанного на С, и поэтому алгоритмы быстрее будут работать с ними?

Имеешь в виду, что либы для ml имеют много написанного на С, и поэтому алгоритмы быстрее будут работать с ними?

да, конечно

а что быстрее?

Для работы с csv? Ну например не использовать пандас. Магии он никакой не даёт — просто удобные интерфейсы. При этом если задача имеет отношение не к применении операции к столбцу/строке то вообще использовать пандас может быть выстрелом в ногу

но pandas - это не только ml

Ну это я понимаю, конечно. Я в принципе говорю

Для работы с csv? Ну например не использовать пандас. Магии он никакой не даёт — просто удобные интерфейсы. При этом если задача имеет отношение не к применении операции к столбцу/строке то вообще использовать пандас может быть выстрелом в ногу

ну вообще магия там есть, ни одна известная мне тулза не читает csv в память с диска быстрее

и потом, чаще всего с csv надо именно что что-то векторное сделать

ну вообще магия там есть, ни одна известная мне тулза не читает csv в память с диска быстрее

А вы не тот николай что вчера рубился за линукс? Я чтоб уточнить имеет ли смысл аргументировать

А вы не тот николай что вчера рубился за линукс? Я чтоб уточнить имеет ли смысл аргументировать

личность собеседника влияет на восприятие аргументов или что?

А вы не тот николай что вчера рубился за линукс? Я чтоб уточнить имеет ли смысл аргументировать

Это тот самый, всеми любимый))

Ахтунг У кого-то есть статьи, где описывается суть создания типа BB-едитора? Со всякими стилями. Хочется попробовать написать самому что-то простенькое и миленькое telegra.ph.

как телеграф*

видимо, аргументированный спор странное впечатление производит на людей с сильно полярным мнением

делись, где достал :)

самому можно распечатать)

в любом городе думаю есть

магаз, где принты клеят на фтуболку)

магаз, где принты клеят на фтуболку)

принты смываются быстро) я люблю надежные

делись, где достал :)

В интернетах(

думаю это именно такая

принты смываются быстро) я люблю надежные

ну хзззз

можно поближе фоточку рисунка?)

принты смываются быстро) я люблю надежные

??? можешь сам нашить

можно поближе фоточку рисунка?)

шрифт питона и логотип же, хоть вектор за пять минут сделать можно

шрифт питона и логотип же, хоть вектор за пять минут сделать можно

нене, я хочу посмотреть на качетсво принта)

прям в 5-10 см

Идея не оч

Мне нравится надпись: I wear glasses coz can't C#

Мне нравится надпись: I wear glasses coz can't C#

это же троллинг джавистов всегда был

java developers cannot c#

это же троллинг джавистов всегда был

Тут другая шутка

Тут другая шутка

я понимаю про звучание и про зрение

Тут другая шутка

Та же

Подскажите где годная документация по питону?

Подскажите где годная документация по питону?

http://pymotw.com

https://www.python.org/doc/

и еще https://python-guide-pt-br.readthedocs.io/en/latest/

Всем привет, может кто помочь с pickle? Проблема такая: Есть файлы pickle.py, config.py, launcher.py В файле config.py есть словарь client_states Он сохраняется в файле с помощью pickle: pickle.dump(config.client_path, file, True) После запуска программы загружаю этот словарь config.client_path = pickle.load(file) print(config.client_path) Все выводится совершенно верно. Далее я пытаюсь использовать этот словарь в модуле launcher.py: from config import client_path @bot.callback_query_handler( func=lambda call: call.message.chat.id in config.is_inline and config.is_inline[call.message.chat.id]) def callback_inline(call): print(client_path) Но выводится только пустой словарь. Все это происходит в контексте создания телграм бота с использованием telebot Заранее благодарен за помощь!

Парни!Кому работа?))) в штат, на гибкий график - с шикарной зарплатой и условиями) уже давала клич у вас) может кому интересно еще раз в личку кину

да давала. уже полное описание - не клюете вы на него)

да давала. уже полное описание - не клюете вы на него)

на неполное тоже не клюнут

кому надо - увидят среди флуда)

Всем привет, может кто помочь с pickle? Проблема такая: Есть файлы pickle.py, config.py, launcher.py В файле config.py есть словарь client_states Он сохраняется в файле с помощью pickle: pickle.dump(config.client_path, file, True) После запуска программы загружаю этот словарь config.client_path = pickle.load(file) print(config.client_path) Все выводится совершенно верно. Далее я пытаюсь использовать этот словарь в модуле launcher.py: from config import client_path @bot.callback_query_handler( func=lambda call: call.message.chat.id in config.is_inline and config.is_inline[call.message.chat.id]) def callback_inline(call): print(client_path) Но выводится только пустой словарь. Все это происходит в контексте создания телграм бота с использованием telebot Заранее благодарен за помощь!

Не знаю, что вы делаете но на мой взгляд pickle для сериализации не самое лучее решение

кому надо - увидят среди флуда)

ну раз такое дело, то удачи конечно

и настроения хорошего

спасибо) и вам наидобрейшего летнего настроеньица)

Парни!Кому работа?))) в штат, на гибкий график - с шикарной зарплатой и условиями) уже давала клич у вас) может кому интересно еще раз в личку кину

Расскажи подробнее, что за работа

Расскажи подробнее, что за работа

не расскажет. Кому надо, тот увидит во флуде

или в личку напиши

дада

ERROR: S client not available

:)

#вакансия #работа #ищу

#вакансия #работа #ищу Современное креативное агентство в поиске человека под создание и поддержку существующих Python трех клиентов для автоматизации закупки мобильной рекламы и машинного обучения. Мы занимаемся закупкой мобильной рекламы для российских и западных клиентов (HeadHunter, Delivery Club, Forex Club, OneTwoTrip, UBER, Youla, Beepcar и другие). Мы даем свободу мысли, движения и предлагаем быстрый рост в команде. Работа с alfa, beta-версиями продуктов Google и их API. Мы имеем прямые взаимодействия с сотрудниками Google и Mail.ru Group. Мы предлагаем перспективную вакансию ведущего программиста и начать создавать свой отдел, имея свободу мысли и развития. У Вас появится уникальная возможность зайти на перспективный разработанный проект и сделать себе портфолио, войти на точке роста. Мы работаем по системе SCRUM и распределяем нагрузку, качественно планируем и прорабатываем каждый task и тех.задание Требования: Уверенное знание Python3 Уверенные знание ассамблеи, вычисление дискретных значений (категорийных признаков), плотности, проверки гипотез P0, P1 Опыт использования программирования на Python для анализа данных (Pandas, Numpy, Scipy); Отличное знание математической статистики; Понимание основных метрик мобильных приложений; Английский на уровне свободного чтения технической документации; Понимание специфики работы с большими данными; Инициативность и самостоятельность Обязанности: Анализ рекламных кампаний запущенных на мобильный рынок Проверка гипотез и создание алгоритмов по нотификации менеджеров при достижении критических значений и порогов Поддержка существующих решений для автоматизации деятельности компании ( Python) Работа с API ведущей в России рекламной площадкой myTarget Работа с продуктами и архитектурой Google https://cloud.google.com/appengine/docs/python/ Написание программного кода, сопровождение существующего кода Доработка существующего функционала Написание новых модулей Изучение ML Условия: Официальное трудоустройство и оформление полностью согласно ТК РФ; Наличие высокопрофессионального штата специалистов; Систему обучения и тренингов; Быстрый карьерный рост с ростом отдела; Гибкий график работы; Оклад + премия; Удобное расположение в 3 минутах от платформы "Москва-Товарная" павелецкого направления Дружный молодой коллектив, лояльное руководство, собственная кухня, зерновой кофе, чай

Вилка до 200 -отталкиеваемся от пожеланий успешного кандидата

#вакансия #работа #ищу

аж страшно читатать

?

это скрытая реклама myTarget?

нет нет нет))

#вакансия #работа #ищу Современное креативное агентство в поиске человека под создание и поддержку существующих Python трех клиентов для автоматизации закупки мобильной рекламы и машинного обучения. Мы занимаемся закупкой мобильной рекламы для российских и западных клиентов (HeadHunter, Delivery Club, Forex Club, OneTwoTrip, UBER, Youla, Beepcar и другие). Мы даем свободу мысли, движения и предлагаем быстрый рост в команде. Работа с alfa, beta-версиями продуктов Google и их API. Мы имеем прямые взаимодействия с сотрудниками Google и Mail.ru Group. Мы предлагаем перспективную вакансию ведущего программиста и начать создавать свой отдел, имея свободу мысли и развития. У Вас появится уникальная возможность зайти на перспективный разработанный проект и сделать себе портфолио, войти на точке роста. Мы работаем по системе SCRUM и распределяем нагрузку, качественно планируем и прорабатываем каждый task и тех.задание Требования: Уверенное знание Python3 Уверенные знание ассамблеи, вычисление дискретных значений (категорийных признаков), плотности, проверки гипотез P0, P1 Опыт использования программирования на Python для анализа данных (Pandas, Numpy, Scipy); Отличное знание математической статистики; Понимание основных метрик мобильных приложений; Английский на уровне свободного чтения технической документации; Понимание специфики работы с большими данными; Инициативность и самостоятельность Обязанности: Анализ рекламных кампаний запущенных на мобильный рынок Проверка гипотез и создание алгоритмов по нотификации менеджеров при достижении критических значений и порогов Поддержка существующих решений для автоматизации деятельности компании ( Python) Работа с API ведущей в России рекламной площадкой myTarget Работа с продуктами и архитектурой Google https://cloud.google.com/appengine/docs/python/ Написание программного кода, сопровождение существующего кода Доработка существующего функционала Написание новых модулей Изучение ML Условия: Официальное трудоустройство и оформление полностью согласно ТК РФ; Наличие высокопрофессионального штата специалистов; Систему обучения и тренингов; Быстрый карьерный рост с ростом отдела; Гибкий график работы; Оклад + премия; Удобное расположение в 3 минутах от платформы "Москва-Товарная" павелецкого направления Дружный молодой коллектив, лояльное руководство, собственная кухня, зерновой кофе, чай

Что такое ассамблея?

ну а если серьезно - на чистоту - что не нравится в описании? почему среди 3000 участников ни одного прям желающего?

Просветите меня, создал фаил index.py и в нем скрипт принта hello world. Но при заходе станица пустая

или я не там ищу?)

Что такое ассамблея?

то что знают маманты, и то, что нужно понимать, для того чтобы писать на разных языках

Что такое маманты?

ну а если серьезно - на чистоту - что не нравится в описании? почему среди 3000 участников ни одного прям желающего?

слишком крутая)

то что знают маманты, и то, что нужно понимать, для того чтобы писать на разных языках

Имеется в виду ассемблер?

именно так

или я не там ищу?)

Можно попробовать поискать тут https://t.me/datasciencechat

ну а если серьезно - на чистоту - что не нравится в описании? почему среди 3000 участников ни одного прям желающего?

ны вы не спешите так, не видите, у нас обед

что такое ассамблея я тоже не знаю

Имеется в виду ассемблер?

да

Просто там дальше в перечислении пошли какие-то вещи, не сильно связанные с ассемблером.

да

странно видеть ассемблер в одной строчке с матстатом

я например не подхожу, потому что у меня нет отличного знания математической статистики

а не предотличное?))

"Удобное расположение в 3 минутах от платформы "Москва-Товарная" павелецкого направления" - вот это хорошая шутка, конечно :)

я например не подхожу, потому что у меня нет отличного знания математической статистики

И ты не умеешь в ассамблею :)

на уровне "хорошо"?)

странно видеть ассемблер в одной строчке с матстатом

И в одной вакансии с аитоном

И ты не умеешь в ассамблею :)

если ассамблея - это ассемблер, то как раз умею в

но я предполагаю, что это не он