Принимаю набор данных порядка 100-300 тысяч записей, провожу рендеринг, записываю в каталог. Шаблоны Джанги. Пробую профилировать - большая часть времени уходит на создание файла и запись в него

Так не бывает. Большую часть времени должен съесть шаблонизатор

Значит что-то делаю не так. Буду дальше разбираться

Да, файлы, и записать в каталог. 100 тысяч * 60К ~ 6Гб

Принимаю набор данных порядка 100-300 тысяч записей, провожу рендеринг, записываю в каталог. Шаблоны Джанги. Пробую профилировать - большая часть времени уходит на создание файла и запись в него

Чем профайлир?

profilehooks

Какая файловая система? Листинг директории с таким количеством файлов занимает время.

Какая файловая система? Листинг директории с таким количеством файлов занимает время.

Вообще-то нет :) и листинг тут делать не надо :)

ext4

Я попробую что-нибудь типа tmpfs, хотел понять как принципиально правильнее сделать

Ты бы показал выхлоп vmstat 1 во время работы твоего кода

мда

откуда только такие интернет-грамотеи лезут.

На пасти-сервис плиз.

Попробую

Будет сложно, да

я бы разбил на подкаталоги, чтобы каждый примерно одинакового размера был.

Наверное

два клика сделать

я бы разбил на подкаталоги, чтобы каждый примерно одинакового размера был.

Зачем?

Тормозит, когда много файлов в каталоге

Тормозит, когда много файлов в каталоге

Что именно тормозит?

У меня ничего, а у товарища выше, видимо, фс

Хотя чёрт его знает, может, профилирует неправильно

У меня ничего, а у товарища выше, видимо, фс

os.listdir() занимает 670ms для каталога с 300k файлов.

Я просто хотел посоветоваться, как решить эффективнее задачку по записи большого количества генерируемых мелких файлов, по скорости, по использованию ресурсов. Каталог должен быть один. Файлы забирает другой агент, так что их много в каьалоге не будет. Сканировать каталог мне не надо. Создать, записать, закрыть

это с холодным кешем и на sata hdd

Я просто хотел посоветоваться, как решить эффективнее задачку по записи большого количества генерируемых мелких файлов, по скорости, по использованию ресурсов. Каталог должен быть один. Файлы забирает другой агент, так что их много в каьалоге не будет. Сканировать каталог мне не надо. Создать, записать, закрыть

в чем проблема? берем задачу, бьём на куски по числу cpu. и понеслось.

Это да, но как лучше? Потоки, процессы, gevents - чем мне лучше это решить?

Это да, но как лучше? Потоки, процессы, gevents - чем мне лучше это решить?

процессы.

Ага, спасибо, буду пробовать

Ребят, привет. А тут есть кто в микроэлектроники шарит и кому интерсно потрогать micropython?

для квестов?

@Alex_Ganyukov питон + питер = вот этот чат :) Привет.

Привет! Спасибо)

Ребят, всем привет! Вот кого ищу и куда. Agile Fusion - успешная динамичная международная компания, осуществляющая разработку программного обеспечения для мобильных устройств, а так же кастомную разработку для наших клиентов. Agile Fusion помогает компаниям быстро и эффективно интегрировать успешные мобильные каналы в их бизнес уже более 11 лет. Среди наших партнеров такие компании как Dell, Barnes and Noble, SAP, Evernote, Esselte, JibeMobile, TheFind.com, Rhythm Newmedia, Discovery Channel, Tv.com, E!, ChefsFeed и другие. Мы сейчас ищем Fullstack инженера. Работа в Петербурге, офис на Петроградке в БЦ Гайот в очень красивом офисе рядом с метро (7 минут пешком, есть платная и бесплатная парковки). Кофемашина, печенки и плюшки. На территории есть - спортзал, отель, ресторан, кафе, банкоматы и все что нужно. По технологиям, нужно хорошее знание современного JavaScript (ES6+, Babel), браузерных Api, React (или желание его изучать), библиотек визуализации (D3.js, Highcharts). Плюс какой-то опыт на бэкэнде, мы скорее всего будем использовать связку Node.js и Python или только Node.js. Клиент калифорнийская компания. Проект - будем строить тул который позволяет визуализировать и резать данные. Сейчас поток данных идет порядка 1 Гб в день с каждого ресурса. Наша задача добавлять новые ресурсы и их визуализировать. По условиям - мы работаем со всеми нашими сотрудниками по ИП. Что это значит - у нас все белое и прозрачное. Все расходы на оформление и открытие счетов - мы возмещаем. Если говорить про вилку по зп то она начинается от 2,5 тысяч долларов на руки и обсуждаема. Оплата возможна как в рублях, так и в долларах. Буду рад ответить на вопросы.

Ребят, всем привет! Вот кого ищу и куда. Agile Fusion - успешная динамичная международная компания, осуществляющая разработку программного обеспечения для мобильных устройств, а так же кастомную разработку для наших клиентов. Agile Fusion помогает компаниям быстро и эффективно интегрировать успешные мобильные каналы в их бизнес уже более 11 лет. Среди наших партнеров такие компании как Dell, Barnes and Noble, SAP, Evernote, Esselte, JibeMobile, TheFind.com, Rhythm Newmedia, Discovery Channel, Tv.com, E!, ChefsFeed и другие. Мы сейчас ищем Fullstack инженера. Работа в Петербурге, офис на Петроградке в БЦ Гайот в очень красивом офисе рядом с метро (7 минут пешком, есть платная и бесплатная парковки). Кофемашина, печенки и плюшки. На территории есть - спортзал, отель, ресторан, кафе, банкоматы и все что нужно. По технологиям, нужно хорошее знание современного JavaScript (ES6+, Babel), браузерных Api, React (или желание его изучать), библиотек визуализации (D3.js, Highcharts). Плюс какой-то опыт на бэкэнде, мы скорее всего будем использовать связку Node.js и Python или только Node.js. Клиент калифорнийская компания. Проект - будем строить тул который позволяет визуализировать и резать данные. Сейчас поток данных идет порядка 1 Гб в день с каждого ресурса. Наша задача добавлять новые ресурсы и их визуализировать. По условиям - мы работаем со всеми нашими сотрудниками по ИП. Что это значит - у нас все белое и прозрачное. Все расходы на оформление и открытие счетов - мы возмещаем. Если говорить про вилку по зп то она начинается от 2,5 тысяч долларов на руки и обсуждаема. Оплата возможна как в рублях, так и в долларах. Буду рад ответить на вопросы.

а релокейтите?

к сожалению, нет.

ну, в любом случае, интересно

а что, фуллстек - это не миф?

где-то они обитают) я надеюсь

нет :) я сейчас фуллстечу

он миф разве что в том смысле что всегда будет приоритет и интерес на определённую сторону

> По условиям - мы работаем со всеми нашими сотрудниками по ИП У вас проблем с налоговой нет? Могут прийти и сказать: Вы от налогов уклоняетесь, двайте нам всю свою бухгалтерию, сейчас мы вас проверять будем. И так могут приходить теперь каждый год. Раньше раз в три года могли, а теперь каждый год и по нескольку раз.

За последние 10 лет не было. Спасибо)

Никто ж от налогов не уходит

Я сам ИП и сам плачу свои 6%

Все бело и чисто

> По условиям - мы работаем со всеми нашими сотрудниками по ИП У вас проблем с налоговой нет? Могут прийти и сказать: Вы от налогов уклоняетесь, двайте нам всю свою бухгалтерию, сейчас мы вас проверять будем. И так могут приходить теперь каждый год. Раньше раз в три года могли, а теперь каждый год и по нескольку раз.

так почему к ним-то придут? :) налоги платят сами сотрудники

Да, это понятно, но налоговая прийти может. Я сейчас работаю в компании, которая не пошла по такому пути с ИП как раз по этой причине.

Сбербанк не смутило для ипотеки.

Ну значит бухгалтера не поняли схему.

ERROR: S client not available

Но это лирика

Я давно изучаю этот вопрос с ИП, хотел сделать себя ИП, изучал, какие там есть нюансы, налоговые каникулы, патенты и т.п. В Питере налоговых каникул нет для кодов деятельности "разработка ПО", а патент невыгодно брать, если доходы небольшие.

Могу по своему опыту сказать, что за почти уже 4 года ИП ни разу не пожалел. Проще, сам себе хозяин, большинство компаний, что наших, что забугорных только рады работать с ИП. А пенсии мы все равно никогда не увидим, так что какая разница?

Я давно изучаю этот вопрос с ИП, хотел сделать себя ИП, изучал, какие там есть нюансы, налоговые каникулы, патенты и т.п. В Питере налоговых каникул нет для кодов деятельности "разработка ПО", а патент невыгодно брать, если доходы небольшие.

wait, а как ты сейчас работаешь-то?

ИП это норм вариант, подтверждаю

Основная работа + внешнее совместительство

> А пенсии мы все равно никогда не увидим, так что какая разница? Уже устал объяснять это своей жене

Я давно изучаю этот вопрос с ИП, хотел сделать себя ИП, изучал, какие там есть нюансы, налоговые каникулы, патенты и т.п. В Питере налоговых каникул нет для кодов деятельности "разработка ПО", а патент невыгодно брать, если доходы небольшие.

Если доходы небольшие - всё невыгодно

?

Всем привет! И с вами снова рубрика HR в чате :) Вакансия в Яндексе. Ищем человека в команду антивирусных технологий в Питере. https://yandex.ru/jobs/vacancies/dev/pythondev_antivirus/ Предвосхищая вопросы и дискуссии об уровне зп, процессе собеседований - готова дать комментарии в личке :) Если возникнут вопросы о проекте и задачах, сможет всё рассказать @kutikov - вакансия собственно у него открыта.

Вот сюда https://t.me/spbitpeople с подобными вопросами

Группа вроде как про Python

Группа вроде как про Python

да я просто узнать хотел, вдруг можно найти человека с похожими интересами

к тому же, за собой все потёр

да я просто узнать хотел, вдруг можно найти человека с похожими интересами

Интересные у вас интересы

Интересные у вас интересы

мама не одобряет

16.02 / Code metrics: why do we need them? / Мехти Мусаев / конференц-зал DataArt / https://www.meetup.com/spbpython/events/236816033/

@lig11 из-за дня всех влюбленных перенес?

@lig11 из-за дня всех влюбленных перенес?

ага

на этот раз пересеклись с PapersWeLove

на этот раз пересеклись с PapersWeLove

это что?

это мероприятие про годные пейперы про CS. В этот (второй) раз будет про логику, типы, все такое

https://vk.com/paperswelovespb2017feb