залить питоном на гуглодоки по апи, по апи же расшарить, дать ссылку

(я не знаю есть ли шаринг в апи, не смотрел, но подозреваю что должен быть)

всяко проще чем велосипедить в браузере

Привет всем. получил ошибку при создании объекта в Django. связь между всеми моделями 1 к 1 AttachmentOwner -> Document -> InternalDocument. пытался в инете нарыть что-то полезное что-то не получается.

@Saluev

@Saluev

дай пять коллега

дай пять коллега

5

Привет всем. получил ошибку при создании объекта в Django. связь между всеми моделями 1 к 1 AttachmentOwner -> Document -> InternalDocument. пытался в инете нарыть что-то полезное что-то не получается.

а он говорит что у тебя многие-ко-многим

Господа, интерсует живой опыт работы с aiohttp+асинхронная SQLAlchemy+postgresql Я нашел драйвер https://aiopg.readthedocs.io/en/stable/ - он, насколько я понимаю, позволяет использовать алхимию асихронно. Вопрос, у кого-нибудь есть живой опыт использования подобной связки с асинхронными вызовами?

Господа, интерсует живой опыт работы с aiohttp+асинхронная SQLAlchemy+postgresql Я нашел драйвер https://aiopg.readthedocs.io/en/stable/ - он, насколько я понимаю, позволяет использовать алхимию асихронно. Вопрос, у кого-нибудь есть живой опыт использования подобной связки с асинхронными вызовами?

только SQLAlchemy Core

только SQLAlchemy Core

Т.е. все прелести с модельками и их сериализацией потеряем?

Т.е. все прелести с модельками и их сериализацией потеряем?

да, дата маппер не умеет в асинк

да, дата маппер не умеет в асинк

Спасибо.

@Kdanylov @Tishka17 я осилил запустить эту богодельню в докере. https://i.imgur.com/gBdYyJ4.png - uvloop, голый asyncio показывает результат на десяток меньше https://i.imgur.com/cntgD9s.png - потоки.

А теперь суть - вариант с потоками хочет получить 17Гб ОЗУ, а их ему не дают

вариант с uvloop и async'ом насыщается с 1.4Гб

А теперь суть - вариант с потоками хочет получить 17Гб ОЗУ, а их ему не дают

виртулаьной или реально?

это на сколько коннектов?

виртулаьной или реально?

да я не знаю, я сегодня пол дня сношался только чтобы завести это в докере. Я вообще под андроид пишу, опыта с этим ноль целых хрен десятых.

Под виндой оно голышом не стартовало, так что тест грязноват

вариант с uvloop и async'ом насыщается с 1.4Гб

А никто и не говорил что потоки жрут меньше ресурсов ) у потоков выше потребление памяти, особенно у питона. Правда 17гб - это явный глюк. Должно быть заметно меньше. Но больше чем в асинке

Под виндой оно голышом не стартовало, так что тест грязноват

Убери там setsockopt, без них можно жить.

Убери там setsockopt, без них можно жить.

uvloop'а нету

ну и я не знаю как ограничить память без виртуализации

У меня её 32Гб, так что смоделировать недостаток не получится

ну и я не знаю как ограничить память без виртуализации

Тебе плевать на виртуальную память, смотри на rss. Кстати можешь попробовать в W4L запустить

Задеплоил Django приложение на heroku, Пишет application error, Уже не знаю, что делать, может хоть здесь помогут

Если винда pro, то там вполне рабочая линуксовая подсистема

rss - это что?

Резидентная память. То что ты реально используешь

А виртуальная - это зарезервированное адресное пространство

Окей, знать-бы как её посмотреть

У меня на 64гб 30к потоков живут, и еще много оперативы свободной

Задеплоил Django приложение на heroku, Пишет application error, Уже не знаю, что делать, может хоть здесь помогут

Я не помогу, но советую написать подробную информацию. Как пишет, где пишет, что еще пишет, что в логах

мне надо посчитать матрицу попарных расстояний параллельно. что для этого использовать? nproc —all выдает 12 (12 ядер типа хы), но вот Pool выигрывает и при том несущественно только на 2х процессах.

А виртуальная - это зарезервированное адресное пространство

Нашел, сейчас посмотрю

мне надо посчитать матрицу попарных расстояний параллельно. что для этого использовать? nproc —all выдает 12 (12 ядер типа хы), но вот Pool выигрывает и при том несущественно только на 2х процессах.

Я бы советовал numpy вектрно или numba. На чистом питоне такое делать не лучшая идея

Я не помогу, но советую написать подробную информацию. Как пишет, где пишет, что еще пишет, что в логах

В логах пишет error code =h10 desc=app crashed

Я бы советовал numpy вектрно или numba. На чистом питоне такое делать не лучшая идея

векторизация там прям никак, я открываю файлики

На локалхосте все работало нормально

ну или надо как следует подумать

@Kdanylov @Tishka17 я осилил запустить эту богодельню в докере. https://i.imgur.com/gBdYyJ4.png - uvloop, голый asyncio показывает результат на десяток меньше https://i.imgur.com/cntgD9s.png - потоки.

У тебя раельная фигня с системой. Посмотри на дельту времени между замерами. Слишком много левой нагрузки, видимо. Дельта должна быть довольно близка в 1с

У тебя раельная фигня с системой. Посмотри на дельту времени между замерами. Слишком много левой нагрузки, видимо. Дельта должна быть довольно близка в 1с

конечно фигня, оно в контейнере, контейнер в Hyper-V, а коммуникация на виртуальном адаптере

Там концов не сыщешь где тупит

конечно фигня, оно в контейнере, контейнер в Hyper-V, а коммуникация на виртуальном адаптере

:) ну тада это так себе идея. Как еще вариант - может в винде все хреново со скедуленгом в таких случаях и тогда это обьективная проблема

аааа, погоди, так оно скачет по ядрам

я-же не могу его завязать на одно физическое ядро

В смысле скорость работы вот такого поточного кода сильно зависит от того насколько хороший системный шедулер. Если он фиговый - потоки начнуть сильно проигрывать

а он говорит что у тебя многие-ко-многим

('document_ptr', models.OneToOneField(auto_created=True, on_delete=django.db.models.deletion.CASCADE, parent_link=True, primary_key=True, serialize=False, to='documents.Document')), ('attachmentowner_ptr', models.OneToOneField(auto_created=True, on_delete=django.db.models.deletion.CASCADE, parent_link=True, primary_key=True, serialize=False, to='common.AttachmentOwner')),

я-же не могу его завязать на одно физическое ядро

Я никогда на винде не гонял, может на ней действительно потоки говно

я-же не могу его завязать на одно физическое ядро

Это все равно не пояснит такой адский джиттер

Я никогда на винде не гонял, может на ней действительно потоки говно

там еще и докер (за очень редким исключением) - это полноценная виртуализация

Кажется, для чистоты картины надо гонять между двумя виртуалками в амазоне, остальное - спекуляции.

('document_ptr', models.OneToOneField(auto_created=True, on_delete=django.db.models.deletion.CASCADE, parent_link=True, primary_key=True, serialize=False, to='documents.Document')), ('attachmentowner_ptr', models.OneToOneField(auto_created=True, on_delete=django.db.models.deletion.CASCADE, parent_link=True, primary_key=True, serialize=False, to='common.AttachmentOwner')),

Нет

поэтому такой, с позволения сказать, "тест" не имеет никакого практического смысла

это пять

клёвая картинка. хотя зашакалена и горизонт завален. что ты хотел этим сказать?

Нет

что нет?

Ладно понял зайду в другое время, сейчас нав не до меня

Ладно понял зайду в другое время, сейчас нав не до меня

ты логи своей джанги показать можешь? что именно у тебя там свалилось

Кажется, для чистоты картины надо гонять между двумя виртуалками в амазоне, остальное - спекуляции.

Нуууу я бы так не сказал. Но по идее каждому нужно гонять на том не чем он использовать будет.

ты логи своей джанги показать можешь? что именно у тебя там свалилось

А теперь суть - вариант с потоками хочет получить 17Гб ОЗУ, а их ему не дают

попробуй threading.stack_size уменьшить, по умолчанию 8мб стоит, может работать и с 1-2 мб

это по идее виртуальная память и не аллоцируется реально

Да смысла нет, тут слишком много дополнительного мусора между железом и программой влезло, а он, как выяснилось, может на корню изменить соотношение производительности между асинком и потоками.

Логов как-то маловато, их надо включить, говорят

В итоге как всегда - тесты не тесты, попугаи не попугаистые.

это по идее виртуальная память и не аллоцируется реально

+

В итоге как всегда - тесты не тесты, попугаи не попугаистые.

Но таки можно прогнать на сырой винде как-то. Итоги, кажется, могут быть веселые

Но таки можно прогнать на сырой винде как-то. Итоги, кажется, могут быть веселые

Без uvloop'а - 500 у асинка и 1200 у потоков. Лок на ядра не влияет на скорость.

Но у меня в ноуте дохленький i7-6700, так что он полностью выедается под обслуживание чего-то внутри системы

#работа #вакансия #fulltime #удаленка #python Зарплатная вилка: от 140 тыс.рублей на руки Описание вакансии: Коллеги, в нашу компанию требуется Python разработчик. Над чем предстоит работать: создание с нуля B2B портала. Технологический стек: Python 3.6, Angular 7+. Более подробно о требованиях https://maxilect.ru/careers/python-razrabotchik/. Это долгосрочная перспектива на полный рабочий день для профессионалов из России. Название компании: Maxilect (https://maxilect.ru). Контакты: резюме и вопросы можно отправить по адресу career@maxilect.com (в теме письма просим указать "T.me: Python разработчик" ) или мне в Telegram @z_mironovich.

Всем привет)Начал изучать компьютерное зрение.Пытаюсь обнаружить такой объект как футбольные ворота, использую библиотеку ImageAi, но там не предусмотрен такой объект как футбольные ворота.Мне стоит использовать другую библиотеку или как-то пробывать с этой работать, и если другую, то можете посоветовать какую

ну так научи ее

нужен датасет с футбольными воротами

Всем привет)Начал изучать компьютерное зрение.Пытаюсь обнаружить такой объект как футбольные ворота, использую библиотеку ImageAi, но там не предусмотрен такой объект как футбольные ворота.Мне стоит использовать другую библиотеку или как-то пробывать с этой работать, и если другую, то можете посоветовать какую

OpenCV посмотри, мб там есть, но сомневаюсь. Я вообще не видел датасеты с футбольными полями, это интересно.

OpenCV посмотри, мб там есть, но сомневаюсь. Я вообще не видел датасеты с футбольными полями, это интересно.

Они наверняка есть, но в частных руках. Cv в спортивной аналитике это распространенное явление.

Всем привет)Начал изучать компьютерное зрение.Пытаюсь обнаружить такой объект как футбольные ворота, использую библиотеку ImageAi, но там не предусмотрен такой объект как футбольные ворота.Мне стоит использовать другую библиотеку или как-то пробывать с этой работать, и если другую, то можете посоветовать какую

Поищи датасет в около спортивно-аналитических кругах.

Окей, всем спасибо)