прикрыли лавочку и гвида опять верстает

А что за прикол с версткой?

а чем еще занимаются питонисты ?

в чатике вот срутся

в чатике вот срутся

да тут по сравнению с пхпшными чатиками великосветские беседы

еще можно сравнить с js и c# чатиками, только сегодня скринил, потому что по-моему это смешно

две цитадели зла

а чем еще занимаются питонисты ?

не, ну че ты так всех под одну гребенку равняешь. Уверен, пару человек здесь не только верстают

Привет сообщество, очень нуждаюсь в вашей помощи: Есть асинхронный код от которого утекает память в асинхронном генераторе ( пробовал переписать в асинхронный итератор). Каждый раз открывается файлики на 100мб перегоняеются в словарь и дампаеются в базу. Но течёт память гигабайтами за итерацию. Как это все профилировать? МБ я тупой и надо по особенному структуру юзать чтоб GC выполнял работу?

не, ну че ты так всех под одну гребенку равняешь. Уверен, пару человек здесь не только верстают

он просто толстый тролль, не обращай внимания

Привет сообщество, очень нуждаюсь в вашей помощи: Есть асинхронный код от которого утекает память в асинхронном генераторе ( пробовал переписать в асинхронный итератор). Каждый раз открывается файлики на 100мб перегоняеются в словарь и дампаеются в базу. Но течёт память гигабайтами за итерацию. Как это все профилировать? МБ я тупой и надо по особенному структуру юзать чтоб GC выполнял работу?

у тебя что-то сильно не так с кодом или с интерпретатором

ну просто толку особо от этого никакого

Блин,по ходу ты прав, чет не придумал случая, кроме подсказок в ide

memory profiler, objgraph?

у тебя что-то сильно не так с кодом или с интерпретатором

Пробовал 3.5 3.6

Блин,по ходу ты прав, чет не придумал случая, кроме подсказок в ide

ну, формально интерпретатор должен в рантайме варнинг в stderr кидать, если тип не совпал

на деле этого нет, как я понимаю

guppy?

Пробовал 3.5 3.6

скорее с кодом

(это все инструменты для профилирования памяти есличо)

memory profiler, objgraph?

Profiler вообще ничего не вывел для асинхронный функций

как дампаются в базу? может такое быть, что данные кешируются? закрываются ли файлы?

meliae еще есть

скорее всего, где-то ссылка остается висеть

или запись в файл сделана не асинхронно, например

как дампаются в базу? может такое быть, что данные кешируются? закрываются ли файлы?

Файлы открываю with. Дампаются новыми коннектами с инсертом. Каждую итерацию используется же одна и та же переменная для словаря так что хз.

то есть в базу

Файлы открываю with. Дампаются новыми коннектами с инсертом. Каждую итерацию используется же одна и та же переменная для словаря так что хз.

коннект почему бы не реюзать?

старые коннекшены закрываются?)

коннект почему бы не реюзать?

Потом на пул перейду, сейчас и с чистыми не работает

Да

Потом на пул перейду, сейчас и с чистыми не работает

так, может, это они и накапливаются

Я закрываю коннекты же

Причем рост памяти идет относительно итераций цикла а инсерчу я пакетами по 500

То есть внутри одной итерации много коннектов а память растет от итерации к итерации

Я закрываю коннекты же

так надо реюзать, зачем их закрывать?

у тебя в асинхронном режиме скорость работы может быть аццкая

gc тупо не будет успевать

Процессинг длится 10 секунд каждую итерацию

и? ты хочешь await’ом висеть на сокете в это время?

Это таска а не приложение

вот тебе и ответ тогда - ты запускаешь кучу корутин, каждая из которых открывает коннекшн и грузит файл в память

Не

и она засирается

Чуть позже скину код

На этапе дампа в базу память не течет

Во время процессинга эквайрится и не чистится

есть начиная с 3.4 отличный встроенный модуль - tracemalloc

можно попробовать его заюзать еще

Доброго вечера! Ищу разработчика, очень надо!)) Разработка платформы управления данными, stack: Python, Django/ Celery, PostgreSQL, Redis/ Hadoop, Spark, Kafka, Elasticsearch. Москва, компания"белая", по зп от 140

Доброго вечера! Ищу разработчика, очень надо!)) Разработка платформы управления данными, stack: Python, Django/ Celery, PostgreSQL, Redis/ Hadoop, Spark, Kafka, Elasticsearch. Москва, компания"белая", по зп от 140

осталось только название компании сказать :)

"белая"

"белая"

ООО “Белая”?

осталось только название компании сказать :)

В личку)))

В личку)))

нуу, так нечестно

Странная скромность

такой прям секрет-секрет

все равно никто не помешает из лички сюда вытащить, NDA же никто не подписывает

Нет секрета, но человек нужен! Порекомендуете???

Для начала название конторы)

Доброго вечера! Ищу разработчика, очень надо!)) Разработка платформы управления данными, stack: Python, Django/ Celery, PostgreSQL, Redis/ Hadoop, Spark, Kafka, Elasticsearch. Москва, компания"белая", по зп от 140

вчера мы ее научили зарплатную вилку называть, сегодня попробуем обучить еще и название компании писать, а лучше ссылку

не, стек хороший, но от названия компании будет зависеть многое)

хуе-мое inc.

Hooli

или Pied Piper

ERROR: S client not available

Хуе-мое inc. очень сильно отличается от НПО Хуемое.

?

Хуе-мое inc. очень сильно отличается от НПО Хуемое.

Отличный вариант

Нет секрета, но человек нужен! Порекомендуете???

а вдруг вы его на органы потом, мы ж должны знать кому мы отдаем сочатовцев

Доброго вечера! Ищу разработчика, очень надо!)) Разработка платформы управления данными, stack: Python, Django/ Celery, PostgreSQL, Redis/ Hadoop, Spark, Kafka, Elasticsearch. Москва, компания"белая", по зп от 140

судя по описанию студентов тоже можете взять

Верно, будем беречь. Ссылка:

http://cleverdata.ru

?

?

Видимо, знакомы

Нет

Гугл хром не дает зайти на Ваш сайт. Не https, видимо.

Ясно.

Ирина делает большие успехи!?

Благодарю

Ну кстати ничего же страшного вроде нет в работодателе, непонятно, зачем скрывать)

ну может это как-то ее деанонит

Собственно, не скрывала

http://cleverdata.ru

А аналитиков данных ищете?)

Товарищи, случайно никто не подключал оплату через яндекс деньги к сайту на джанге?

Товарищи, случайно никто не подключал оплату через яндекс деньги к сайту на джанге?

Я кассу пилил сам. Это было ужасно. Один менеджер говорит одно, другой другое. Тестовый сервер месяц выбивали.

Вот мне не кассу надо, а именно стандартный апи, для физлиц

Там легче должно быть.

А либу какуюто под процент?

В кассе с этим проблем не было. И я ее пилил в рукопашную.

Под джангу есть для денег вроде как официальное что-то есть.

https://github.com/DrMartiner/django-yandex-kassa

она же вроде работает

@Enchantner я так и не разобралась с тем как и что дальше писать ._.

Это касса

хм

#qpy:console import os fd = open("/sdcard/qpyenv.sh", "w") fd.write("TERM=%s\n" % os.environ.get("TERM")) fd.write("PATH=%s\n" % os.environ.get("PATH")) fd.write("LD_LIBRARY_PATH=%s\n" % os.environ.get("LD_LIBRARY_PATH")) fd.write("PYTHONHOME=%s\n" % os.environ.get("PYTHONHOME")) fd.write("ANDROID_PRIVATE=%s\n" % os.environ.get("ANDROID_PRIVATE")) fd.write("PYTHONPATH=%s\n" % os.environ.get("PYTHONPATH")) fd.write("PYTHONSTARTUP=%s\n" % os.environ.get("PYTHONSTARTUP")) fd.write("PYTHONOPTIMIZE=%s\n" % os.environ.get("PYTHONOPTIMIZE")) fd.write("TMPDIR=%s\n" % os.environ.get("TMPDIR")) fd.write("AP_HOST=%s\n" % os.environ.get("AP_HOST")) fd.write("AP_PORT=%s\n" % os.environ.get("AP_PORT")) fd.write("AP_HANDSHAKE=%s\n" % os.environ.get("AP_HANDSHAKE")) fd.write("ANDROID_PUBLIC=%s\n" % os.environ.get("ANDROID_PUBLIC")) fd.write("ANDROID_PRIVATE=%s\n" % os.environ.get("ANDROID_PRIVATE")) fd.write("ANDROID_ARGUMENT=%s\n" % os.environ.get("ANDROID_ARGUMENT"))