для отладки/настройки зрения, глупо утверждать что тут ssh хватит за глаза

И кто называет vim как vi(-m)?

Внезапно потому что это аббревиатура и внезапно потому что бинарь называется vi

Это нормально, если при установке nginx в каталоге /etc/nginx нету папок sites-available и sites-enabled?

Это нормально, если при установке nginx в каталоге /etc/nginx нету папок sites-available и sites-enabled?

нет

должны быть стандартные настройки

Сколько гуглил не нашёл решение проблемы

Полное удаление и переустановка, результат тот же

Сколько гуглил не нашёл решение проблемы

https://stackoverflow.com/questions/17413526/nginx-missing-sites-available-directory

Был я тут

Сказано создать папки самому

@SLASH_CyberPunk Так что там с правами на продакш?

Но я думаю это не правильное решение

попробуй

@SLASH_CyberPunk Так что там с правами на продакш?

а что с ними?

тебе скучно?

не стоит по всякой херни отвлекать плиз

Нормально, концепция sites-enabled и sites-available - это фишка определенных дистрибов Linux

Это нормально, если при установке nginx в каталоге /etc/nginx нету папок sites-available и sites-enabled?

Там тупо include sites-enabled/*.conf; в nginx.conf прописано. Создай папки и пропиши.

Дальше для включения-выключения сайтов создаются и удаляются симлинки sites-available/....conf->sites-enabled

Как правильно реализовать очистку оперативной памяти? Суть в том, что код пишет стрим, пилит гифки. Через некоторое время оперативки кончается. Помогает только остановка процесса. Если кончится оперативки и своп, то все наглухо виснет.

Дальше для включения-выключения сайтов создаются и удаляются симлинки sites-available/....conf->sites-enabled

Понял, буду пробовать

Как правильно реализовать очистку оперативной памяти? Суть в том, что код пишет стрим, пилит гифки. Через некоторое время оперативки кончается. Помогает только остановка процесса. Если кончится оперативки и своп, то все наглухо виснет.

лол

Как правильно реализовать очистку оперативной памяти? Суть в том, что код пишет стрим, пилит гифки. Через некоторое время оперативки кончается. Помогает только остановка процесса. Если кончится оперативки и своп, то все наглухо виснет.

Делать так, чтобы у тебя на использованные объекты не оставалось ссылок в памяти.

Делать так, чтобы у тебя на использованные объекты не оставалось ссылок в памяти.

Удаляю их с помощью del.. файлы тоже все закрываю. Но увы.

Что с botan случилось кто в курсе?

Запись происходит в многопоточном режиме. Параллельно пишется около 50 стримов, дальше в цикле режутся гифки.

Удаляю их с помощью del.. файлы тоже все закрываю. Но увы.

Значит, где-то не удаляешь. Профайлить память - целое искусство. Вот тут в общих чертах написано как юзать pympler https://stackoverflow.com/questions/1435415/python-memory-leaks?utm_medium=organic&utm_source=google_rich_qa&utm_campaign=google_rich_qa

За одну такую запись съедается около 500-700 метров оперативки. Видео ~40 секунд каждое. Гиф ~100кб, 7 секунд

Значит, где-то не удаляешь. Профайлить память - целое искусство. Вот тут в общих чертах написано как юзать pympler https://stackoverflow.com/questions/1435415/python-memory-leaks?utm_medium=organic&utm_source=google_rich_qa&utm_campaign=google_rich_qa

Где то читал, что питон работает так, что если он сожарл память, то в свободное плавание ее не отпустит. Типа если использовалось такое количество, значит дальше понадобиться снова

Вот знать бы, правда или нет

https://docs.python.org/3.6/library/profile.html

Запись происходит в многопоточном режиме. Параллельно пишется около 50 стримов, дальше в цикле режутся гифки.

А может не париться и на каждый ролик запускать процесс? Он же обрабатывается намного больше, чем запуск

А может не париться и на каждый ролик запускать процесс? Он же обрабатывается намного больше, чем запуск

На нарезку гиф так и есть, просто в цикле, плюс закрытие файла тоже входит в цикл. После него удаление списков. А вот запись - не получится. Теряется весь смысл

А может вообще утечка не в питоне?

А в нативной части

Что-то было год назад на хабре

Хм...

https://m.habr.com/company/wunderfund/blog/328404/

https://m.habr.com/company/wunderfund/blog/328404/

Мда.. до анализа памяти мне далековато:(

Ладно, всем спасибо, буду справляться кустарными методами

Делать так, чтобы у тебя на использованные объекты не оставалось ссылок в памяти.

sudo reboot

Ладно, всем спасибо, буду справляться кустарными методами

смотришь через atop какой нить - че за процессы остаются

находишь кто их не убивает в твоем говнокоде, исправляешь

Ладно, всем спасибо, буду справляться кустарными методами

Чуть подробнее расскажи что скрипт делает с видео

Чуть подробнее расскажи что скрипт делает с видео

Пишет стрим. Я хз как подробнее. Используется модуль livestreamer

Пишет стрим. Я хз как подробнее. Используется модуль livestreamer

скорей всего используется реально там ffmpeg

часто бывают либы оставляют зомби процессы после закрытия потока

скорей всего используется реально там ffmpeg

Да используется. И другой модуль для конвертации moviepy, тоже его юзает

во

moviepy и оставляет

у меня тоже в боте была

Пишет стрим. Я хз как подробнее. Используется модуль livestreamer

Так и в процессе записи стрима память течет?

moviepy и оставляет

Известная бага? Победить можно?

да

ща загрузится среда - скину код

Может проще ffmpeg запустить ?

Так и в процессе записи стрима память течет?

Она не течет . Параллельно формируется 50 файлов. На этом момент занимается в оперативки память на эти 50 видео файлов. Когда запись закончена, в памяти ничего не освобождается

ща загрузится среда - скину код

Спс, жду

Может проще ffmpeg запустить ?

Не понял, что ты имеешь ввиду?

Она не течет . Параллельно формируется 50 файлов. На этом момент занимается в оперативки память на эти 50 видео файлов. Когда запись закончена, в памяти ничего не освобождается

Пробовал делать del для объектов?

Она не течет . Параллельно формируется 50 файлов. На этом момент занимается в оперативки память на эти 50 видео файлов. Когда запись закончена, в памяти ничего не освобождается

И потом не увеличивается?

Пробовал делать del для объектов?

Да, в каждой функции удаление есть

И потом не увеличивается?

До следующий записи нет

Да, в каждой функции удаление есть

А оно правильно реализовано?

До следующий записи нет

Ну то есть течет с каждым файлом. Может между файлами перезапускать, если не лечится?

Не понял, что ты имеешь ввиду?

Прям из шелла. ffmpeg -i file.in -o file.out и т.п

Да, в каждой функции удаление есть

Алсо https://stackoverflow.com/questions/1316767/how-can-i-explicitly-free-memory-in-python

А оно правильно реализовано?

Ну да вроде..

Можно вызывать gc.collect() после каждого del

Ну то есть течет с каждым файлом. Может между файлами перезапускать, если не лечится?

Реализовал сейчас рестартом каждый час. Но не варик

'''def close_clip(clip): try: clip.reader.close() del clip.reader if clip.audio != None: clip.audio.reader.close_proc() del clip.audio del clip except Exception as e: print(e) logging.error(str(e))'''

Можно вызывать gc.collect() после каждого del

Тоже пробовал. Результата не дало

короче вот такой функцией закрывай в конце клип

Тоже пробовал. Результата не дало

Значит ошибка глубже

'''def close_clip(clip): try: clip.reader.close() del clip.reader if clip.audio != None: clip.audio.reader.close_proc() del clip.audio del clip except Exception as e: print(e) logging.error(str(e))'''

Хм...

Щас гляну как у меня закрытие сделано

'''def close_clip(clip): try: clip.reader.close() del clip.reader if clip.audio != None: clip.audio.reader.close_proc() del clip.audio del clip except Exception as e: print(e) logging.error(str(e))'''

А зачем del? Оно же само удалится при выходе из функции

А зачем del? Оно же само удалится при выходе из функции

+1

'''def close_clip(clip): try: clip.reader.close() del clip.reader if clip.audio != None: clip.audio.reader.close_proc() del clip.audio del clip except Exception as e: print(e) logging.error(str(e))'''

У меня вообще метод close в moviepy не используется. Clip.write_gif(file) del Clip.reader del Clip

Убери del и напиши вместо них close

Спасибо, попробую

Есть 2 класса request и google class google(Thread) def init(self): Thread.init(self) self.r = Request() def get_ot(self): current = 'site.loc' try: self.r.get(current, True) except Exception: pass def start(self): for i in range(25): t = Thread(target=self.get_ot()) t.start() Запускаю google.start() и все работает в 1 поток почему?

У get_ot скобки убери

в таргете?

У get_ot скобки убери

все понял, спасибо)

Ребята

есть те, кто чуть чуть шарит в сетях?

Да