Nikita M.
А если tail -f обернуть в сабпроцесс и через пайп ловить данные, затем уже силами питона их обрабатывать ?
Андрей
Зачем?
Nikita M.
Напрямую обращаться к файлу - не вариант, ибо можно его заблочить и кмк потерять какие-то данные или получить с задержкой и ещё какая-нибудь ерунда будет Почти уверен что tail-f не читает файл, а перехватывает io на конкретный файл
Anastasia
#работа #удаленка или #офис #вакансия #minsk #Python Developer #remote #office Компания: Admitad Уровень: #middle #senior# TL Локация: #minsk #remote #office (по желанию) Занятость: #fulltime Проект: Платформа по CPA - рекламе Стек технологии: Язык: Python 2.7/3.6/3.7 фреймворки: Django / Flask базы данных: MySQL, MongoDB, Cassandra брокер сообщений: RabbitMQ контейнеризация: Docker ОС: Linux (Debian) зарплатная вилка: +-3000$+ бонусы Контакты: @anastasiaadmitad
dev
А если tail -f обернуть в сабпроцесс и через пайп ловить данные, затем уже силами питона их обрабатывать ?
да, как раз через сабпроцесс и пробую, но к нему надо ещё и threading прикручивать похоже, иначе не получается stdout, stderr ловить - .Popen блочит дальнейшее выполнение программы
Anonymous
Работает через линуксовый open() https://linux.die.net/man/3/open
dev
Работает через линуксовый open() https://linux.die.net/man/3/open
а линуксовый опен разве не лочит файл?
dev
tail -f то 100% не лочит ничего, значит там какая-то логика хитрая заложена, которую я как раз и пытаюсь постигнуть)
dev
или забить на это всё и ограничиться "tail -f" в сабпроцессе?
Nikita M.
Anton
А чем вообще оригинальный скрипт не устроил?
Anonymous
а линуксовый опен разве не лочит файл?
Там еще флаг юзается O_NONBLOCK видать не блочится
Anonymous
Хотя я точно хз https://github.com/coreutils/coreutils/blob/master/src/tail.c вот исходники можете сами изучать) я в С плох
Anonymous
open + inotify
Похоже так и есть
Nikita M.
https://pypi.org/project/inotify/
dev
А чем вообще оригинальный скрипт не устроил?
оригинальный, это на шелле который? в двух словах сложно объяснить, задача не только лог анализировать, а ещё и действия выполнять некие, сохранять имя файла, чтобы запускать рендер видео (надо для этого сгенерить batch file, куда внедрить имя файла из лога выше), либо по получении "Calculation complete" в логе, либо при запуске руками плюс сам софт перезапускается другими людьми, меняется имя лога, и надо убивать этот скрипт шелловский и запускать новый в итоге сейчас зоопарк и 4-5 разных скриптов, которые делают каждый своё, а хотелось бы всё собрать в кучу и запускать его как домена, который автоматом всё отслеживает
Anonymous
https://pypi.org/project/inotify/
Во, мониторь файл и читай когда нужно
Nikita M.
https://medium.com/@aliasav/how-follow-a-file-in-python-tail-f-in-python-bca026a901cf
видел, но мне кажется, что это хрень
dev
а ещё и в разных директориях запускают
Anonymous
а ещё и в разных директориях запускают
ну вы сначала порядок с запуском/логированием наведите, а уже потом решайте проблему How to follow a file in Python
dev
вот пример имени лога /ansys-data/Solve/calc1/fluent-20201119-220946-72549.trn заранее фик угадаешь) я раз в минуту проверяю на самый свежий файл (*.trn) во всех директориях /Solve/* и если он различается от сохранённого ранее в конфиге, то значит заново запустили расчёт и надо убить все старые процессы и запустить новый
dev
для этого генерится .sh скрипт по шаблону, куда подставляетя имя нового лога
Anonymous
наведите порядок в именах логов. Кто эти имена логам даёт?
dev
а хотелось бы избежать вот этого промежуточного, и сразу делать сабпроцес из демона, который проверяет на появления новых логов
dev
наведите порядок в именах логов. Кто эти имена логам даёт?
никак не навести, их генеирит софт , это не настраиваемо
Anonymous
это внутренний софт или его можно в интернете найти?
dev
ANSYS
dev
точнее fluent
dev
это его подсистема, для кластерного просчёта задач
Anton
Все равно непонятно зачем вводить имена алиасов
алиасы != ssh config. удачи кидать туннели через впс без помощи конфига
Anonymous
это его подсистема, для кластерного просчёта задач
и чего, там нет конфигурирования имени лога?
dev
там есть документации томов 30 по 3-4к страниц некоторые)
dev
но идея неплоха, в один лог писать сейчас попробую поискать в доках
dev
изнутри GUI я все настройки смотрел, там про логи не было ничего
dev
может есть вариант через конфиг задавать
dev
а как распознавать, какой именно процесс лог пишет (с недавнего времени стали запускать одновременно два флуента, для разных гипотез, что добавило гемора)
dev
ну и да, если я в конфиге жёстко настрою один лог, то оба флуента будут в него писать, что недопустимо((
dev
вроде бы сначала казалось тривиальная задача - анализировать лог, события отлавливать и в чат телеги отправлять, но чем дальше, тем интереснее)
dev
особенно второй параллельный флуент добавил радости)
Matvey
#job #работа #удаленка #вакансия #python #django #удаленка #full_time #remote #git Формат работы: удаленно Занятость: Полная ЗП от 150к О нас: Kodland — онлайн школа программирования для детей и подростков, которая трансформирует IT-образование. У нас распределенная команда разработки с сильным бэкграундом и отлаженными процессами. Мы используем элементы scrum и kanban, работаем на результат с минимумом бюрократии, делаем регулярные релизы в продакшн и не боимся ошибок. Что ты будешь делать: Разрабатывать новые фичи и видеть от них результат Участвовать в развитии проекта, планировать и предлагать свои идеи Работать с основателями проекта, опытным продактом и Расти вместе с командой и компанией Ты подойдешь, если: имеешь опыт работы в индустрии от года хорошо знаешь Python, работал с Django не менее года и готов рассказать о предыдущем опыте (в частности, дать ссылки на Github или показать примеры кода другим способом) умеешь писать автотесты не боишься иногда залезать в HTML, CSS, JavaScript знаком с PostgreSQL уверенно работаешь с git Ориентирован на результат, внимателен и проактивен Умеешь оценивать сроки, декомпозировать задачи и сигнализировать о рисках/проблемах Привык доводить задачи до результата Плюсом будет: опыт асинхронного программирования опыт работы с Nginx, Gunicorn, Daphne, умение анализировать и интерпретировать логи понимание того, как правильно строить RESTful API Почему у нас классно: Стабильная оплата 2 раза в месяц Удаленная работа из любой точки мира или работа в офисе в центре Москвы Удобный график: фуллтайм, 40 часов в неделю, но эти часы не обязательно должны укладываться в общепринятое рабочее время) Профессиональное развитие. Контакты: tg - @pmfsb, email - yagmatvey@gmail.com https://volzhskiy.hh.ru/vacancy/39995342
Demetra
Что за символ
Demetra


Demetra
Demetra
Разделитель между ссылками надо указать
Demetra
Вроде это как возврат каретки или перенос
Anonymous
Подскажите плиз выходит вот такая ошыбка после добовления кода File "main.py", line 73 elif ^ SyntaxError: invalid syntax Traceback (most recent call last): File "start.py", line 6, in <module> sleep(30) #sleep for 5 minutes KeyboardInterrupt ^C C:\Users\hooks\Desktop\bot _wins>
Aryn
Подскажите, есть переменная значение которой является "тест😂" Как достать только текст?
Demetra
\n \r чего то не работает.
dev
Во, мониторь файл и читай когда нужно
inotify мониторит норм, но я не уверен, что мой скрипт будет успевать открывать лог, читать из него последнюю строку и закрывать между записями в лог..
dev
а если non blocking read?
а так можно питоном?
dev
ща загуглю
Anonymous
а так можно питоном?
Погуглил советуют aiofiles, да можно как вариант заюзать uvloop но я хз он блочит или нет
Anonymous
Кто может дать платную консультацию по исправлению ошыбок в коде. Python на Sqlite буду очень благодарен.
vi
По русскому языку могу платную предоставить
Kirill
Каких ошибок?
ДП-21 Дзюба Гліб
Как мне записать все что после id? domain.com/id1488
Kirill
.rsplit('id', 1)[-1]
ДП-21 Дзюба Гліб
Эм
Стартует новая специализация TensorFlow: Advanced Techniques от deeplearning ai, основанной Andrew Ng Начнём день с отличных новостей! Сегодня, 20го ноября на платформе coursera стартует новая специализация по TensorFlow, состоящая из 4х курсов. 🤖🎓 Так что, если ты, читающий, планировал начать учить TF, то теперь самое время! Уверен, что все знакомы с прекрасными курсами по deep learning от Andrew Ng. Возможно, слышали и про предыдущую специализацию по TensorFlow на coursera, которая была слишком уж базовой, да и куда честнее было бы назвать ее специализацией по Keras. Новая же серия курсов рассчитана на более глубокое, если можно так выразится про deep learning, погружение во фреймворк. 📚 Курсы, объявленные в рамках специализации: • Custom Models, Layers, and Loss Functions • Custom and Distributed Training • Advanced Computer Vision • Generative Deep Learning 📰 Нейроновости: https://t.me/mishin_learning 🎓 Ссылка на coursera специализацию: https://bit.ly/3oTIkqk
Narine
#вакансия #удаленнаяработа #middle #Python Компания - Nerve.Ai Формат- удаленная работа График - полный рабочий день Длительность - 4.5 -5 месяцев ЗП - до 120к рублей на руки Проект - Создание рекомендательной системы для музыкального сервиса Задачи по проекту: - создание модуля рекомендательной системы на основе Implicit - реализация REST API - кеширование данных обучения, весов модели, таблицы сопоставления идентификаторов - реализация механизма обучения/дообучения - проектирование механизма расширения рекомендаций - реализация алгоритма рекомендаций на основе аудиофич Требования к разработчику: - Коммерческий опыт работы с Python, Numpy, Pandas - опыт работы с ML, PostgreSQL - опыт разработки REST API на Python - опыт с RabbitMQ, Docker - опыт работы с задачами машинного обучения Контакты @nariarakel
dev
Погуглил советуют aiofiles, да можно как вариант заюзать uvloop но я хз он блочит или нет
всё таки думаю проще будет сабпроцессом "tail -f" обернуть и через пайп получать уже готовые последние строки лога Но inotify тоже пригодился! Переделаю оповещение об окончании рендера видео. Раньше на каждый рендер запускался свой следильщик: while not os.path.exists(filename): time.sleep(60) sendmsg А сейчас один оставлю через inotify Правда непонятно по нагрузке, - во время рендеринга от inotify просто тонны вывода льются..
dev
ну так и делаю) if 'avi' in filename: но это же ему надо каждый ивент проверить и сравнить) а там только чтение файла с данными для рендера - порядка нескольких сотен строк и таких файлов не одна сотня..
dev
ну просто по сравнению "раз в минуту проверить, появился ли файл", получается заметно более заморочно) но зато более универсально конечно
ДП-21 Дзюба Гліб
иу