Stas
и не приложение должно решать эту проблему
Алевтина
это больше похоже на файловые метрики
на просторах интернета видела как гляделку на файл вешали это библеотекой
Stas
покажи структуру проекта
├── __init__.py ├── admin.py ├── apps.py ├── celery.py ├── settings │ ├── __init__.py │ ├── common.py │ ├── local.py │ └── local.py.template ├── url_builders.py ├── urls.py ├── views.py └── wsgi.py
Stas
это вот как раз внутри него
Alex
это вот как раз внутри него
так, а azul_jdk.settings тогда где?
Stas
так, а azul_jdk.settings тогда где?
это jdkrest и есть, я просто переименовал в процессе скидывания в чат на всякий
Алевтина
Watchdog?
я на это наткнулась inotify
Alex
это jdkrest и есть, я просто переименовал в процессе скидывания в чат на всякий
эм... ну ты настройки загружаешь из azul_jdk а твой пакет называется jdkrest
Alex
ты уж определись что ли?
Stas
ты уж определись что ли?
оно все называется azul_jdk
Stas
сори за путаницу
Alex
оно все называется azul_jdk
а запускаешь в celery worker ты что?
Nikolay Markov
я на это наткнулась inotify
Inotify - это общее название механизма мониторинга событий фс. Watchdog - это одна из библиотек (насколько я знаю, самая известная), дающих обёртку для этого механизма
Alex
тоже celery worker -A azul_jdk?
Alex
да
так, и что у тебя в azul_jdk/settings/__init__.py?
Stas
так, и что у тебя в azul_jdk/settings/__init__.py?
try: from .local import * except ImportError: import os from django.conf import ImproperlyConfigured raise ImproperlyConfigured(''' Please create local settings file using the template provided in “{}”. '''.format( os.path.join( os.path.dirname(os.path.abspath(__file__)), 'local.py.template' ) ))
Alex
так, стоп, а где тот код лежит который celery инициализирует?
Nikolay Markov
погуглю просто боюсь что питон не сможет обработать такой наплыв информации из файла
А не проще его перечитывать, скажем, раз в несколько секунд?
Stas
from .celery import app as celery_app __all__ = ('celery_app', )
Алевтина
А не проще его перечитывать, скажем, раз в несколько секунд?
нет, это файл логов, туда пишется все со скоростью света))) и нужно событие оперативно обрабатывать
Nikolay Markov
нет, это файл логов, туда пишется все со скоростью света))) и нужно событие оперативно обрабатывать
Какая максимальная задержка отработки? И откуда лог пишется именно?
Nikolay Markov
Просто если нужно быстро - не очень понятно, зачем вообще логировать на диск
Алевтина
чтобы поймать событие
Nikolay Markov
чтобы поймать событие
Событие - это определенная строчка в логе?
Stas
зачем вообще изобретать велосипед :))
Stas
если нужно всего лишь по регулярке из лога что-то получать
Алевтина
это dhcp сервер и нужно поймать вот эту строчку LeaseManager: static_offer: IP 172.17.5.3 is already used by another host
Stas
если одноразово то screen + tail + grep
Stas
и ловите сколько влезет))
Алевтина
а нужно постоянно следить за этим
Alex
from .celery import app as celery_app __all__ = ('celery_app', )
https://docs.celeryproject.org/en/stable/getting-started/next-steps.html#about-the-app-argument
Nikolay Markov
Alex
https://docs.celeryproject.org/en/stable/getting-started/next-steps.html#about-the-app-argument
ответ на твой вопрос почему работает не так как ты ожидаешь.
Алевтина
Поддерживаю Стаса выше, запусти tail -f | grep
вывезет? Банально оперативу не съест?
Alex
по-умолчанию celery ожидает что объект celery будет иметь имя app или celery
Nikolay Markov
вывезет? Банально оперативу не съест?
За счёт чего? Там пара строчек одновременно в памяти максимум. Почитай, что вообще такое tail -f
Alex
но вообще пишут если он не найдет должен загружаться любой объект экземпляр класса celery
Алевтина
нашла вот эту утилиту inotifywait видимо тогда придется bash+python
Nikolay Markov
нашла вот эту утилиту inotifywait видимо тогда придется bash+python
Для твоей задачи питон либо вообще не нужен, либо нужен в самый последний момент только
Nikolay Markov
Тут гораздо удобнее консольными утилитами, всё уже за тебя написано
Nikolay Markov
Особенно при частных изменениях файла, inotify может такое не прожевать
Alex
@ironstas1q в любом случае проверь что у тебя CELERY_BROKER_URL из django.conf.settings таки загружен правильно и что celery app используется нужный.
Анвар
Привет, а каким способом можно управлять телеграм-ботами (создавать/изменять/удалять новые экземпляры по токену) динамически, как fleepbot, как manybot ?
Nikolay Markov
а какую тогда лучше выбрать?
Слушай, тебе мы уже раза три написали. Читай файл tail -f и лови строчку в нем grep'ом
Алевтина
попробую спасибо
Archie
нашел нужное значение в одной из колонок dataframe, как теперь взять всю строку датафрейма этого значения?
Владимир
os.system("sudo ./pfcount -i enp0s3 -v 1 > pfcount_log.txt 2>&1 &") time.sleep(5) for linenum,line in enumerate(open('pfcount_log.txt','r+')): if linenum>4 and linenum<10: print (line.strip()) не печатает содержимое файла после запуска, при этом если файл из консоли прочесть в этот момент он не пустой. Если ещё раз запустить начинает читать. В чём может быть проблема?
Archie
df.loc[df.column==x]
да спс, уже нашел
Mariana
#работа #python #django #middle #удаленка #fulltime Приветствую! Меня зовут Марьяна) Ищу python-разработчика на django уровня middle и в целом любителя иностранных языков в проект Marfa CAT=) E-Cetera | Professional Translators - компания, которая специализируется на работе с документами особой значимости, такими как годовые отчеты, инвестиционные меморандумы, аналитические и аудиторские отчеты, PR-, IR- и GR-материалы. Высшего качества текстов компания добивается благодаря технологии многоступенчатого контроля качества и собственной платформе полуавтоматического перевода Marfa CAT. Ребята нуждались в небольшом инструменте, который решал бы большую часть проблем типового переводческого агентства. Но на рынке не было идеального😢 Поэтому они решили написать свой😏 Сейчас ищут человека, который поможет создать новый функционал и вывести проект на новый уровень🥳 🤩Что хотят видеть в идеальном кандидате: ✔️Опыт коммерческой разработки на python (3.7, 3.8) + django (rest) не менее 2-х лет ✔️Опыт использования каких-либо отличных от django вэб-фреймворков ✔️Умение писать тесты (опыт использования pytest и ecosystem ✔️Любовь к pep8 и умение следовать codestyle ✔️Знание PostgreSQL, отсутствие боязни писать raw SQL ✔️Опыт работы с Docker, docker-compose ➕Огромным жирным плюсом будет: 🔹Умение писать простой, понятный и чистый код 🔹Soft-skills 🔹Понимание solid, kiss, dry, yagni 🔹Опыт разработки систем с микросервисной архитектурой 🔹Знакомство с kotlin + spring 🔹Знание swarm, openshift, k8n 🔹Опыт agile разработки 🧑🏻‍💻Чем будешь заниматься: 🔹Расширение функционала и адаптация собственной разработки (облачного инструмента автоматизации переводов) под требования крупного Банка 🔹Настройка интеграций с другими подсистемами Банка 🙏🏼Компания предоставляет: 🔸Возможность работать удаленно 🔸Возможность трудоустройства под проектную работу на 1-6 месяцев 🔸Гибкий график 🔸Зарплата от 130к по итогам собеседования 🔸Бонусы по итогам успешной работы Заинтересовало? Напиши мне! @reanimatsiya
Anonymous
как ускорить парсер на requests bs4?
Alexander
как ускорить парсер на requests bs4?
перепиши на раст 🤷‍♂️
Anonymous
мне сегодня надо
XO
мне сегодня надо
начинай переписывать на rust сегодня
A🐊🇺🇦
мне сегодня надо
Убери time.sleep()
Anonymous
бан
Denis
как ускорить парсер на requests bs4?
Запусти в 2 процессах
Anonymous
Я с вопросом. Как показать окно с текстом "Жди", пока я блокирую весь поток? Python 3.8, PyQt5
Nikolay Markov
XO
Использовать lxml
Это же само собой должно быть по-умолчанию. Но пологаю ему нужно ускорить именно время на запросы :))
Nikolay Markov
Это же само собой должно быть по-умолчанию. Но пологаю ему нужно ускорить именно время на запросы :))
Ну, быстрее никак, если там точно lxml. Только если в параллель парсить, да, но это не сильно поможет, потому что cpu-bound и gil
XO
Многопоточность. Но не все парсеры там можно асинкать :) бан мгновенный будет :)
Tishka17
Взять qthread
+ там есть, например, сигнал завершения
Anonymous
Взять qthread
так задача другая: 1) показать окно "Жди" 2) time.sleep(60) 3) выключаю окно "Жди" притом окно "жди" не должно иметь кнопок закрытия
Vladislav
Друзья, а как указать обратное действие к Django data migration ? forward я указал в operations. (что-то нигде не нахожу, а время поджимает)
Anonymous
Как будто qthread не решает эту задачу
хочу без них, честное слово не люблю их)