Tishka17
тоже делали через "мидлварю"
Ultralord
тогда уже через fluentd какой-нибудь
Я её просто в админку интегрировал вместе с другими приложениями, можно было сразу запросы по конкретному зареганому юзеру, к примеру делать
Ultralord
Взлом жопы пару раз задетектил так
Alex
Я как то мидлварь писал, в которой шли логи любых респонзов прямо в базу, с фк на юзеров, чекал все ip и кастомные хедеры
Вообще я хотел бы все-таки БД разгрузить. За один запрос может до десятка записей сгенерироваться. Немного, но в базу это писать не хочется.
Alex
но там тоже изучать надо. И еще syslog ng
Ultralord
Если тебе админка не нужна, можешь что то кастомное, типа какой нибудь алхимии накинуть, чтоб с роутерами бд не возиться
Ultralord
Ну и, по классике можно свой сервис поднять
Ultralord
на фласке с одним write запросом
Alex
по-моему проще уже клауд елк арендовать
Ultralord
и celery таски пошли куда подальше
Ultralord
тоже делали через "мидлварю"
надо не забывать такие сервисы в try оборачивать, а то бе ды
Ultralord
Ещё фишка есть, всё в брокер скидывать и потом на стороне оно будет в долгосрочное хранилище записываться
Ultralord
Такое в хайлоаде используют иногда
Alex
надо не забывать такие сервисы в try оборачивать, а то бе ды
Я говорю - это велосепедирование. Лучше свой хендлер написать который и будет осуществлять запись в БД тогда уж.
Ultralord
Я говорю - это велосепедирование. Лучше свой хендлер написать который и будет осуществлять запись в БД тогда уж.
Почему велосепедирование? Чем запрос в бд отличается от запроса к сервису (ну, кроме протокола)?
Ultralord
в Sentry, кстати, можно не только ошибки логировать
Ultralord
он как logging работает и его можно напрямую к юникорну подрубить
Ultralord
https://github.com/benoitc/gunicorn/issues/1855
Alex
Почему велосепедирование? Чем запрос в бд отличается от запроса к сервису (ну, кроме протокола)?
Потому что писать логи в реляционную БД это сама по себе плохая идея. Вроде даже читал что это антипаттерн.
Ultralord
Если нагрузка в несколько десятков запросов в секунду, то нет ничего страшного
Ultralord
у меня за год чуть меньше миллиона реквестов накопилось
Ultralord
это очень немного
Ultralord
Мы про джанго
Alex
я думал это носкуоль и там дозапись есть
Ultralord
Какой трай, там тайм-аут был
В любой либе можно тайм аут указывать
Tishka17
Кстати. Как это "не любит" проявляется? Я сейчас пишу по одной, пока ничего не заметил
Ultralord
в requests, к примеру райзится ошибка
Tishka17
В любой либе можно тайм аут указывать
Ну так блин не указывать же его 0.1 секунду? Чтобы ответ был за приличное время
Tishka17
1) Десяток-два может 2) вроде
Ultralord
Ну так блин не указывать же его 0.1 секунду? Чтобы ответ был за приличное время
Ну, надо указывать столько сколько нужно, если 0.1 секунда критична, разрывай, если у тебя low load и 3-5 секунд может и подождать, то ставь столько
Ultralord
но не факт что там 5 секунд выйдет
Ultralord
Когда легло, вышло
всё ещё лучше чем бесконечное ожидание
Ultralord
но вообще, для сервиса 0.7-0.9 секунд с записью вполне норм
Ultralord
сортируешь и срезаешь
Ultralord
ну и в сет превращай если у тебя повторы есть
Mimbulus
Помогите пожалуйста с тестовым заданием. Суть: есть объект Person у которого есть список объектов Events. Есть класс Events_manager который парсит json в котором список Events для разных Person, соответственно он собирает все события для всех людей. Надо чтобы метод этого класса вернул структуру, к которой можно обратиться так: Person['Вася'].время_обеда_в_минутах() Даны тесты, к ним надо написать код. Я не могу понять что должен вернуть метод from_dict класса EventManager чтобы к нему можно было обратиться как Person['Вася'] Тут код: https://dpaste.org/2AqC#L5,6
Ultralord
> Как мне из списка вытащить > Ахахах обманул у меня не список а словарь
Dogma
sorted(d.items(), key=lambda x: x[1])[:5]
Ultralord
В кортежи превратить можно и также отсортировать
Ultralord
Вот выше норм скинули
Dogma
Только reverse=True нужно добавить
Dogma
или [5::-1]
Ultralord
или [5::-1]
лучше первое
Dogma
Ultralord
Когда легло, вышло
Можно провести нагрузочное тестирование, найти среднее время ответа, и, выставить процентов на 20 больше, все в шоколаде (кроме отвалившегося сервиса)
Tishka17
что я и сделал
Ultralord
а можно просто сделать очередь и все логи доставлять через нее
Да, я выше про неё писал, но в большинстве случаев такой бодход приведёт только к усложнению архитектуры
Mimbulus
То что он парсит json это условие тестового задания? Вы типа достаете из sql этот json? Или как? Просто хотелось бы убедиться что вопрос не из разряда XY)
Да, они json тоже выдали. Там список событий для разных людей, я их группирую по людям и сортирую по времени
Anonymous
Здравствуйте! У кого-нибудь работает postgresql12 в связке с PyCharm?
Андрей
Драйвер обновить надо, возможно
Anonymous
В боковой вкладке Database подключаю БД, но возникает ошибка [42703] org.postgresql.util.PSQLException: ОШИБКА: столбец t.relhasoids не существует Позиция: 135.
Anonymous
Версия 2019.1.4
Владимир
Да, они json тоже выдали. Там список событий для разных людей, я их группирую по людям и сортирую по времени
Такого не делал, возможно сморожу, но попробовал бы вот так (выдало со стэковерфлоу) class KeepRefs(object): refs = defaultdict(list) def init(self): self.__refs__[self.__class__].append(weakref.ref(self)) Ну то есть конечно это надо менять)
Anonymous
Драйвер обновить надо, возможно
А он не сам обновляется?
Андрей
Anonymous
42.2.5
Андрей
Alex
Версия 2019.1.4
эту ошибку починили в 2019.2
Alex
обнови PyCharm
Anonymous
Благодарю!
Alex
Благодарю!
да и вообще уже давно 2020 вышла
Anonymous
Да, но меня пока все устраивало, а тут решил обновить постгрес и такая ошибка.
Владимир
Да, они json тоже выдали. Там список событий для разных людей, я их группирую по людям и сортирую по времени
Немного ближе вот это https://pastebin.com/XUEBJ8ew Но тут надо в классе реализовывать Вам какой-то дандер классметод вместо all_instances И желательно либо юзать weakref либо del метод переопределять у класса чтобы при удалении - уходило из словаря)
Anonymous
Можете помочь с парсером почт из youtube,его мне написал один питон разработчик,я сам кодить на данном языке не умею. Код: https://pastebin.com/d9Q4UL2w он нормально работал 2 месяца,затем перестал,точнее не парсит ссылки каналов для дальнейшей поиски в них почтовых ящиков.
Alex
"обожаю" копаться в таком говнокоде