Подскажите. Поднял на сервере ubuntu 18, postgres 10, nginx, gunicorn. При селекте данных из бд при большой выборке сервер падает по таймауту, хотя и у , gunicorn и у nginx тайм-аут увеличил, но это не самое критичное, самое критичное то, что gunicorn не очищает оперативную память после этих выборок, в итоге забирает все доступные 16гб и сервер зависает. Как решить, в какую сторону копать?

1. Не делать таких выборок, это все таки веб приложение 2. Это не gunicorn очищает, а питон. Проверяй что ты написал 3. В крайнем случае можно гуникорну сказать убивать воркеры после какого-то количества запросов

Если запрос выполняется больше 1 секунды, ты явно что-то делаешь не то

В идеале сервер конечно должен отвечать за 0.1

Но тут уже надо оптимизировать

Бд 3 Гб, поля в ней типа Текст, Контекстные индексы, векторный поиск

Сложно, понял

Ну, короче все равно вопрос к твоему коду

И почему в питон прилетает много данных

Данных то и не много, вопрос в том что поиск отрабатывает медленно и это вешает все по таймауту и эти данные какого-то фига висят в оперативке

Точно они в питоне висят?

Ну и медленно отрабатывающий поиск в любом случае надо чинить

Поиск да, надо чинить, но он максимум отрабатывает за 75с, что не особо плохо, обычно 12-13с, все зависит от сложности запроса. Сами процессы gunicorn висят и толстеют

12-13 уже в 13 раз хуже чем должен и в 100 раз хуже чем желательно

Данных то и не много, вопрос в том что поиск отрабатывает медленно и это вешает все по таймауту и эти данные какого-то фига висят в оперативке

а где им еще висеть?

можешь начать с того что посмотреть EXPLAIN запроса

Запросы оптимизированы настолько, насколько позволяет сервер, индексы и статистика, все сделано и собрано, не в ту сторону

Запрос 70 секунд звучит так как будто, его не надо выполнять сразу, а стоит ставить в очередь и потом уведомлять клиента о результате

Поиск да, надо чинить, но он максимум отрабатывает за 75с, что не особо плохо, обычно 12-13с, все зависит от сложности запроса. Сами процессы gunicorn висят и толстеют

если у тебя запрос отрабатывает 12-13с, то его уже надо ставить в очередь, и отправлять клиента с ответом прийти за данными позже.

Запрос 70 секунд звучит так как будто, его не надо выполнять сразу, а стоит ставить в очередь и потом уведомлять клиента о результате

эх ты, на секунду раньше отправил

Но вообще странно, что память течет

кто сказал что она течет

В первом сообщении

В первом сообщении

нет, это предположение.

Говорит воркеры съедают все память постепенно

вопрос как определил

Как такое определил? Открыл диспетчер и увидел, что воркеры съели все

В этом и основной вопрос

Как бы если в клиент летит 100 строк из таблицы. И у нас 1 rps, это должно полгода течь

Как бы если в клиент летит 100 строк из таблицы. И у нас 1 rps, это должно полгода течь

уж не все ли 3 ГБ он одним махом пытается вытянуть

А вряд ли тут больше 1 рпс с такой скоростью ответа

уж не все ли 3 ГБ он одним махом пытается вытянуть

Говорит "данных не много"

уж не все ли 3 ГБ он одним махом пытается вытянуть

Нет, максимум 5% от общего объёма

тут бы мониторинг не повредил.

на крайний случай гуникорн воркеры можно перезагружать по количеству запросов

Где такая настройка?

Где такая настройка?

эх сразу кидаться на легкий вариант?

Смотрю мануалы для написания ботов под Telegram. Хочу понять, какая библиотека для разработки telegram-бота наиболее функциональна и понятна? Вообще, я нашел две библиотеки, которые встречались наиболее часто: - pyTelegramBotAPI (telebot) - python-telegram-bot (telegram.ext) Буду признателен, если поясните, какая между ними разница и куда направляться новичку.

вместо полноценного RCA

5% от 16 гигов за раз?

5% от 3х Гб это 150мб

150 метров за один запрос? Ух

Смотрю мануалы для написания ботов под Telegram. Хочу понять, какая библиотека для разработки telegram-бота наиболее функциональна и понятна? Вообще, я нашел две библиотеки, которые встречались наиболее часто: - pyTelegramBotAPI (telebot) - python-telegram-bot (telegram.ext) Буду признателен, если поясните, какая между ними разница и куда направляться новичку.

@botoid

это 150мб сырых данных

Дохуя, надо сказать

в питоне это чуть больше все же

в питоне это чуть больше все же

Полгига без проблем. А потом ещё результат обработки

А потом ещё релокации на все это накладывают, что процесс съел гига два

Как такое определил? Открыл диспетчер и увидел, что воркеры съели все

Вопрос, сколько воркеров и сколько съел один?

5 воркеров, едят сначала мелочи, потом гиг, потом выше

5 по два гига без проблем десятку

И это не утечки

зы: про сервер зависает поподробнее зыы: а вот нехуй на сервере своп держать.

Ну короче, имхо проблема в больших данных

Могу предложить уменьшить число воркеров

я пока что проблем никаких с утечкой не вижу

я вижу проблему с дофига медленными синхронными запросами, которые вываливаются по таймауту

и попытку пациента решать проблему увеличением таймаутов

зы: про сервер зависает поподробнее зыы: а вот нехуй на сервере своп держать.

А вот про своп вы не правы)

А вот про своп вы не правы)

аргументы?

оптимизация потребления памяти на случаи, когда у вас не весь код используется часто, например

оптимизация потребления памяти на случаи, когда у вас не весь код используется часто, например

Ну давай так, если мы говорим о промышленных системах, сделанных по уму, то swap действительно рекомендуется иметь. у нас тут ситуация несколько иная, вместо того чтобы OOM киллер прибил текучий процесс имеем катастрофическую деградацию производительности.

Т.е. ситуации, когда своп используется не для сбрасывания редкоиспользуемых таблиц памяти на диск, а просто процессы не влезают в память - в принципе не должно быть.

поддержу за своп. Особенно когда сервер на ссд, то деградация не катастрофическая. даёт время среагировать на уведомление от мониторинга.

поддержу за своп. Особенно когда сервер на ссд, то деградация не катастрофическая. даёт время среагировать на уведомление от мониторинга.

Не у меня же «сервер зависает».

Не у меня же «сервер зависает».

а, я не всё обсуждение почитал

Где по ООП на python найти задачек? От простого к сложному, желательно

На русском

На русском

напиши программу для изучения английского с помощью ооп

напиши программу для изучения английского с помощью ооп

Спасибо за совет, но он к сожалению бесполезен

Спасибо за совет, но он к сожалению бесполезен

почему?

Спасибо за совет, но он к сожалению бесполезен

Выучи английский

Мне из области нужно "реализуйте объект стул с такими то параметрами"

И с подробными советами как и почему лучше использовать это так

Просто на Java таких задач полно, но python же динамический язык, поэтому, будет крайне сложно адаптировать его правильно

так и запишем - Питон это динамический язык

С Википедии хоть начал для общего понимания...

На русском

С Википедии хоть начал для общего понимания...

Там нет задач

Те до задач есть что почитать

Вот именно!

Поэтому я и прошу от простого к сложному, с практикой на русском языке

Ладно, буду адаптировать из hf код на python с java (

Мде, рили?

БеЗконтактный?? В школу не ходил?

Кто нибудь репортнет?