freezlite
я очень прошу прощения, кто знает, aws хостинг postgresql платишь за все время использования или есть какая-то хитрость ? хочу простенький скрипт залить в aws lambda там есть бд но из рассчета что бд работает весь месяц выходит дорого
Tishka17
Александр
Кто работал с socket? Написал сканер порот на линукс. Но socket.conneckt((ip,port)) не разу не сработал. Диапазон портов от 1 до 23000
Александр
Хм... Сработало когда tcp на udp пакеты заменил
Light
Всем привет. Подскажите, плиз, как можно записать в один df данные из каждого цикла сбора статистики из google trends в таком формате:
Light
Light
Мои попытки написать цикл:
Light
Mykhailo
Ребят, мне кажется, или гитхаб немного изменил дизайн?
Alex
Андрей
:D
Anonymous
Anonymous
У меня менюшки расползаются на большом мониторе
Alex
И он ужасный
мне больше сам дизайн не нравится. Эти скругленные кнопки - как-будто дизайнер боялся что я порежусь о старые острые края.
Alex
Alex
имхо, упрощали дизайн для дегенартов
Alex
так и есть
Alex
эппловский стиль
Kirill
Kirill
Волков Андрей
мне впадлу ребутиться в винду чтобы фидлер запускать.
ты уверен что сертификат подменил?
попробуй в другом браузере, у меня в хроме не всегда ловит, за то фирефокс всё ок
ну уж вирешарк тебе точно поможет, правда не помню умеет он сертификат подменять
Tishka17
Зачем?
Tishka17
У киви есть апи
SLVR
Привет. Вопрос по кешам в редисе. У меня есть комплексная django view, которая дергает кеш редиса примено 1000 раз (разные мелки штуки). APM показывает что занимает это все ок 900мс. Это нормальный результат или многовато времени? Понятно что кеш не бесплатный, но хотелось бы понять - это ожидаемый перформанс или нет.
Denis
900 мс на запрос это многовато, юзеру будет некомфортно
SLVR
)) вопрос ведь не в этом
Tishka17
900мс на 1000 раз?
SLVR
я прекрасно понимаю что многовато. вопрос - достать 1к ключей за 900мс это нормальная производительность редиса или нет. редис бежит в соседней виртуалке в HA сетапе (sentinels & master / replica)
SLVR
900мс на 1000 раз?
Да такой примерно тотал показывает apm. Мол в редис ходили 1000 раз, потратили на все 900ms exclusive time
Denis
1мс на сериализации и раундтрип выглядит правдоподобно
SLVR
тож так кажется 🙂 но решил спросить. похожий кейс у меня с мемкешем когда-то был, решался multiget запросом;
SLVR
Видимо и тут придется что-то придумывать
Tishka17
SLVR
значит я зажрался ;))
Tishka17
Все равно кроме редиса у тебя будет ещё куча всего, что будет сильнее тормозить
SLVR
нет
SLVR
Ну почти нет. Сейчас там какая-то аномалия в темплейте и редис.
SLVR
Это не тот случай когда что-то уперлось в базу
SLVR
Причем по мониторингу - выедается именно CPU
SLVR
Редис тут как бы очень заметная статья расходов.
Tishka17
Tishka17
Json?
SLVR
скорее наоборот - из моделей конвертируется в json
Tishka17
ujson или что?
SLVR
но не так чтобы много раз, там 60 продуктов
Tishka17
Как из моделей словари собираешь?
Tishka17
SLVR
)) смеш но ж - 60 продуктов отображать за 3 секунды 🙂
SLVR
единственное что подозрительно выглядит это генератор урлов на картинки в котором присутствует hmac. картинок много и размеров много у них (сами картинки не проблема - они сервятся и режутся прекраснейшим imgproxy.net
SLVR
но вот урл для них требует генерации hmac )
Tishka17
Погоди. Это на один запрос клиента ты делаешь 1000 запросов в редис?
SLVR
Угу 😕
Tishka17
Ять
Tishka17
Я думал это 1000 запросов клиента
Tishka17
Нахрен столько?
SLVR
по другому никак 😕 сча напишу что на стрнице - поймешь
Tishka17
Ты рисуешь 1000 элементов на странице и надо вытаскивать по одному?
Tishka17
SLVR
можно, но не кешировать же их
Tishka17
Tishka17
SLVR
разве что генерить эти ссылки и класть возле продукта при его обновлении
SLVR
не сильно удобно т.к. гибкость imgproxy именно в том что тебе не надо никакого стейта хранить, прокся режет картинки с дикой скростью - все настройки в урле
Tishka17
Ну
Tishka17
Хранишь базовый урл обработанной картинки и ладно
Tishka17
Или там ссылки на разные разрешения через hmac?
SLVR
размеры/фильтры итп - все в урле и захешировано hmac.
Страница содержит:
* сложное меню (под 200 пунктов, пойдет в финале в кеш, надо ток инвалидациюр продумать)
* фасетные фильтры которые часто состоят из объектов моделей (самое простое - фильтр со списком брендов, тут нечего кешировать список всегда зависит от других фильтров. единственное можно вместо базы за ними в редис бегать но как видно не особо это помогает)
* список продуктов 60шт сейчас, по минимуму.
Tishka17
Мы при заливке новой картинки кидаем её на обработку и храним уже ссылка на обработанную
SLVR
ну можно, но менеджемент так себе
SLVR
надо вначале убедится что тормозит генерация картинки ))
Tishka17
SLVR
вполне возможно там вызов чего-то еще. может название файла каким нибудь slugify прогоняется
Tishka17
Все можно распараллелить
SLVR
угу тут со всеми оверхедами должно быть в итое <500мс
Tishka17
Вообще 20мс на выборку 60 штук это ещё вопрос, может и быстрее
Tishka17
Я тебе примерно рассказал как у нас сделано было
SLVR
ну у меня на скрине видно - эластик
Tishka17
Хотя не. Меню рисовалось из памяти без похода в базу/редис