Смотрите ситуация

Есть нгинкс, апп на питоне, редис. Приложенька ходит тока в редис. Запускаем 16увзги воркеров по колву ядер и видим следующее.

Грузиим лоадестигом приложеньку

Когда респонстаймы приближаются к 100мс начинаем ловить твймауты. В нгинкс тайм-аут на 1с выставлен

При этом, цпу юзадж 70%

Вопрос. Где просрали время ?

есть такая веселая штука в event-driven демонах, мы назвали ее "ложные таймауты".

возможно, ты на это наступил.

хотя не похоже.

Ах да, рпс там как раз в районе 160 типа как раз весь цпу забрать должны

Там хождения по сети это тока локалхост между увзги и нгинк и увзги редисом

Но не могли же там такую уйму времени оставить

Их предсказуемые имена интерфейсов не предсказуемы в случаи многопортовых карт

ну хз

ens9f0 и ens1f1 выглядят проще чем ethX

Но ведь есть ipc...

Есть, но с ним большая беда если ты нет доверия между всеми участниками ipc.

Грузиим лоадестигом приложеньку

Как именно грузите?

Когда респонстаймы приближаются к 100мс начинаем ловить твймауты. В нгинкс тайм-аут на 1с выставлен

А с сеткой Чо? Не упираетесь нигде?

Как именно грузите?

Не понимать вопроса

А с сеткой Чо? Не упираетесь нигде?

Неа, там трафика на 7мбит

А с сеткой Чо? Не упираетесь нигде?

Ну если тока докер какой то оверхед дает )))

Не понимать вопроса

что именно используется для генерации нагрузки? wrk? ab? с какими параметрами?

что именно используется для генерации нагрузки? wrk? ab? с какими параметрами?

Locust но причем здесь клиент ?

Locust но причем здесь клиент ?

ну интересно сколько ж там concurrency

Вы намекаете на разницу между аптрим респонсом и временем клиента, что воркер держится ?

Вы намекаете на разницу между аптрим респонсом и временем клиента, что воркер держится ?

ну да. воркеров 16 шт, пока кто-то не освободится остальные курят в очереди. nginx печалится когда долго стоит в очереди и выкидывает таймаут.

Мне кажется прокси буфферинг и для ювзги работает

Но нужно проверить

http://nginx.org/ru/docs/http/ngx_http_uwsgi_module.html#uwsgi_buffering

включено по умолчанию, так что обычно пофигу на медленных клиентов

но клиент не медленный.

а как вам кажется более правильным сделать - загружать статику в облачное хранилище на этапе сборки контейнера (как часть процесса сборки этого образа контейнера docker build в команде RUN) (вариант а.)) или же отдельно после сборки контейнера (но тоже в процессе билда, в bash-скрипте, который вызывает этот docker build) (вариант б.)), есть ещё вариант в.) - загружать на этапе деплоя билда на тестовый сервер (ну, статика всё равно нужна для тестов, без неё не получится, такой вот lazy вариант)

Если воспринимать статику как один из артефактов приложения, то и деплой артефактов вероятно должен происходить во время деплоя приложения.

@spuzirev а вы не пробовали что то типа dr.elephant для приглядывания за yarn ? или у вас там все свое ?

@spuzirev а вы не пробовали что то типа dr.elephant для приглядывания за yarn ? или у вас там все свое ?

я не занимался ярном почти совсем. а потом уволился оттуда, где он был :)

=(

#book Свежая Ansible for DevOps от Jeff Geerling (редакция от 2016-10-08). https://drive.google.com/open?id=0B7grKomTng0gMXNVb2VmbHd2MFk

В mysql есть таблица с 10 колонками, одна из которых json. Есть ли смысл разбивать таблицу на две: одна таблица из 9 колонок и вторая из foreign key + json, чтобы ускорить выборки?

Перейти на psql

Мои тесты показали что все только замедлится - выигрыша никакого, а join надо использовать.

Перейти на psql

Невозможно в текущий реалиях пока

Тогда страдать

А по вопросу есть мнение?

В mysql есть таблица с 10 колонками, одна из которых json. Есть ли смысл разбивать таблицу на две: одна таблица из 9 колонок и вторая из foreign key + json, чтобы ускорить выборки?

если в выборке участвуют все данные - нет

Хотя у нас девы что-то делали, но прибавка скорости была не очень значительна

#book Свежая Ansible for DevOps от Jeff Geerling (редакция от 2016-10-08). https://drive.google.com/open?id=0B7grKomTng0gMXNVb2VmbHd2MFk

спасиба

Надо смотреть план запроса и исходить из этого

если в выборке участвуют все данные - нет

Ну там будут обычные запросы селекта по колонкам и json, не обязательно по всем.

Ну там будут обычные запросы селекта по колонкам и json, не обязательно по всем.

использовать json пока еще везде стремно. разложи его в таблицу

Я кстати тестил json недавно в 5.7, работает очень быстро

Получилось даже быстрее чем если разложить частично в колонку.

Получилось даже быстрее чем если разложить частично в колонку.

значит чтото не то с запросами. смотри эксплейн

Просто получилось там где данные хранятся в одной строке кучей, если выделить в отдельную колонку то они начинают храниться в 13 строках, поэтому строк в таблице в 13 раз больше. Отсюда и лаги.

Просто получилось там где данные хранятся в одной строке кучей, если выделить в отдельную колонку то они начинают храниться в 13 строках, поэтому строк в таблице в 13 раз больше. Отсюда и лаги.

так не храни их выделяя колонку. разбей по колонкам

А не, это не выгодно потому что там данные динамические. В коллекции может быть скаляр, а может еще одна коллекция. Если все это разворачивать, получится что-то типа EAV которое на несколько таблиц выльется в итоге и будут джоины и совсем все плохо.

А не, это не выгодно потому что там данные динамические. В коллекции может быть скаляр, а может еще одна коллекция. Если все это разворачивать, получится что-то типа EAV которое на несколько таблиц выльется в итоге и будут джоины и совсем все плохо.

разверни по-другому.

Да не получается там никак развернуть :) набор полей не определен четко

Там очень много разных объектов хранится, с разными наборами данных

Да не получается там никак развернуть :) набор полей не определен четко

индексы у тебя четко определены. появляется индекс - добавляеися колонка. в джойнах кстати нет беды. особенно, если у тебя индесы всосались в память

По данным которые лежат в json почти никогда не идет поиска. То есть этот кусок достается целиком как есть из строки

с чем можно сравнить rancher?

с атомик

По данным которые лежат в json почти никогда не идет поиска. То есть этот кусок достается целиком как есть из строки

зачем тебе вообще тогда поле json?

с атомик

Спасиб

зачем тебе вообще тогда поле json?

Ну так это все-же данные которые хранятся в json, почему бы их не положить в поле типа JSON ?

Ну так это все-же данные которые хранятся в json, почему бы их не положить в поле типа JSON ?

Потому что оно не для того. Твой тип данных - BLOB

Запросы по json элементам все же возможны, зачем от этого отказываться сознательно

Тем более оно не мешает

ERROR: S client not available

Запросы по json элементам все же возможны, зачем от этого отказываться сознательно

Тогда выноси эти элементы в индексы. Собственно, ты думаешь внутри себя [My|Pg]SQL как-то по-другому делает?

Я думаю что незачем выносить элементы в индексы, которые и без индексов хорошо работают и прекрасно лежат в одной коробочке

Павел, а почему вы не можете закопать MySQL в проекте?

Я думаю что незачем выносить элементы в индексы, которые и без индексов хорошо работают и прекрасно лежат в одной коробочке

так. у тебя есть проблема или нет?

Павел, а почему вы не можете закопать MySQL в проекте?

пг пахнет нафталином и джсон у него экспериментальный

пг пахнет нафталином и джсон у него экспериментальный

> джсон у него экспериментальный есть чо почитать ?

про пахнет нафталином да

#book Свежая Ansible for DevOps от Jeff Geerling (редакция от 2016-10-08). https://drive.google.com/open?id=0B7grKomTng0gMXNVb2VmbHd2MFk

вот за моби ваще спасибо

у самого старый kindle :)

а епабчика нет?

моби легко конвертится

во все

старый киндл сломался два года назад

как и епаб

киндл форева

чета так стало сложно искать книжки в инете

раньше был http://it-ebooks.info/

но сломался

#book #link Много книжек без смс: - http://allitebooks.com - http://it-ebooks.info - http://golibgen.io

а епабчика нет?

докинул туда же epub

докинул туда же epub

спасибоньки

про пахнет нафталином да

начни например с collation. закончи этим, как называется прокся третьих сторон, которая персистент префорк держит

Павел, а почему вы не можете закопать MySQL в проекте?

Там такая ситуация на проекте, что особого профита от перехода не будет.

То есть будет конечно, но гораздо больше боли от предметной области. А технологии на втором плане.

Димас давно стал агентом посгреса?))

На it-ebooks Downloading is temporarily unavailable! Никто не знает почему и когда же наконец?

На it-ebooks Downloading is temporarily unavailable! Никто не знает почему и когда же наконец?

да вот тоже грустно

такой был годный ресурс

да вот тоже грустно

Ну может кто узнавал в саппорте

Старенькая, но интересная тема. Аж 90 книг https://rutracker.org/forum/viewtopic.php?t=4997568

90 лол

у меня наверное и то оттуда скачено больше