Max
я не могу судить
yopp
они, кстати, как с tls вопрос решили?
Max
я знаю, что у меня монга очень нагружена (в моем понимании, конечно же)
yopp
они вроде раньше дамп трафика анализировали
yopp
в смысле pcap и дальше разбирать протокол
Max
и что я знаю только свою монгу, а не каноническую.
потому - любая внешняя *проанализированная* инфа — всегда полезно.
Max
вот - они не смогли.
ну это ж не их вина, что они мне не подошли.
это я не нашел там для себя интересное
yopp
после своего экспортера в прометей, я пришёл к выводу что графики — нафиг не нужны
Max
они вроде раньше дамп трафика анализировали
сейчас- на лету
я к ним и пришел после статьи на хабре, где они рассказывали про разбор данных на лету
yopp
потому что графики надо уметь читать
yopp
сейчас- на лету
я к ним и пришел после статьи на хабре, где они рассказывали про разбор данных на лету
ну в смысле они пакеты разбирают, я это под дампом имею ввиду. копию трафика до сервера. mitm в белых целях. вопрос как они с tls решают проблему
Max
после своего экспортера в прометей, я пришёл к выводу что графики — нафиг не нужны
я его тоже снёс, вы уж простите.
после того как он выжрал 20%+ памяти из
# free -m
total used free shared buff/cache available
Mem: 382830 215459 2763 30 164608 164110
Swap: 0 0 0
Max
я пришел к тому, что надо руками выдирать нужные значения и по ним строить метрики.
yopp
это он мог :)
Max
рассказать, что он мне прибил?
Max
:)
yopp
соболезную
Max
на самом деле спасибо
я понял, что именно надо выдирать из базы, на что обращать внимание, а на что — нет
yopp
по этому я не хочу больше толстых агентов, а просто проксю которая будет тащить нужные команды ко мне в инфраструктуру
Max
потому что в то время экспортер вставил мне мозги очень неплохо.
yopp
эти графики очень тяжело читать, нужно понимать куда смотреть и находить причино-следственные связи
yopp
особенно когда у тебя их пара тыщ
Max
yopp
да, но она требует деплоя пользователей с правильными правами :)
Max
чтото легкое, что сливает данные ( аггрегированные метрики?) кудато для анализа и для постановки диагноза — это круто.
yopp
там вобщем есть нюансы
yopp
да так-то можно и не агрегированные сливать
Max
да
собрать не просто
у меня в проме таймаут стоял... ух какой
мож осталось, ща пойду гляну
yopp
да, много
yopp
на большом кластере три минуты оно ходило
Max
- job_name: 'Mongo Shard'
scrape_interval: 120s
scrape_timeout: 90s
static_configs:
- targets: ['mongodb-
Max
ну вот так
Max
и этого не хватало
Max
а метрики с разной гранулярностью - печаль
Max
короче, после того когда я с ним не справился - я его отключил :)
Max
бо было больно
Bro
да, в первую очередь время. стартапу катать свою инфраструктуру это очень дорого
разве? облачные дороже в итоге
Bro
show dbs;
ig 639.458GB
Bro
там все удаляется инсертится постоянно ничего не проседает. кто-то там спрашивал про удаление
yopp
а ещё и стоимость его обслуживания, простоя и вот этого всего
Bro
ну в принципе да
Bro
но вот у нас щаз реплика на 3х машинах. дешевле коробки взять где много памяти и толстые ссд диски
Bro
я сейчас несколькими БД уже больше терабайта съел. боюсь атлас бы не поятнул такие
Bro
ну за относительно низкий прайс
Bro
наверное 2 варианта ок для облачных решений. нет денег - нет нагрузки. много денег - есть нагрузка.
yopp
атлас будет около тыщи стоить на такой конфигурации, без учёте трафика
Bro
на другом проекте на амазоне монга. но там база около 30Гб всего
yopp
если на обычных дисках
Bro
у нас ссд
Bro
вообщем посмотрев что там на амазоне получается и с коробками на колокейшене. коробки мне нравятся больше
yopp
коробки надо содержать, почти ежедневно
Bro
это да
Bro
девопс постоянно что-то делает
yopp
ну вот, а это минимум тыщи полторы-три баксов в месяц на девопса, только зарплаты
Bro
через salt рулит всей кучей коробок. я не знаю что это, только ansible юзал, вроде примерно то же?
Constantin
ну вот, а это минимум тыщи полторы-три баксов в месяц на девопса, только зарплаты
В стартапе занимающий должность техдира на старте может быть девопс-инженеров в том числе. Ну и даже если он на зп или контракте, он не только монгой занимается =)
Constantin
Ну, а так лепить все из говна и палок в облаке сложнее, а с первым ростом, может оказаться еще и непосильно дорого
Constantin
В сериале Кремниевая долина в последней серии прошлого сезона как раз на эту тему была история, когда Amazon все деньги спалил к херам, даже глазом не моргнув, хотя оно может и быть не надо
Constantin
Выстрелили на продукханте, и словиди продуктхант эффект, и получили счет приличный в конце месяца, а доходов сильно меньше, так как не всех удалось сконвертировать даже в бесплатных пользователей по разным причинам
yopp
yopp
вообще делать продукт надо после того как есть пользователи, а не до
yopp
хороший техдиректор найдёт как готовые продукты между собой скрепить скотчем
Bro
yopp
но это всё после того как все убедились что проблема есть на рынке и потенциальное решение готовы купить даже на словах. потому что иначе разработка это просто выкинутые деньги на ветер.
разработку должны оплачивать клиенты.
например с балансировщиком я не буду никакого продукта делать, до момента пока не будет с десяток клиентов, которые дадут денег за первый месяц. все мои текущие разработки это исключетльно проверка технологической гипотезы, что то что я хочу продавать, реально можно сделать. это мой личный академический интерес, чтоб мозг не засыхал.
потому что потратить полгода на разработку продукта, который потом никому не нужен, это вобщем-то ошибка №1. наверное 90% компаний именно по этому и умирают, прожигая огромную дыру в карманах фаундеров
Bro
только не техдир наверное а фундер
Bro
серваков 20+ вроде все четко фурычит. мне прям нравится. у меня несколько коробок под задачи с 128Gb памяти, чтоб я так жил на амазоне.
yopp
клиенты денег несут? :)
Bro
там конечный продукт являться базой данных.
yopp
эт не важно
yopp
важно: несут ли или не несут денег.
Nikolay
а что в explain по find?
Обычный IXSCAN. Я по курсору могу сделать count и он терпимо по скорости отрабатывает. Внутри unix timestamp.
Главная проблема в том, что рабочие запросы к базе не больше 300 ms должны выполняться в этот момент. А удаление сильно нагружает сервера и в диск база начинает упираться.
А что профитнее: bulkwrite удаление 1000 элементов и sleep или по одному с небольшим слипом между ними?
Max
Всем привет. Подскажите какой индекс для такого запроса нужен?
db.drops.find({ date: { $gt: 1538320801723 } }).sort({ itemPrice: -1 })
Max
в коллекции drops порядка 120 миллионов записей за пару лет накопилось
Max
и такой запрос нужно раз в минуту выполнять хотя бы
Max
выполняется примерно 250ms
Max
Пробовал индексы date_1_itemPrice_-1, itemPrice_-1_date_1, пробовал два отдельных индекса
Max
Nick
по логике нужен индекс {date:1 , itemPrice:1}, но все проще првоеряется через explain