включи slow log
Так там все они, я же говорю.
Anonymous
yopp
и не агрегации?
Anonymous
Да.
yopp
м
Anonymous
Даже ебаный count() проседает в 5 раз где-то.
yopp
ну звучит как наша хуйня :)
yopp
у нас всё так и было
Anonymous
Само прошло с обновлением?
yopp
обновились, перелили реплики туда-сюда, чтоб все прошли init sync и прошло
Anonymous
Эх.
yopp
но ситуации когда у нас qps с 6к до 3к падают остались
yopp
но оно само теперь проходит и не кладёт монгу
yopp
startup warnings есть?
yopp
воткни халявый mms кстати
Anonymous
Есть только одна - что запускаю от root'a.
yopp
если он остался
Anonymous
Я плохой парень.
yopp
экстремал
Anonymous
😂
Alex
а вот такая командочка отработает?
numastat
yopp
pidstat -w 10 1 ещё покажи
Anonymous
И, нет, тут нет этой хрени.
yopp
и потом pidstat -wt
yopp
с тредами
yopp
да
Anonymous
Что конкретно тебя интересует? Или тебе пасту скинуть?
yopp
gist.github.com
Anonymous
ОК! Залью сейчас.
yopp
желательно на агрегации
yopp
меня немного напрягает большое количество интераптов и переключений контекста
Roman
И у меня агрегация Z выполнилась за 800ms.
Я не понимаю, чего гадать: возьми perf top и натрави его на монгу в тот момент когда тормозит.
Anonymous
Сейчас всё ОК.
yopp
:|
Anonymous
Может стоит подождать.
Roman
Плюс, как верно тут сказали: prometheus
yopp
так mms есть
Roman
А почему вся база тормозить начинает тогда?
Имхо, там где-то в районе storage engine проблема. wt шибко умный и там много всяких настроек. У wt даже свой кеш
Anonymous
Так я думал, тебе не нужно, я же базу перезагрузил.
Anonymous
В данный момент всё быстро работает.
Anonymous
Я могу, конечно, скинуть текущий.
Anonymous
Но я думаю, тебе интереснее посмотреть в момент, когда база проседает.
yopp
кинь сейчас
yopp
сравним потом
Vasily
Добрый день, не могу нагуглить чтение из mongodb по частям. Пытаюсь читать из-под python коллекцию, в которой 700к больших документов, простым db.coll.find(), и не хватает RAM для выполнения операции. Не подскажете, как с этим разобраться или в какую сторону гуглить?
yopp
курсоры
Sergey
for somevar in db.coll.find():
...
Vasily
а вызов db.coll.find() не равносилен обычному чтению коллекции целиком?
Sergey
нет, это курсор
Sergey
во всяком случае в pymongo 3.x
Sergey
с более старыми я не работал
Vasily
спасибо за помощь!
попробую с курсором
Vasily
Добрый день, не подскажете, какой лучше читать мануал, чтобы начать работать с mongodb + apache spark? И, может быть, подскажете, на чём удобнее будет работать scala или python?
Gregory
Добрый день, не подскажете, какой лучше читать мануал, чтобы начать работать с mongodb + apache spark? И, может быть, подскажете, на чём удобнее будет работать scala или python?
Насчёт удобнеё -- что лучше знаешь. Слышал от чуваков, что лучше брать скалу, ибо в питоне может быть доступно не всё.
Gregory
There are a few APIs that are either different or not available in Python.
Gregory
Но я, если что, просто мимо проходил и не трогал спарк.
Так интересовался
Vasily
да, тоже про python такое слышал
ghett
ух, набижали
Alex
Из постгри.
Alex
Конечно, щас еще будем обьяснять чем постгрес лучше монги :)
ghett
https://habrahabr.ru/post/306810/
опять хакеры говна в жопу заливают
yopp
https://yopp.in/Vkc :(
yopp
вот так выглядит апгрейд mongos с 3.0 на 3.2
yopp
было 4k qps, стало 1.7k :|
yopp
и в логах каждые пару сотен мс: «[LockPinger] handled late remove of old distributed lock with ts …»
Sergey
А гугл что говорит?
yopp
https://jira.mongodb.org/browse/SERVER-9262
Sergey
Это я видел, но ему 3 года
yopp
а это всё
yopp
ещё ссылка на сырцы :)
Sergey
Обновился только mongos илм все вообще?
yopp
// Either the update went through or it didn't, either way we're done trying to
// unlock
log( DistributedLock::logLvl - 1 ) << "handled late remove of old distributed lock with ts " << *i << endl;
removed = true;