free -g total used free shared buffers cached Mem: 62 62 0 0 0 59 -/+ buffers/cache: 2 60 Swap: 31 0 31

шкала это хорошо, но колонка RES показыает, что монга сожрала 29Гиг резидентной памяти

на картинке вообще 45Гб у монги в res

MEM% при репликации повышается до 100% и как только добегает до 100 падает процесс

а покажи dmesg | grep Kill

че бля

хрень

пустой ответ

пустой ответ

у тебя есть логи как именно падает монга?

он там 1.6Тб намапило.

ну че мне делать то подскажите

хм

надо подумать

Не поможет ему.

Ну и у него и так 64гб. Даже если удвоить - не поможет

уменьшить индекс?

переехать на wire это сложна для продакта

некого пустить на зману

при простое

уменьшить индекс?

логи показать как монга падает.

Если реплика будет работать, то простоя не будет. Сначала одну реплику переводите на WT, потом вторую

если повезет и ничего не упадет - простоя не будет

Если я правильно понял, у него и так сейчас только одна нода жива. Раз такая пьянка, то можно попробовать сразу уже вторую ноду поднять на WT, т.е SEC реплика будет создаваться уже на новом движке. Если будет продолжать падать мастер... Ну я бы попробовал перезапустить mongod и быстренько, пока она снова не разжирела, запустить реплику, "с нуля". Если продолжит падать - смотреть логи падения, кторых нам так и не показали, гуглить, возомжно, обновить бинари монгодб до самых последних.

Падение из-за памяти это вообще странно. У нас вполне себе работала база, у которой даже одни только индексы сильно не лезли в память. И ничего, даже более-менее работала. Правда, то была весия 2. А советы про шардинг стоит всегда сопровождать приятной новостью, что минимальной конфигурацией шарды является 4 сервера, и дальнейшее расширение не менее, чем по 2 сервера. Ага, по мне, так это больно дохрена. =)

"...покупать дворец на косолёх" (с) =)

*колёсах

Ну, подпихивание монгос к шарду - это плохо. Каждая шарда должна быть в реплике. Поэтому 2 шарды => 4 сервера минимум.

3 шарды - 6 серверов

Поднять надо реплику, а я про шарды говорил, откуда 4

Хотя 64гб у товарища - это мало, конечно. Монга любит память...

Аааа, вот ты про что...

Хотя 64гб у товарища - это мало, конечно. Монга любит память...

Это нормально. На wt лимитирует кеш и будет все збс

Смотря сколько индексы весят и как с данными работают

просто в один прекрасный день стратегия поменяется или индексы распухнут и карета станет тыквой

мне еще не даёт покоя странные цифры у него во free

почему не видно, что монга сожрала 49гиг (RES, не мэп и не кэш вфс!)

при чем тут нормально. Ну нормально надо стараться. Но предсказать - это к Ванге

о, чатик…

@onokonem а что за болезненный опыт у вас с монгой?

А то в devops это пролетало, но в том потоке хлама потерялось :(

смотря в каком виде транзакции нужны. совсем не все субд реализуют полный и честный acid , чего их теперь, все выкинуть чтоли

@onokonem а что за болезненный опыт у вас с монгой?

именно у меня его нет. только тот, чт вокруг происходил

Теперь это чат про что?

Коллеги всем привет. Подскажите совет. Хочу сделать так. задампить базы в монге потом их удалить из работающей и сделать репликацию

и потом добавлять по чутку

Коллеги подскажите то за косяк

mongodump -d test -o /mongo-backup/ mongorestore -d test /mongo-backup/test 2016-05-25T15:46:59.387+0300 building a list of collections to restore from /mongo-backup/test dir 2016-05-25T15:46:59.387+0300 reading metadata for test.fs.chunks from /mongo-backup/test/fs.chunks.metadata.json 2016-05-25T15:46:59.619+0300 restoring test.fs.chunks from /mongo-backup/test/fs.chunks.bson 2016-05-25T15:46:59.620+0300 reading metadata for test.fs.files from /mongo-backup/test/fs.files.metadata.json 2016-05-25T15:46:59.621+0300 restoring test.fs.files from /mongo-backup/test/fs.files.bson 2016-05-25T15:47:02.388+0300 [........................] test.fs.chunks 15.9 MB/923.2 MB (1.7%) 2016-05-25T15:47:02.388+0300 [#######.................] test.fs.files 1.4 MB/4.6 MB (30.4%) 2016-05-25T15:47:02.388+0300 2016-05-25T15:47:05.388+0300 [........................] test.fs.chunks 15.9 MB/923.2 MB (1.7%) 2016-05-25T15:47:05.388+0300 [#######.................] test.fs.files 1.4 MB/4.6 MB (30.4%) 2016-05-25T15:47:05.388+0300 2016-05-25T15:47:08.388+0300 [........................] test.fs.chunks 15.9 MB/923.2 MB (1.7%) 2016-05-25T15:47:08.388+0300 [#######.................] test.fs.files 1.4 MB/4.6 MB (30.4%)

не восстанавливается дамп

зависает и всё

hi all =)

hi

зависает и всё

--batchSize=1/50/100 может помочь, что-то такое у меня было

уже разобрался

проблема в монге

750гб терь мучаюсь

переносом на новый движок

проще через репликацию)

)) уже прошел этот путь

сервер падает после передачи 200 гб

там сама база битая

@lig11

Убейте её

@pragus

@pragus приди порядок наведи )

@pragus приди порядок наведи )

пришёл - навёл

красава!

алилуя

всем привет😄

всем привет😄

ты кто и зачем тут?

аватарка агонь

я Люся))

пришла общаться

аватарка агонь

ава ничего не вызывает у тебя?)

пришла общаться

про монги в проде?

Люся, это тематический канал про mongo

да,именно

пришла общаться

тут про mongodb. флуд жестоко карается элиминацией.

в бан вместе с предыдущим аккаунтом, по-моему

вдруг это суровый админ со 100ТБ шардом в проде =)

мда

кстати давно хотел спросить, настройки readahead для mmap советуют выкручивать вниз, а для wt тоже имеет смысл это делать ?

кстати давно хотел спросить, настройки readahead для mmap советуют выкручивать вниз, а для wt тоже имеет смысл это делать ?

Надо смотреть как оно читает