если не начала синкать (rs.status), то перезапустите её

слейв?

конечно

я уже перезапустил

в статусе должно появитсья, типа, "синкаюсь я"

вроде даже %

возможно в логах проценты

не помню сейча с

оно? syncing from: 1.2.3.4:27017

да. А статусстр?

"_id" : 1, "name" : "1.2.3.5:27017", "health" : 1, "state" : 9, "stateStr" : "ROLLBACK", "uptime" : 1389, "optime" : Timestamp(1461243514, 7), "optimeDate" : ISODate("2016-04-21T12:58:34Z"), "lastHeartbeat" : ISODate("2016-05-04T14:59:54.343Z"), "lastHeartbeatRecv" : ISODate("2016-05-04T14:59:54.747Z"), "pingMs" : 0, "syncingTo" : "1.2.3.4:27017", "configVersion" : 47573

\\\

хм

а где syncing from?

в логах

а файлы начали создаваться?

в роллбэке?

нет. роллбека больше не должно быть

в каталоге бд

у вас сейчас должна заново вся реплика перекачаться

нет

файлов

я вынужден уйти с раб места

еще раз: у вас сервер, который .5, сам восстановить базу не смог. Вы очищаете весь dbpath, т.е все базы на нем удаляете. Монга должна это увидеть и начать полное восстановление реплики, с нуля

на слейве? дропнуть всё что в каталоге?

да. не трогайте мастера

а папки типа ролл бек темпжурнал тоже удалять?

только слейв (секондари) - он "болен", его лечим

да, например, /data/db у вас долежен стать пустим

пустым

понял

монгу останавливать? или наживую делать?

там же лок файл

?

ладно я пойду домой, из дома продолжу

спасибо вам за конультацию

лучше остановите, да, перед удалением. Хуже не будет точно.

Удачи в восстановлении, пишите как что!

"stateStr" : "STARTUP2",

Я пропустил или какая версия монги неизвестно?

удалил и запусил

мне?

Нам

вы о беседе выше?

Ну, конечно

мастер 3 0 10 слейв 3 0 1

Ок, хотя бы 3.0

итак файлы появляются очень активно

Я думал, Serge скажет, что не последняя и говорить не о чем =))

коллеги отпишусь через часик

спасибо за участие

Я думал, Serge скажет, что не последняя и говорить не о чем =))

Ну, почти, но восстановить то надо

James, надеемся, у вас всё восстановится. Потом напишите, а вы когда rsync-ом базу скопировали — с какого сервера на какой ?

а можно глупый вопрос - есть гайдлайны почитать какие именно задачи стоит поручить монге и какие не стоит?..

Анализ данных - да. Транзакции - нет.

Но это очень грубо и по факту всё можно сделать всем, как всегда.

коллеги сегодня после 3х часов репликации скопировалось 600 гб дайнных и мастер умер

2016-05-04T21:14:49.539+0300 I STORAGE [conn991364] _getOpenFile() invalid file index requested 10 2016-05-04T21:14:49.539+0300 I - [conn991364] Invariant failure false src/mongo/db/storage/mmap_v1/mmap_v1_extent_manager.cpp 201

а с файловой системой все норм?

вот ещё выхлоп из лога

16-05-04T22:02:09.721+0300 I JOURNAL [initandlisten] preallocateIsFaster=true 29.42 2016-05-04T22:02:09.721+0300 I JOURNAL [initandlisten] preallocateIsFaster check took 8.027 secs 2016-05-04T22:02:09.721+0300 I JOURNAL [initandlisten] preallocating a journal file /mnt/applications/mongodb/journal/prealloc.0 2016-05-04T22:02:15.660+0300 I JOURNAL [initandlisten] preallocating a journal file /mnt/applications/mongodb/journal/prealloc.1 2016-05-04T22:02:21.538+0300 I JOURNAL [initandlisten] preallocating a journal file /mnt/applications/mongodb/journal/prealloc.2 2016-05-04T22:02:27.785+0300 I JOURNAL [durability] Durability thread started 2016-05-04T22:02:27.785+0300 I JOURNAL [journal writer] Journal writer thread started 2016-05-04T22:02:27.887+0300 I STORAGE [initandlisten] _getOpenFile() invalid file index requested 4 2016-05-04T22:02:27.887+0300 I - [initandlisten] Invariant failure false src/mongo/db/storage/mmap_v1/mmap_v1_extent_manager.cpp 201 2016-05-04T22:02:27.890+0300 I CONTROL [initandlisten] 0x1173a01 0x1103d95 0x10e3a08 0xed7eae 0xed7f32 0xee2947 0xef86b5 0xecf0b4 0xed08b8 0xed3356 0x91d063 0x7b8c39 0x783dcd 0x7ff767abc7b0 0x7b5cb9 ----- BEGIN BACKTRACE ----- {"backtrace":[{"b":"400000","o":"D73A01","s":"_ZN5mongo15printStackTraceERSo"},{"b":"400000","o":"D03D95","s":"_ZN5mongo10logContextEPKc"},{"b":"400000","o":"CE3A08","s":"_ZN5mongo15invariantFailedEPKcS1_j"},{"b":"400000","o":"AD7EAE","s": "_ZNK5mongo19MmapV1ExtentManager12_getOpenFileEi"},{"b":"400000","o":"AD7F32","s":"_ZNK5mongo19MmapV1ExtentManager9getExtentERKNS_7DiskLocEb"},{"b":"400000","o":"AE2947","s":"_ZNK5mongo17RecordStoreV1Base13getNextRecordEPNS_16OperationCont extERKNS_7DiskLocE"},{"b":"400000","o":"AF86B5","s":"_ZN5mongo27SimpleRecordStoreV1Iterator7getNextEv"},{"b":"400000","o":"ACF0B4","s":"_ZN5mongo26MMAPV1DatabaseCatalogEntry5_initEPNS_16OperationContextE"},{"b":"400000","o":"AD08B8","s":"_ ZN5mongo26MMAPV1DatabaseCatalogEntryC2EPNS_16OperationContextERKNS_10StringDataES5_bb"},{"b":"400000","o":"AD3356","s":"_ZN5mongo12MMAPV1Engine23getDatabaseCatalogEntryEPNS_16OperationContextERKNS_10StringDataE"},{"b":"400000","o":"51D063" ,"s":"_ZN5mongo14DatabaseHolder6openDbEPNS_16OperationContextERKNS_10StringDataEPb"},{"b":"400000","o":"3B8C39","s":"_ZN5mongo13initAndListenEi"},{"b":"400000","o":"383DCD","s":"main"},{"b":"7FF767A9C000","o":"207B0","s":"__libc_start_main "},{"b":"400000","o":"3B5CB9","s":"_start"}],"processInfo":{ "mongodbVersion" : "3.0.10", "gitVersion" : "1e0512f8453d103987f5fbfb87b71e9a131c2a60", "uname" : { "sysname" : "Linux", "release" : "4.1.15-gentoo-r1", "version" : "#2 SMP Thu A pr 14 08:55:21 MSK 2016", "machine" : "x86_64" }, "somap" : [ { "elfType" : 2, "b" : "400000" }, { "b" : "7FFF91762000", "path" : "linux-vdso.so.1", "elfType" : 3, "buildId" : "321F25692D09F6DA7BD42AFCF526B4DF05D6295C" }, { "b" : "7FF76A27 C000", "path" : "/usr/lib64/libsnappy.so.1", "elfType" : 3 }, { "b" : "7FF76A028000", "path" : "/usr/lib64/libstemmer.so.0d", "elfType" : 3 }, { "b" : "7FF769DAE000", "path" : "/usr/lib64/libboost_program_options.so.1.58.0", "elfType" : 3 }, { "b" : "7FF769B95000", "path" : "/usr/lib64/libboost_filesystem.so.1.58.0", "elfType" : 3 }, { "b" : "7FF769971000", "path" : "/usr/lib64/libboost_thread.so.1.58.0", "elfType" : 3 }, { "b" : "7FF76976D000", "path" : "/usr/lib64/libboos t_system.so.1.58.0", "elfType" : 3 }, { "b" : "7FF769563000", "path" : "/usr/lib64/libpcrecpp.so.0", "elfType" : 3 }, { "b" : "7FF7692E3000", "path" : "/usr/lib64/libyaml-cpp.so.0.5", "elfType" : 3 }, { "b" : "7FF7690C7000", "path" : "/lib 64/libpthread.so.0", "elfType" : 3 }, { "b" : "7FF768E57000", "path" : "/usr/lib64/libssl.so.1.0.0", "elfType" : 3 }, { "b" : "7FF768A6C000", "path" : "/usr/lib64/libcrypto.so.1.0.0", "elfType" : 3 }, { "b" : "7FF768864000", "path" : "/lib 64/librt.so.1", "elfType" : 3 }, { "b" : "7FF768660000", "path" : "/lib64/libdl.so.2", "elfType" : 3 }, { "b" : "7FF768351000", "path" : "/usr/lib/gcc/x86_64-pc-linux-gnu/4.9.3/libstdc++.so.6", "elfType" : 3 }, { "b" : "7FF76804E000", "pat h" : "/

lib64/libm.so.6", "elfType" : 3 }, { "b" : "7FF767E37000", "path" : "/usr/lib/gcc/x86_64-pc-linux-gnu/4.9.3/libgcc_s.so.1", "elfType" : 3 }, { "b" : "7FF767A9C000", "path" : "/lib64/libc.so.6", "elfType" : 3 }, { "b" : "7FF76A483000 ", "path" : "/lib64/ld-linux-x86-64.so.2", "elfType" : 3 }, { "b" : "7FF76782D000", "path" : "/lib64/libpcre.so.1", "elfType" : 3 }, { "b" : "7FF767617000", "path" : "/lib64/libz.so.1", "elfType" : 3 } ] }} mongod(_ZN5mongo15printStackTraceERSo+0x41) [0x1173a01] mongod(_ZN5mongo10logContextEPKc+0xF5) [0x1103d95] mongod(_ZN5mongo15invariantFailedEPKcS1_j+0xC8) [0x10e3a08] mongod(_ZNK5mongo19MmapV1ExtentManager12_getOpenFileEi+0x9E) [0xed7eae] mongod(_ZNK5mongo19MmapV1ExtentManager9getExtentERKNS_7DiskLocEb+0x22) [0xed7f32] mongod(_ZNK5mongo17RecordStoreV1Base13getNextRecordEPNS_16OperationContextERKNS_7DiskLocE+0x87) [0xee2947] mongod(_ZN5mongo27SimpleRecordStoreV1Iterator7getNextEv+0xD5) [0xef86b5] mongod(_ZN5mongo26MMAPV1DatabaseCatalogEntry5_initEPNS_16OperationContextE+0x734) [0xecf0b4] mongod(_ZN5mongo26MMAPV1DatabaseCatalogEntryC2EPNS_16OperationContextERKNS_10StringDataES5_bb+0x1A8) [0xed08b8] mongod(_ZN5mongo12MMAPV1Engine23getDatabaseCatalogEntryEPNS_16OperationContextERKNS_10StringDataE+0x246) [0xed3356] mongod(_ZN5mongo14DatabaseHolder6openDbEPNS_16OperationContextERKNS_10StringDataEPb+0x163) [0x91d063] mongod(_ZN5mongo13initAndListenEi+0xDB9) [0x7b8c39] mongod(main+0x17D) [0x783dcd] libc.so.6(__libc_start_main+0xF0) [0x7ff767abc7b0] mongod(_start+0x29) [0x7b5cb9] ----- END BACKTRACE ----- 2016-05-04T22:02:27.891+0300 I - [initandlisten]

всё норм

с файло

пока переключил на резервную монгу

хотелось бы понять с чем связано и как чинить

рестарт и тд не помогает

ну вот лог не читаемый же. может все таки paste?..

на пасте бин выложить?

ну так его все равно тут мало кто читать будет

ок ща выложу

http://pastebin.com/1JuY7G6J

идеи есть7

ёпрст

больше четырёх строчек - на паста-сервисы же.

а, уже сказали

больше четырёх строчек - на паста-сервисы же.

а почему именно четырёх? мне просто интересно откуда ты взял это случайное число;)

в одном из старых чатов в ирке было

предположу что это этикет

кажется, python-чат как раз на freenode

в motd

ребят ну есть идеи то?

да, прости

серж, спаси джентльмена V_V

на тебя вся надежда

http://pastebin.com/1JuY7G6J

"Уважаемый абонент! Данный ресурс заблокирован" внезапно;) ну, я открыл, конечно;)

@parrabol а ты сам компилил или это бинарь с сайта?

у меня подозрение, что сам и надо бы попробовать бинарь с сайта той же версии взять...

gentoo

http://pastebin.com/1JuY7G6J

sorry, случайно скопипастил

какая ФС под базой? в логах dmesg/syslog ничего страшного не вывалилось?

вообще самочувствие сервера впорядке - дисковая (рейд), температуры - всё в норме?

вот мне тоже показалось что надо бы в лог глянуть что произошло, просто так не должно было упасть.

У человека gentoo.

в генте нет логов?

http://stackoverflow.com/questions/31273977/mongo-db-invariant-failure