ага \

150 гигов быстро перельются, за ночь

150 это 1 база

774 в общем

6 192 гигабит. час при 1gbe

два

Ребята, никто не встречал такую проблему

2017-03-14T16:50:03.107+0600 E STORAGE [initandlisten] WiredTiger error (0) [1489488603:107900][2785:0x7f9d7c912dc0], file:collection-0--4654812578039792266.wt, WT_CURSOR.prev: read checksum error for 8192B block at offset 18235392: block header checksum of 0 doesn't match expected checksum of 1320411871

Главный сервер был потушен и при старте выходит эта ошибка

А до этого выходить вот такое сообщение

2017-03-14T16:50:02.014+0600 W - [initandlisten] Detected unclean shutdown - /dbdata/mongodatawt/mongod.lock is not empty.

как у нас говорили на старом проекту "Монгу рестартить нельзя" :)

Может тебе с --repair запустить?

просто в конце добавить —repair

?

Нет, почитай про recovery.

https://docs.mongodb.com/manual/tutorial/recover-data-following-unexpected-shutdown/

Бэкапы главное сделай.

@dd_bb я правильно понимаю что на мастере достаточно rs.conf() с конфигурацией и rs.add() с нужными хостами ? ну и при старте для каждого инстанса указать replSet ?

Вроде бы разобрался. Не тот был главным, а другой сервер. Спасибо!

(к вчерашнему вопросу о ... ))

Мож локфйл удалить ))

))

Мож локфйл удалить ))

?

Я так однажды пару часов базу восстанавливал.

Тоже потушилась вместе с сервером.

Ребят я вчера там спрашивал почему не могу задампить базу

в общем из 3х баз 1 успешно дампит

остальные не хочет

мож ему надо что нить сделать

репаир какой нить

или хитро дамп сделать?

Репликацию проверь

@dd_bb я правильно понимаю что на мастере достаточно rs.conf() с конфигурацией и rs.add() с нужными хостами ? ну и при старте для каждого инстанса указать replSet ?

Типа того

2017-03-14T16:50:03.107+0600 E STORAGE [initandlisten] WiredTiger error (0) [1489488603:107900][2785:0x7f9d7c912dc0], file:collection-0--4654812578039792266.wt, WT_CURSOR.prev: read checksum error for 8192B block at offset 18235392: block header checksum of 0 doesn't match expected checksum of 1320411871

Продакшен? Проверь диск.

Вроде бы разобрался. Не тот был главным, а другой сервер. Спасибо!

В штатном режиме в монге нет строгих ролей у ноды.

Проверь что у тебя ролбека не случилось.

или хитро дамп сделать?

ну что там?

интересно же

по DynamoDB где можно вопрос задать?

по DynamoDB где можно вопрос задать?

Как любят говорить товарищи из AWS: "купи премиум саппорт план и мы ответим тебе" ?

да уже сам разобрался

так что можете у меня теперь спрашивать

запустил DynamoDB в docker, 1.5Гб RAM просто так скушало. По сравнению с Free tier, тесты выполняются всего лишь в 2.5 раза быстрее, за 50 секунд (скорее всего из-за hdd, что-то активно его читает, хотя я там по 3 элемента вставляю/удаляю и только в одном тесте 100 элементов)

а какую Вы цель преследовали, Сергей Сергеевич?

Хотел сравнить насколько быстрее будет крутиться на моём компьютере, ведь на бесплатном тарифе (free tier), ограничнеие RCU=25 и WCU=25 (read/write capacity unit, это вроде бы 100 кб/с на чтение и 25 кб/с на запись). А вообще всё началось с небольшой подработки на фрилансе.

-inMemory дал ускорение в 19x по сравнению с free tier

а чо, динаму заопенсурсили?

ааа. ты про dynamodb-local?

ага http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DynamoDBLocal.html

а оно умеет кластеризироваться вообще?

ага, по partition key данные распределяются по инстансам

не пробовал, но когда они это релизили это было больше для разработки тулза, чем для реального использования

-inMemory дал ускорение в 19x по сравнению с free tier

19*100KBps = 1900KBps пеееечааааль

inmemory сторадж который еле тянет 2Мб/с ну такое

возможно это мой кривой код

а, стоп, это 1 юнит 100KBps?

и у меня 4 индекса с полным набором атрибутов

не очень понятно как сравнивать на самом деле, потому что bandwidth и throughput так себе метрики, не зная что там внутри и какой датасет и как он лежит

а попробуй одни и те-же данные, с похожими инстанасами положить в шард из монги и в шард из динамы. нужно чтоб данных было раз в 10 больше чем доступной памяти (докером до 2 гигов порезать) сделай запросы которые вытаскивают нужные тебе данные и померяй производительность на холодную (запустили процесс, сразу хуйнули запрос) и на горячую (три раза один и тот-же запрос)

производительность == реальное io, rps

плюс объём хранилища

идеально намоделировать данных, так чтоб ответ не помещался в память и работали курсоры

можно попробовать чуть позже

? будет очень интересно посмотреть на результаты

только вот я не знаю в dynamodb-local шардинг есть или нет

ага, по partition key данные распределяются по инстансам

ты же сам написал что да

я вообще про dynamodb имел в виду

аааа

окей, а я про -local и спрашивал

Было три среплицированных сервера. Один упал - сдох. Ключи mongo.key были с этого сервера и он был Primary. Хочу теперь чтобы второй и третий работал только между собой. Сгенерил ключи mongo.key со второго и перебросил на третий. Рестартанул. Все сделал правильно? Или еще что-нибудь надо сделать?

Или надо еще где-нибудь прописывать что второй стал Primary?

Или надо еще где-нибудь прописывать что второй стал Primary?

Версия монги какая?

version: "3.10.0-327.10.1.el7.x86_64"

Я убрал через rs.remove тот первый сервер который упал.

вроде бы все норм работает. В логе ошибок нету. Но, почему то программа не соединяется.

SocialServer failed - Reason: A JSONArray text must start with '[' at character 1 of {"error": "Unable to fetch API key"}

это в логах программы (не базы)

Я убрал через rs.remove тот первый сервер который упал.

Проверь что выбрали нового primary. Чётное количество нод может и не выбрать. (rs.status()). Второй вариант проверь что есть активные secondary (priority =! 0 и не hidden), при условии что запросы с readPreference secondary

И ищи оригинальную ошибку. Та, которую ты привёл не по монгу.

внезапно :)

Здравствуйте! Может кто сталкивался с такой задачей. Осваиваю полнотекстовый поиск в монге разобрался как это делать для конструкции типа {'ключ': 'текст'}. Но мне теперь нужно сделать для {'ключ': {'номер страницы': 'текст', и т.д.}} Основная задача хранить текст по странично из pdf. Такое вообще возможно? Гуглить пробовал.

Здравствуйте! Может кто сталкивался с такой задачей. Осваиваю полнотекстовый поиск в монге разобрался как это делать для конструкции типа {'ключ': 'текст'}. Но мне теперь нужно сделать для {'ключ': {'номер страницы': 'текст', и т.д.}} Основная задача хранить текст по странично из pdf. Такое вообще возможно? Гуглить пробовал.

{ключ: {pageNum: 5, text: "твой текст"}} Думаю идея понятна

спасибо. и индекс создавать по text я так понимаю, а не по ключ. а можно будет как результат поиска не всю запись целиком, а так что бы узнать номер страницы?

спасибо. и индекс создавать по text я так понимаю, а не по ключ. а можно будет как результат поиска не всю запись целиком, а так что бы узнать номер страницы?

Да, можно же получить элемент списка, в котором найдено

о! а не подскажите как? я пока решил проблему по дргому. на каждую страницу своя запись, но если можно получить элемент в котором найдено, то будет кошерней.

@dd_bb напомни пожалуйста, если не сложно, про ограничения касательно "кастомного" _id ? там было что то связано толи с размером толи с индексацией.