Самый надежный с точки зрения консистентност вариант — лочить базу и делать снепшот

Делаем hidden members, перед бекарам лочим базу, дожидаемся когда все hidden members догребут оплог, останавливаем на них репликацию и делаем снепшот

Делаем hidden members, перед бекарам лочим базу, дожидаемся когда все hidden members догребут оплог, останавливаем на них репликацию и делаем снепшот

Спасибо большое, попробую

и да, нужно выключить балансироващик и с CSRS тоже самое сделать

после остановки репликации базу можно анлочить

при небольшом replication lag операция должна занять несколько секунд

https://docs.mongodb.com/manual/tutorial/backup-sharded-cluster-with-filesystem-snapshots/

Не обращайте внимания на «If the journal and data files are on the same logical volume, you can use a single point-in-time snapshot to capture a consistent copy of the data files.» Тут имеется ввиду storage level consistency. Консистентность данных между двумя и более шардами это очевидно не гарантирует

Там есть рецепт с маркером в специальной коллекции, но тут тоже такая история что по хорошему его надо на всех шардах одновременно воткнуть, а это нетривиально. Проще всего временно локнуть

Там есть рецепт с маркером в специальной коллекции, но тут тоже такая история что по хорошему его надо на всех шардах одновременно воткнуть, а это нетривиально. Проще всего временно локнуть

Ок. Спасибо. Еще вопрос: все запросы к шардам идут через монгос? Или подгружается карта чанков и дальше запросы идут напрямую к членам реплики?

монгосы и держат карту чанков

в целом, для клиента совершенно не важно с кем он соединяется

по этому нужны монгосы, которые работают как роутеры, при сохрании обычного протокола. монгосы кешируют карту шарда с конфиг серверов и дальше уже на базе этой карты роутят запросы

монгосы и держат карту чанков

Эту часть я знаю и понимаю, но дальше как? Через кого идут клиентские запросы Поясню вопрос: у меня разрабочики утверждают, что при secondaryPrefered у них работает insert, но не работает select

а в реплике есть secondary хоть один?

Да. У каждой реплики по одному secondary

Клиентские запросы в шард _всегда_ должны идти через монгосы

Если это не так, значит вы очень крупно накосячили

Это так. Значит что-то с фаерволом

Спасибо

Все монгосы должны видеть все остальные ноды в кластере

А как secondaryPrefered на вставку вообще получился?

Невозможно вставить данные на secondary, только на текущий primary

А как secondaryPrefered на вставку вообще получился?

Так как раз вставка работает, а выборка нет. При вставке запрос идет на primary

В доке так написано

Эм. secondaryPrefered вообще к вставке никакого отношения не имеет. Это read concern

тьфу, не concern а preference

Ого. А что, 3.6 таки зарелизили? https://docs.mongodb.com/manual/release-notes/3.6/

https://www.mongodb.com/blog/post/announcing-the-general-availability-of-mongodb-36

Stable: 3.6.0 (Dec 1, 2017), Bugfix: 3.4.10 (Oct 31, 2017) 3.6.0: https://docs.mongodb.com/manual/release-notes/3.6 3.4.10: https://docs.mongodb.com/manual/release-notes/3.4/#oct-31-2017 3.2.17: https://docs.mongodb.com/manual/release-notes/3.2/#sept-28-2017

Эм. secondaryPrefered вообще к вставке никакого отношения не имеет. Это read concern

Но точно все запросы идут через mongos, никто не ломится напрямую к репликам? В connection uri стоят все mongos кластера.

Но точно все запросы идут через mongos, никто не ломится напрямую к репликам? В connection uri стоят все mongos кластера.

Клиенты по спецификации не должны никуда ломиться

Клиенты по спецификации могут после соединения с монгосом получить список дополнительных серверов, кроме тех что в uri и закешировать его

но это касается опять-же только mongos

Но точно все запросы идут через mongos, никто не ломится напрямую к репликам? В connection uri стоят все mongos кластера.

Вы из разработчиков сообщение об ошибке получите

Там обычно всё написано

Вообще с secondaryPrefered фоллбек на праймари должен идти, даже если secondary не доступны

ОООООО

https://docs.mongodb.com/manual/reference/connection-string/#connections-dns-seedlist

In addition to the standard connection format, MongoDB supports a DNS-constructed seedlist. Using DNS to construct the available servers list allows more flexibility of deployment and the ability to change the servers in rotation without reconfiguring clients.

Дискач!

Даже более того, почти двойной дискач: The DNS seedlist connection string can also provide options as a query string, with a trailing “/?” as in the standard connection string above. However, the +srv appended to the standard connection string signals the driver to query the DNS for options as a configured TXT record. Only two options are available for configuration via a TXT record – replicaSet and authSource, and only one TXT record is allowed per server. If multiple TXT records appear in the DNS and/or if the TXT record contains an option other than replicaSet or authSource, an error will be thrown by the driver.

Вы из разработчиков сообщение об ошибке получите

Пошёл бить)

Спасибо за информацию

Глядишь к 4.0 и x509 в порядок приведут

Ничоси: An index can cover a query on fields within nested documents.

Ребят, всем привет) возник такой вопрос: иногда надо на удаленном сервере посмотреть данные с монги, удалить что-то, протестировать или измнеить, для локальной такого рода работы я использую Robo 3T, посоветуйте как лучше работать с удаленной? открывать монгу на доступ извне и подключаться к ней? или есть способы более надежные и практичные? Прошу поделиться тех, кто реально в боевых проектах чем пользуется) Большое спасибо)

SSH тунель

И прочие бастионы

нагуглил такое https://www.8host.com/blog/ustanovka-i-zashhita-mongodb-v-ubuntu-16-04/

Но вообще ходить в монгу на продакшене руками — к беде

Большой

Но вообще ходить в монгу на продакшене руками — к беде

а как надо ходить? Сервис еще не запущен

А зачем вам туда ходить?

А зачем вам туда ходить?

написал же выше

на ты плиз, а то не удобно))

Ребят, кто нить может растолковать по поводу подключения по ssh к монге?

Есть такая строка ssh -fN -L 6666:localhost:27017 user@host

что значит user@host

и как потом подключиться

что?

как это к монге по ссш

на хост где крутится монга?

O.o

на хост где крутится монга?

ssh туннель

зачем тунель?

зачем тунель?

что бы поработать с монгой

откуда строка кстати?

а тунель зачем?

Или тунель с хоста с монгой куда-то

откуда строка кстати?

http://snippets.pp.ru/article/481

ну это дичь какая-то.

типа чтобы сделать mongo -h localhost -p 6666 чвтоли

https://docs.mongodb.com/compass/master/connect/

Вот есть еще такое

Но чет не могу вкурить

можно просто зайти на монго хост и набрать mongo

можно просто зайти на монго хост и набрать mongo

ну мне нужно подключать с помощью программы с GUI интерфейсом

И вот еще нашел https://stackoverflow.com/questions/16619598/sync-mongodb-via-ssh/16620593#16620593

Так.