Нет, там дата обновления сгенерированных файлов выставляется.

и зачем тогда транзакция?

$set: { generated_files.0._type: "GeneratedFile", generated_files.0.updated_at: new Date(1553132029539), ...generated_files.47149._type: "GeneratedFile", generated_files.47149.updated_at: new Date(1553132032972) generated_files.47150._type: "GeneratedFile", generated_files.47150.updated_at: new Date(1553132032972), ...

вопрос тот же, зачем это делается в транзакции?

пока я вижу атомарный апдейт никак не связанный ни с чем другим, даже инкремента нет

если что в монге операции над одним доком атомарны, т.е. либо он меняется весь либо не меняется

Да, это операция над одним документом, не транзакция между несколькими документами.

Но она подвешивает все на шарде.

а в транзакции не подвешивает?

Может я что-то не понимаю, разве транзакции это не про операции с несколькими документами? Зачем здесь транзакция если документ один.

Может я что-то не понимаю, разве транзакции это не про операции с несколькими документами? Зачем здесь транзакция если документ один.

вот именно это я вам и пытаюсь сказать, что в вашем случае транзакции не нужны

Вообще эта проблема вроде ушла, переехал с 3.6.3 на 3.6.11 и вроде как-то заработало. Но вот теперь пол дня пытаюсь восстановить дам базы большой. Два раза уже процесс зависал и одну и туже коллекцию монго просто принтует в консоль

так я походу в другой разговор влез

Вообще эта проблема вроде ушла, переехал с 3.6.3 на 3.6.11 и вроде как-то заработало. Но вот теперь пол дня пытаюсь восстановить дам базы большой. Два раза уже процесс зависал и одну и туже коллекцию монго просто принтует в консоль

А он там в это время не пытается индексы в foreground на принимающем инстансе или на его secondary построить? Помнится тоже сталкивался с таким, кол-во загруженных доков перестает увеличиваться, при этом на secondary в это время строится индекс в foreground. Т.к. writeConcern: majority, загрузка приостанавливается.

А он там в это время не пытается индексы в foreground на принимающем инстансе или на его secondary построить? Помнится тоже сталкивался с таким, кол-во загруженных доков перестает увеличиваться, при этом на secondary в это время строится индекс в foreground. Т.к. writeConcern: majority, загрузка приостанавливается.

У меня пока одна база. Без реплик Подозреваю, что проблема может быть в самом дампе. У меня он делается каждую ночь, но при этом вся работа с базой продолжается, все скрипты в работе. Сейчас отключил, все что стучится в базу и создал новый дамп. Пока он продолжает восстанавливаться. Вообще могут быть проблемы с дампом, если делать его на живую с базы, которая продолжает активно использоваться приложением?

У меня пока одна база. Без реплик Подозреваю, что проблема может быть в самом дампе. У меня он делается каждую ночь, но при этом вся работа с базой продолжается, все скрипты в работе. Сейчас отключил, все что стучится в базу и создал новый дамп. Пока он продолжает восстанавливаться. Вообще могут быть проблемы с дампом, если делать его на живую с базы, которая продолжает активно использоваться приложением?

рассинхронизация коллекций поидее

вот похоже да, на выключенную базу от приложения сделал дам и все ок восстановилось. А как тогда быть со стратегией дампования? Останавливать все процессы, работающие с базой, пока дапм делается?

можно останавливать реплику и дампить её, или спейс копировать

вот похоже да, на выключенную базу от приложения сделал дам и все ок восстановилось. А как тогда быть со стратегией дампования? Останавливать все процессы, работающие с базой, пока дапм делается?

--oplog Creates a file named oplog.bson as part of the mongodump output. The oplog.bson file, located in the top level of the output directory, contains oplog entries that occur during the mongodump operation. This file provides an effective point-in-time snapshot of the state of a mongod instance. To restore to a specific point-in-time backup, use the output created with this option in conjunction with mongorestore --oplogReplay. Without --oplog, if there are write operations during the dump operation, the dump will not reflect a single moment in time. Changes made to the database during the update process can affect the output of the backup.

https://docs.mongodb.com/manual/reference/program/mongodump/

сам Летов в монгу подался)

А он там в это время не пытается индексы в foreground на принимающем инстансе или на его secondary построить? Помнится тоже сталкивался с таким, кол-во загруженных доков перестает увеличиваться, при этом на secondary в это время строится индекс в foreground. Т.к. writeConcern: majority, загрузка приостанавливается.

А хелсчек какой-нибудь ставили для монго контейнера?

А хелсчек какой-нибудь ставили для монго контейнера?

У нас не в контейнере. Собираем метрики заббиксом, скрипт на питоне собирает serverStatus и т.п. и через траппер отправляет в заббикс.

В общем интересная история с зависанием монго в докере продолжается. поставил 3.6.11 и на рабочем скрипте происходит польное зависание. В логах последняя запись о создании коллекции и все на этом. Моного просто висит. Она не принимает соединений, но и не реджектит их. Соединения отваливаются сами по таймауту курсора. Гуглю проблему, но пока ничего не нашел :/ Причем при попытке присоединиться через терминал тоже самое, не могу зайти в базу, висит: connecting to: mongodb://127.0.0.1:27017

Доброго дня, посдкажите. решил ввести аутентификацию в монго, в сущестующие сервера в реплике, когда создам юзера, не отвалится ли реплика?

Помогиитеее

что случилось?

Доброго дня, посдкажите. решил ввести аутентификацию в монго, в сущестующие сервера в реплике, когда создам юзера, не отвалится ли реплика?

Вот

ну так разверните тестовый стенд и проверьте

и сюда напишите о результатах

видите никто не отвечает, значит придется решать пробелму самостоятельно

https://docs.mongodb.com/manual/tutorial/enforce-keyfile-access-control-in-existing-replica-set/

или наверное не то

тестовый стенд этой штукой поднимается за минуту с шардами и репликами http://blog.rueckstiess.com/mtools/mlaunch.html

Доброго дня, посдкажите. решил ввести аутентификацию в монго, в сущестующие сервера в реплике, когда создам юзера, не отвалится ли реплика?

А почему он должна отвалиться? Подключаетесь к праймари ноде: use admin (как вариант) db.createUser(...)

А почему он должна отвалиться? Подключаетесь к праймари ноде: use admin (как вариант) db.createUser(...)

Я просто не мастер по монго, была открыта всем а тут взяли и добавили секур...ну и реплика отвалилась

А почему он должна отвалиться? Подключаетесь к праймари ноде: use admin (как вариант) db.createUser(...)

Это как создать юзера.

Я просто не мастер по монго, была открыта всем а тут взяли и добавили секур...ну и реплика отвалилась

Мне так кажется

Я просто не мастер по монго, была открыта всем а тут взяли и добавили секур...ну и реплика отвалилась

Вы только авторизацию включили? или еще ключ в конфигах добавили?

Вы только авторизацию включили? или еще ключ в конфигах добавили?

Ну я только сделаю креат юзер в нужной бд и рестартану монго

Я по крайней мере так понял

Ну я только сделаю креат юзер в нужной бд и рестартану монго

Пока вы в конфигах монги в секции секьюрити ничего не добавили, то нода точно не должна отвалиться

Пока вы в конфигах монги в секции секьюрити ничего не добавили, то нода точно не должна отвалиться

А добавление в конфиг обязательно? Или достаточно креат юзер? И креат юзер это относится только к определенной базе..или как там правильно в монго ?

Т.е. все равно голой ж миру открыт для других бд?

А добавление в конфиг обязательно? Или достаточно креат юзер? И креат юзер это относится только к определенной базе..или как там правильно в монго ?

Вы можете создавать сколько угодно юзеров в монге. Но если в конфигах монги не будет указанно в секции секьюрити authorization: enabled Особого профита от этих юзеров вы не получите

Потому сперва создайте юзеров с нужными ролями

Вы можете создавать сколько угодно юзеров в монге. Но если в конфигах монги не будет указанно в секции секьюрити authorization: enabled Особого профита от этих юзеров вы не получите

Понял, спасибо.

А потому уже включайте в конфигах авторизацию

А потому уже включайте в конфигах авторизацию

А реплика зависит от этой настройки получается? Или если я в монго сказал вот твой реплика мембер то по умолчанию доверенный?

А реплика зависит от этой настройки получается? Или если я в монго сказал вот твой реплика мембер то по умолчанию доверенный?

Если вы хотите обезопасить себя от подмены одной ваше ноды чем-то левым, сгенерьте keyFile для вашего репликасета

https://docs.mongodb.com/manual/tutorial/enforce-keyfile-access-control-in-existing-replica-set/

Если вы хотите обезопасить себя от подмены одной ваше ноды чем-то левым, сгенерьте keyFile для вашего репликасета

Получается реплика не зависит от юзеров , для него свои настройки?

Получается реплика не зависит от юзеров , для него свои настройки?

что вы подразумеваете под словом "реплика"? Одна нода репликасета?

что вы подразумеваете под словом "реплика"? Одна нода репликасета?

Несколько нод в репликасете, т.е. несколько серверов монги находятся в репликасете.

Несколько нод в репликасете, т.е. несколько серверов монги находятся в репликасете.

ну юзеров то вы для баз создаете

с определенными ролями

ну юзеров то вы для баз создаете

Да у меня просто мускульное мышление)

И для того, чтоб механизм контроля начал работать, вам нужно включить его в настройках каждой из нод репликасета

И для того, чтоб механизм контроля начал работать, вам нужно включить его в настройках каждой из нод репликасета

Вот оно как, спасибо.

Вот оно как, спасибо.

https://docs.mongodb.com/manual/reference/configuration-options/#security.authorization

https://docs.mongodb.com/manual/reference/configuration-options/#security.authorization

Спасибо ещё раз.

подскажите плиз, тут ведь есть кто знаком c++ и исходниками монги, вот есть константа DEFAULT_MAX_CONN, количество открытых коннектов в монге, https://github.com/mongodb/mongo/blob/master/src/mongo/db/server_options.h#L41 и есть kDefaultMaxConns https://github.com/mongodb/mongo/blob/master/src/mongo/executor/connection_pool.cpp#L300 за что отвечает вторая?

подскажите плиз, тут ведь есть кто знаком c++ и исходниками монги, вот есть константа DEFAULT_MAX_CONN, количество открытых коннектов в монге, https://github.com/mongodb/mongo/blob/master/src/mongo/db/server_options.h#L41 и есть kDefaultMaxConns https://github.com/mongodb/mongo/blob/master/src/mongo/executor/connection_pool.cpp#L300 за что отвечает вторая?

не уверен, но помоему первое глобальное, для процесса, а второе для отдельного коннекшен пулла

а чо?

первая точно не hardcoded, это в конфиге можно переопределить

первая точно не hardcoded, это в конфиге можно переопределить

Я видел что в конфиге можно maxInflight поменять, про open упустил возможно

а чо?

монга в какие-то лимиты стукнулась?

монга в какие-то лимиты стукнулась?

не, услышал что "у монги лимит 32К коннектов, а так же что монга не будет нормально работать при >1000 коннектов на один инстанс", и пошел проверять это, так как не помню про ограничение в 32к :)

зачем вообще

про монгу чо только не говорят

не, услышал что "у монги лимит 32К коннектов, а так же что монга не будет нормально работать при >1000 коннектов на один инстанс", и пошел проверять это, так как не помню про ограничение в 32к :)

в mlab hard limit ~20K

есть документ в котором про лимиты написано: https://docs.mongodb.com/manual/reference/limits/

в mlab hard limit ~20K

и что?

у меня по-умолчанию вообще 1024 дескриптора разрешено

Ребзи привет, подскажите плиз locker = [1, 2, 3] await Order.updateOne({ _id: orderId }, { $push: { assignedCouriers: lockers } }); Есть такая операция вот, как можно чекнутть что lockers уникальные значения, по типу запушить только те которые не буду повторятся]

и что?

и ниче, делюсь информацией

Ребзи привет, подскажите плиз locker = [1, 2, 3] await Order.updateOne({ _id: orderId }, { $push: { assignedCouriers: lockers } }); Есть такая операция вот, как можно чекнутть что lockers уникальные значения, по типу запушить только те которые не буду повторятся]

https://docs.mongodb.com/manual/reference/operator/update/addToSet/

и в том доке не написано про лимит конекшеенов