Не понял что нужно

Здравствуйте, Подскажите, пожалуйста, как правильно делать бекапы баз в MongoDB, при использовании ReplicaSet? В моем случае есть 3 MongoDB сервера, MongoDB 4.2. Размер баз 40 ГБ. Я поискал информацию в интернете, увидел что есть разные варианты, в частности один из самых простых: добавить в crontab строки (ниже) и запускать по расписанию в самое ненагруженное время (условно ночью). sudo mongodump --db newdb --gzip --archive=/var/backups/mongobackups/date +"%m-%d-%y" find /var/backups/mongobackups/ -mtime +7 -exec rm -rf {} \; Запускать его на Primary? ———————- Вариант с LVM снапшотами я не рассматривал, так как LVM сейчас не настроен, и я ещё не разу не пробовал делать снапшоты LVM. Вариант с копированием файлов (и использованием > db.fsyncLock() и > db.fsyncUnlock() не совсем понял как использовать, и есть ли плюсы в моем случае. Копирование файлов быстрее, но так как в моем случае размер баз маленький, mongodump будет проще?

Какой ужас

Всем привет. Создаю индекс в коллекции через db.collection_name.createIndex(). Внутри индекса перечислен десяток полей. Такой индекс нужен для определния уникальности добавляемого документа (так повелось). Сейчас столкнулся с неизвестной для себя ошибкой. При попытке добавить очередной документ MongoDB выдаёт ошибку: Mongo::Error::OperationFailure: WiredTigerIndex::insert: key too large to index, failing Да, при попытке добавить документ, одно из его полей довольно большое (текст в пару килобайт). Я правильно понимаю, что при таком подходе, весь документ (все его поля, перечисленные в индексе), не должен превышать 1024 байт?

Да. Но в 4.2 это ограничение убрали, см. врезку https://docs.mongodb.com/manual/reference/limits/#Index-Key-Limit

Всем привет. Создаю индекс в коллекции через db.collection_name.createIndex(). Внутри индекса перечислен десяток полей. Такой индекс нужен для определния уникальности добавляемого документа (так повелось). Сейчас столкнулся с неизвестной для себя ошибкой. При попытке добавить очередной документ MongoDB выдаёт ошибку: Mongo::Error::OperationFailure: WiredTigerIndex::insert: key too large to index, failing Да, при попытке добавить документ, одно из его полей довольно большое (текст в пару килобайт). Я правильно понимаю, что при таком подходе, весь документ (все его поля, перечисленные в индексе), не должен превышать 1024 байт?

сделайте новое поле, конкатенируйте поля в одну строку и преобразуйте в md5 и кладите в новое поле, которое создали. на него вешайте индекс и вы получите все тоже самое, но с полем фиксированной длинны

А почему именно такой набор полей?

В бд хранятся данные только из этого источника?

Источник всегда отдаёт все данные за этот день?

Да. Некоторые источники могут отдавать данные за произвольное время (за последний час, минуту). Но для унификации считаем, что все источники отдают данные за текущий день всегда. documents = api.get_data(from_time, to_time) Условно так. Конечному пользователю нужна относительная оперативность получения новых данных из БД (каждые 10 минут устраивает). Потому, каждые 10 минут опрашивается источник, забираются данные (за весь день, как мы помним) и новые кладутся в БД. Новые ли данные или нет — определяю индексом. Сейчас ещё раз посмотрел код. На самом деле индекс — это последний эшелон контроля уникальности данных в БД. До него ещё стоит поиск в коллекции. next unless collection.find(document).count.zero? collection.insert_one document Возможно, придётся отказаться от индексов вовсе и полагаться только на поиск документа в коллекции (не найден — добавить).

> hashed index На StackOverflow тоже писали про hashed index. Не уверен, что правильно пока понимаю, что это. Но читаю, спасибо! > Не знаю насколько на ваших данных реальны коллизии Данные о пользователях. Имя, Фамилия, Телефон, Эл. почта, Некое сообщение. Не более того. Если среди тысяч документов случайно проскочит дубль, или наоборот, из двух разных документов в БД попадёт только один — не так смертельно.

У меня сейчас база с билингом на отдельном сервере, где хранятся данные о клиентах, балансе, подключенных сайтах; И отдельный кластер, где под каждый сайт клиента отдельная база данных; Жизнеспособная схема?))

всем привет! вопрос: есть документ с таким полем "someField" : { "$numberInt" : "17"} и запрос db.getCollection('someCollection').find({'someField':17}) не работает(результат выборки не выводит запись с таким полем). подскажите правильно написать запрос для полей с таким типом? версия монгодб 4.2. спасибо

...find({"someField.$numberInt": 17}) попробуйте так

Да, хотелось бы избежать транзакций, спасибо!

В 4.+ есть транзакции, так что если не видите вариантов то можете их использлвать. Но будет медленно, особенно на кластере. Лучше по аналогии с вашей картинкой проиаботать схему где у вас не нужно будет использовать явные транзакции

Не все так однозначно

Коллеги, подскажите, какого черта не работает этот запрос?

Скинь текстом сам запрос

Я уже понял, у меня во времени путаница какая-то

имею в виду по простому чтобы

Только если знаете сколько у него измерений https://docs.mongodb.com/manual/reference/operator/aggregation/concatArrays/ и там по идее с фмлттрами и условиями по граться, чтоьы каскад получить, может даже через о дельные стейджи. Но если это не принципиалтно, то лучше на стороне клиента уже сделатт

Подскажите можно ли менять местами обьекты внутри коллекции, перемещать как нибудь, либо создавать новые обьекты не в конец или начало коллекции, а в указанный индекс

root@vh3757:~# mongod 2020-02-20T00:48:40.570+0300 I CONTROL [initandlisten] MongoDB starting : pid=664 port=27017 dbpath=/data/db 64-bit host=vh3757 2020-02-20T00:48:40.571+0300 I CONTROL [initandlisten] db version v3.6.3 2020-02-20T00:48:40.571+0300 I CONTROL [initandlisten] git version: 9586e557d54ef70f9ca4b43c26892cd55257e1a5 2020-02-20T00:48:40.571+0300 I CONTROL [initandlisten] OpenSSL version: OpenSSL 1.1.1 11 Sep 2018 2020-02-20T00:48:40.571+0300 I CONTROL [initandlisten] allocator: tcmalloc 2020-02-20T00:48:40.572+0300 I CONTROL [initandlisten] modules: none 2020-02-20T00:48:40.572+0300 I CONTROL [initandlisten] build environment: 2020-02-20T00:48:40.572+0300 I CONTROL [initandlisten] distarch: x86_64 2020-02-20T00:48:40.572+0300 I CONTROL [initandlisten] target_arch: x86_64 2020-02-20T00:48:40.572+0300 I CONTROL [initandlisten] options: {} 2020-02-20T00:48:40.573+0300 I STORAGE [initandlisten] exception in initAndListen: NonExistentPath: Data directory /data/db not found., terminating 2020-02-20T00:48:40.573+0300 I CONTROL [initandlisten] now exiting 2020-02-20T00:48:40.573+0300 I CONTROL [initandlisten] shutting down with code:100

Привет! Делаю бэкенд для сервиса типа "гугл-форм". Нужно хранить описание формы и заполнения формы. У заполнений разных форм разный набор полей Нормально ли создавать для каждой формы отдельную коллекцию в монгодб?