не поймите не правильно, я очень люблю постгрес и это великолепная база. Но разные задачи, разные инструменты. Хорошо бы найти серебренную пулю на все и сразу, но пока такой нет(

скоро транзакции в мнге появятся и она станет серебряной пулей

Подскажите как удалить все данные из коллекции у которых в документе конкретное поле содержит тип данных - строку

отюсда такой впорос вытекает. Если я ищу документы по тектововму индексу и потом их найденых, взять только те, что в ценовом диапозоне или по другому числовому полю в документе. в обычном случае можно было бы создать два индекса на два запроса. но как быть с текстовым? создам комплексный текстовый индекс и добавлю в конец индекс по полю цена, то я не смогу сделать еще один с другим полем вконце

Я не помню чтоб у монги были проблемы с пересечением $text и остальных индексов

Вы делает отдельный индекс для $text и отдельный индекс по цене.

Давно бы уже проверили

Я не помню чтоб у монги были проблемы с пересечением $text и остальных индексов

то есть если он в одном запросе сначала найдет по индексу $text то потом сможет использовать индекс по price что бы быстрее просмотерть коллекцию?

Подскажите как удалить все данные из коллекции у которых в документе конкретное поле содержит тип данных - строку

https://docs.mongodb.com/manual/reference/method/db.collection.remove/

то есть если он в одном запросе сначала найдет по индексу $text то потом сможет использовать индекс по price что бы быстрее просмотерть коллекцию?

Планировщик скорее всего выберет сначала отфильтровать по цене: потому что текстовый индекс безумно дорогой. Но я не уверен. Возьмите создайте коллекцию из трёх документов и посмотрите explain со статистикой выполнения.

ок

сейчас проверю

Но в целом, монга умеет в пересечение индексов. Не обязательно делать compound

В некоторых случаях так вообще, лучше два индекса

В некоторых случаях так вообще, лучше два индекса

ну, собственно выиграл вариант сортировки по цене

"winningPlan" : { "stage" : "FETCH", "filter" : { "$and" : [ { "price" : { "$lte" : 2000 } }, { "price" : { "$gte" : 100 } } ] }, "inputStage" : { "stage" : "TEXT", "indexPrefix" : { }, "indexName" : "typePrefix_text_vendor_text_model_text", "parsedTextQuery" : { "terms" : [ ], "negatedTerms" : [ ], "phrases" : [ "" ], "negatedPhrases" : [ ] }, "textIndexVersion" : 3, "inputStage" : { "stage" : "TEXT_MATCH", "inputStage" : { "stage" : "FETCH", "inputStage" : { "stage" : "OR" } } } } }, "rejectedPlans" : [ ] }, "winningPlan" : { "stage" : "FETCH", "filter" : { "$and" : [ { "price" : { "$lte" : 2000 } }, { "price" : { "$gte" : 100 } } ] }, "inputStage" : { "stage" : "TEXT", "indexPrefix" : {

}, "indexName" : "typePrefix_text_vendor_text_model_text", "parsedTextQuery" : { "terms" : [ ], "negatedTerms" : [ ], "phrases" : [ "" ], "negatedPhrases" : [ ] }, "textIndexVersion" : 3, "inputStage" : { "stage" : "TEXT_MATCH", "inputStage" : { "stage" : "FETCH", "inputStage" : { "stage" : "OR" } } } } }, "rejectedPlans" : [ ] },

Выиграла дружба: сначала поиск по TEXT, а потом пересечение его результатов с price. Включите статистику исполнения (executionStats: 1). И пожалуйста, длинные портянки складываете на gist.github.com

ок

привет, люди! второй раз восстанавливаю из backup'а БД, после исчезновения всех таблиц. Как можно объяснить проблему?

снаружи доступ к mongo запрещен, пароль сложный(

как проще всего проанализировать ситуацию?

Логи посмотреть

Логи посмотреть

а что погрепать?

drop?

Да

блин, есть дропы :( а как такое возможно?

Смотрите по номеру сессии откуда логин

Возможно у вас какие-то проблемы с аутентификацией или с правами

спасибо большое! буду harden'ить!

Планирую перейти с постгреса и джанговского идиотского ORM на монгу и mongoengine. Уверен что все будет отлично )

Планирую перейти с постгреса и джанговского идиотского ORM на монгу и mongoengine. Уверен что все будет отлично )

? тут есть нюансы, не спеши переходить, если хотя бы не прикинешь как будет выглядеть переход. На монги именно сейчас столкнешся с тем, что нет транзакций и надо некоторую информацию дублировать в разных коллекциях (если коллекций у тебя много и между ними есть связи), чтобы апдейт одного поля не вызывал апдейт кучи документов...

? тут есть нюансы, не спеши переходить, если хотя бы не прикинешь как будет выглядеть переход. На монги именно сейчас столкнешся с тем, что нет транзакций и надо некоторую информацию дублировать в разных коллекциях (если коллекций у тебя много и между ними есть связи), чтобы апдейт одного поля не вызывал апдейт кучи документов...

а... точно... Нужно транзакции подождать (

Спасибо

Планирую перейти с постгреса и джанговского идиотского ORM на монгу и mongoengine. Уверен что все будет отлично )

mongoengine удобная ORM? :) читаю http://docs.mongoengine.org/tutorial.html

а если индекс весит больше 32 мб, то без лимита не сделать сортировку?

а если индекс весит больше 32 мб, то без лимита не сделать сортировку?

откуда требование к 32Мб?

я делаю поиск по текстовому индексу и потом сотировку по $meta. индекс весит 42 мегабайта и он выдает ошибку: Sort operation used more than the maximum 33554432 bytes of RAM

mongoengine удобная ORM? :) читаю http://docs.mongoengine.org/tutorial.html

вполне.

я делаю поиск по текстовому индексу и потом сотировку по $meta. индекс весит 42 мегабайта и он выдает ошибку: Sort operation used more than the maximum 33554432 bytes of RAM

а это жесткое ограничение? Может в конфиге можно увеличить

я делаю поиск по текстовому индексу и потом сотировку по $meta. индекс весит 42 мегабайта и он выдает ошибку: Sort operation used more than the maximum 33554432 bytes of RAM

это означает что ваша выборка вернула слишком много данных

и ужее ее не может отсортировать

ну да, я в принципе это понял. только вопрос в том, в как понять какое количество результатов возвращать. В разных полях, разное количество текста у разных документов и объемы могут быть разные. буду думать)

не уверен точно, н оскорее всего эта пробелма решитсья выборкой по индексам с такой же сортировкой как вам требуется

я думаю, что поиск по этому полю вообще исключу из индекса пока, там реально могут быть огромные объемы инфы, а искать по нему будут очень не часто. это так, попытка добавить избыточный функционал заранее

вообще ваша проблема упирается в ограничение https://docs.mongodb.com/manual/reference/limits/#Sort-Operations поэтому советую дополнительно ознакомиться со всеми ограничения монги, чтобы было меньше вопросов

зайцы, а есть приблуда как django-factoryboy, но не для орма (mongoengine), а для прям коллекций (schema validation + indexes) монги? Фабрики генерить для юнит-тестов

зайцы, а есть приблуда как django-factoryboy, но не для орма (mongoengine), а для прям коллекций (schema validation + indexes) монги? Фабрики генерить для юнит-тестов

точно не понятно что т имеешь ввиду, но есть еще mimesis и faker

точно не понятно что т имеешь ввиду, но есть еще mimesis и faker

faker знаю, но он генерит данные (фейки) для полей, а мне нужно прям генерить документы (фабриками)

mimesis сейчас посмотрел и вижу что это аналог faker

faker знаю, но он генерит данные (фейки) для полей, а мне нужно прям генерить документы (фабриками)

faker умеет генерить словари, если мы о питоне. Но они не произвольные

так даже если я сгенерю словарик с помощью него, этот словарик не уложится в валидацию моих коллекций

потому что фейкер о ней ничего не знает (и не должен)

спасибо энивей, подумаю в эту сторону

я тебя понял

нужно подумать как параметризовать

так даже если я сгенерю словарик с помощью него, этот словарик не уложится в валидацию моих коллекций

http://faker.readthedocs.io/en/master/providers/faker.providers.python.html Вот еще глянь. Но в любом случае, если нужно соответствовать жесткой валидации, скоре всего тебе что-то свое нужно пилить.

кто подскажет, в чем дело, все загуглил, не могу найти инфы { "ok" : 0, "errmsg" : "language override unsupported: rus", "code" : 17262, "codeName" : "Location17262" } при попытке создать индекс

кто подскажет, в чем дело, все загуглил, не могу найти инфы { "ok" : 0, "errmsg" : "language override unsupported: rus", "code" : 17262, "codeName" : "Location17262" } при попытке создать индекс

https://docs.mongodb.com/manual/reference/text-search-languages/#text-search-languages тут нет rus, есть только ru

но откуда он это вообще берет? запрос db.collection.createIndex( {name: "text", typePrefix: "text", vendor: "text", model: "text" })

дефолтный язык выставлен в rus

придется явно указывать при создании индекса походу язык

а ОС какая где запущено?

linux. пытаюсь createIndex( {name: "text", typePrefix: "text", vendor: "text", model: "text" }, {default_language: "russian"})

тоже самое

не создает

linux. пытаюсь createIndex( {name: "text", typePrefix: "text", vendor: "text", model: "text" }, {default_language: "russian"})

linux это не ос, дистрибутв, версия, какие стоят локали в системе

.....

Mint и на второй машине redhut. Мне кажется дело не в этом, на других коллекциях все работает

Попалась одна, когда собирал данные и вывалилась эта ошибка

а локаль русская установлена там

Да

Русская и английская

А монго за локалью обращается к системе при создании индекса?

Мне кажется нашёл решение, завтра проверю. Где-то в каком-то документе наверное есть поле language: rus

Всем привет, вчера ночью столкнулся с проблемой. Думаю у многих такое было) Удалили data/db и запросили биткоины. Бекап спас, но как обезопасить себя в будущем?

Всем привет, вчера ночью столкнулся с проблемой. Думаю у многих такое было) Удалили data/db и запросили биткоины. Бекап спас, но как обезопасить себя в будущем?

прикрутить авторизацию и запретить доступ к монге из интернета

Можно подробнее?) Я сам не бекендщик

сделать виртуальную частную сеть между application сервером и бд

Линку какую-нибудь

https://docs.mongodb.com/manual/tutorial/enable-authentication/

thank you

а по сетям это уже смотрите у своего облака как настраивается

через iptables я прописал команды некоторые

То есть через mongodb Auth нет возможности удалить директорию data/db/?

если я его настрою

потому что по логам он тупо прописывает rm -r -f /data/db и рад

а, вот оно чо

ну так это не бд виновата, вам сервер ломанули

получили доступ по ssh

Кайф, а где ты обычно хостишь?

https://dba.stackexchange.com/questions/160690/mongodb-ransom-attack-and-its-solution

такая проблема

Мне кажется нашёл решение, завтра проверю. Где-то в каком-то документе наверное есть поле language: rus

В общем да, проблема в этом. Если в документе есть поле language, то монго пытаеться сделать индекс с указанным там значением. На самом деле даже не знаю, как быть. В данном случае, я знаю где такое поле находиться и его значение. Но в дальнейшем, где оно будет в загружаемых документах и какие там будут значения...

ну тут только один вариант, отправляться на их багтрекер и спрашивать там что делать

нашел решение! language_override работает. то есть нужно всегда выставлять, если есть вероятность, что в приходящих данных будет поле language. Оно задает поле поиска для задания языка в документе. В общем пишем туда невероятную белеберду, которая точно не буде в приходящих документах полем))