@mongodb_ru - страница 224 - Telegram web archive

Gаrblоvian

Планирую перейти с постгреса и джанговского идиотского ORM на монгу и mongoengine. Уверен что все будет отлично )

mongoengine удобная ORM? :) читаю http://docs.mongoengine.org/tutorial.html

Игорь

а если индекс весит больше 32 мб, то без лимита не сделать сортировку?

Nick

а если индекс весит больше 32 мб, то без лимита не сделать сортировку?

откуда требование к 32Мб?

Игорь

я делаю поиск по текстовому индексу и потом сотировку по $meta. индекс весит 42 мегабайта и он выдает ошибку: Sort operation used more than the maximum 33554432 bytes of RAM

Мечтатель

mongoengine удобная ORM? :) читаю http://docs.mongoengine.org/tutorial.html

вполне.

Мечтатель

я делаю поиск по текстовому индексу и потом сотировку по $meta. индекс весит 42 мегабайта и он выдает ошибку: Sort operation used more than the maximum 33554432 bytes of RAM

а это жесткое ограничение? Может в конфиге можно увеличить

Nick

я делаю поиск по текстовому индексу и потом сотировку по $meta. индекс весит 42 мегабайта и он выдает ошибку: Sort operation used more than the maximum 33554432 bytes of RAM

это означает что ваша выборка вернула слишком много данных

Nick

и ужее ее не может отсортировать

Игорь

ну да, я в принципе это понял. только вопрос в том, в как понять какое количество результатов возвращать. В разных полях, разное количество текста у разных документов и объемы могут быть разные. буду думать)

Nick

не уверен точно, н оскорее всего эта пробелма решитсья выборкой по индексам с такой же сортировкой как вам требуется

Игорь

я думаю, что поиск по этому полю вообще исключу из индекса пока, там реально могут быть огромные объемы инфы, а искать по нему будут очень не часто. это так, попытка добавить избыточный функционал заранее

Nick

вообще ваша проблема упирается в ограничение https://docs.mongodb.com/manual/reference/limits/#Sort-Operations поэтому советую дополнительно ознакомиться со всеми ограничения монги, чтобы было меньше вопросов

Bruno

зайцы, а есть приблуда как django-factoryboy, но не для орма (mongoengine), а для прям коллекций (schema validation + indexes) монги? Фабрики генерить для юнит-тестов

Мечтатель

зайцы, а есть приблуда как django-factoryboy, но не для орма (mongoengine), а для прям коллекций (schema validation + indexes) монги? Фабрики генерить для юнит-тестов

точно не понятно что т имеешь ввиду, но есть еще mimesis и faker

Bruno

точно не понятно что т имеешь ввиду, но есть еще mimesis и faker

faker знаю, но он генерит данные (фейки) для полей, а мне нужно прям генерить документы (фабриками)

Bruno

mimesis сейчас посмотрел и вижу что это аналог faker

Мечтатель

faker знаю, но он генерит данные (фейки) для полей, а мне нужно прям генерить документы (фабриками)

faker умеет генерить словари, если мы о питоне. Но они не произвольные

Bruno

так даже если я сгенерю словарик с помощью него, этот словарик не уложится в валидацию моих коллекций

Bruno

потому что фейкер о ней ничего не знает (и не должен)

Bruno

спасибо энивей, подумаю в эту сторону

Мечтатель

я тебя понял

Мечтатель

нужно подумать как параметризовать

Мечтатель

так даже если я сгенерю словарик с помощью него, этот словарик не уложится в валидацию моих коллекций

http://faker.readthedocs.io/en/master/providers/faker.providers.python.html Вот еще глянь. Но в любом случае, если нужно соответствовать жесткой валидации, скоре всего тебе что-то свое нужно пилить.

Игорь

кто подскажет, в чем дело, все загуглил, не могу найти инфы { "ok" : 0, "errmsg" : "language override unsupported: rus", "code" : 17262, "codeName" : "Location17262" } при попытке создать индекс

Nick

кто подскажет, в чем дело, все загуглил, не могу найти инфы { "ok" : 0, "errmsg" : "language override unsupported: rus", "code" : 17262, "codeName" : "Location17262" } при попытке создать индекс

https://docs.mongodb.com/manual/reference/text-search-languages/#text-search-languages тут нет rus, есть только ru

Игорь

но откуда он это вообще берет? запрос db.collection.createIndex( {name: "text", typePrefix: "text", vendor: "text", model: "text" })

Nick

дефолтный язык выставлен в rus

Nick

придется явно указывать при создании индекса походу язык

Nick

а ОС какая где запущено?

Игорь

linux. пытаюсь createIndex( {name: "text", typePrefix: "text", vendor: "text", model: "text" }, {default_language: "russian"})

Игорь

тоже самое

Игорь

не создает

Старый

linux. пытаюсь createIndex( {name: "text", typePrefix: "text", vendor: "text", model: "text" }, {default_language: "russian"})

linux это не ос, дистрибутв, версия, какие стоят локали в системе

Старый

.....

Игорь

Mint и на второй машине redhut. Мне кажется дело не в этом, на других коллекциях все работает

Игорь

Попалась одна, когда собирал данные и вывалилась эта ошибка

Старый

а локаль русская установлена там

Игорь

Да

Игорь

Русская и английская

Игорь

А монго за локалью обращается к системе при создании индекса?

Игорь

Мне кажется нашёл решение, завтра проверю. Где-то в каком-то документе наверное есть поле language: rus

Danil

Всем привет, вчера ночью столкнулся с проблемой. Думаю у многих такое было) Удалили data/db и запросили биткоины. Бекап спас, но как обезопасить себя в будущем?

Viktor

Всем привет, вчера ночью столкнулся с проблемой. Думаю у многих такое было) Удалили data/db и запросили биткоины. Бекап спас, но как обезопасить себя в будущем?

прикрутить авторизацию и запретить доступ к монге из интернета

Danil

Можно подробнее?) Я сам не бекендщик

Viktor

сделать виртуальную частную сеть между application сервером и бд

Danil

Линку какую-нибудь

Viktor

https://docs.mongodb.com/manual/tutorial/enable-authentication/

Danil

thank you

Viktor

а по сетям это уже смотрите у своего облака как настраивается

Danil

через iptables я прописал команды некоторые

Danil

То есть через mongodb Auth нет возможности удалить директорию data/db/?

Danil

если я его настрою

Danil

потому что по логам он тупо прописывает rm -r -f /data/db и рад

Viktor

а, вот оно чо

Viktor

ну так это не бд виновата, вам сервер ломанули

Viktor

получили доступ по ssh

Danil

Кайф, а где ты обычно хостишь?

Danil

https://dba.stackexchange.com/questions/160690/mongodb-ransom-attack-and-its-solution

Danil

такая проблема

Игорь

Мне кажется нашёл решение, завтра проверю. Где-то в каком-то документе наверное есть поле language: rus

В общем да, проблема в этом. Если в документе есть поле language, то монго пытаеться сделать индекс с указанным там значением. На самом деле даже не знаю, как быть. В данном случае, я знаю где такое поле находиться и его значение. Но в дальнейшем, где оно будет в загружаемых документах и какие там будут значения...

Nick

ну тут только один вариант, отправляться на их багтрекер и спрашивать там что делать

Игорь

нашел решение! language_override работает. то есть нужно всегда выставлять, если есть вероятность, что в приходящих данных будет поле language. Оно задает поле поиска для задания языка в документе. В общем пишем туда невероятную белеберду, которая точно не буде в приходящих документах полем))

Игорь

фух, день спасён)

Nikita

Всем привет! Подскажите, в Mongoose можно же обновлять документ в post('save') ?

Anonymous

Есть какая нибудь возможность синхронизировать большой файл с бд не перезаписывая каждый раз этот файл в бд? А только изменения и если они есть

Dmitriy

Все привет, подскажите а как сделать каскадное удаление в Mongo. Тоесть я удаляю документ из коллекции и хочу, чтобы в другой коллекции удалился его ID из массива который я там храню???

Dmitry

Руками

Dmitry

Ну в смысле монга она не для этого, видимо вы пришли из мира рсубд

Dmitriy

тоесть по сути через миделвары

Dmitriy

.pre(‘remove’)

Maksim

хочу дропнуть бд с помощью терминала, нашел такой вариант: mongo <dbname> --eval "db.dropDatabase()”, но как мне узнать как называется моя бд чтобы заменить dbname?))

Maksim

подключаюсь я так: mongodb://127.0.0.1:27017

Alexander

проверь shutdown -r now ;)

Nick

Все привет, подскажите а как сделать каскадное удаление в Mongo. Тоесть я удаляю документ из коллекции и хочу, чтобы в другой коллекции удалился его ID из массива который я там храню???

Только учтите что в монге нет транзакций и вам дополнительно необходимо озаботиться косистентностью бд при ошибках

Dmitriy

Только учтите что в монге нет транзакций и вам дополнительно необходимо озаботиться косистентностью бд при ошибках

Cпасибо, я знал в монге промиднлапры но думал , что каскад тоже есть или , что то типа этого :)