Большие?

Достаточно большие что бы по ним фильтровать

Любой поиск с условием — фильтр

Нужно индексы правильно расставить и всё будет хорошо. Коллекция маленькая, проблема только в том, что working set перестал влазитььв память.

ок, понял

Следующая проблема будет что индексы перестанут в память влазить. Но тут уже надо будет вертикально масштабироваться.

Я думаю что не эффективная модель данных

Да, курсором. Не надо массив называть вложенной коллекцией.

а называть документ объектом тоже некорректно?

Да, курсором. Не надо массив называть вложенной коллекцией.

кстати, нашел еще вариант перемещения коллекции https://stackoverflow.com/questions/27039083/mongodb-move-documents-from-one-collection-to-another-collection

а называть документ объектом тоже некорректно?

Это ещё понятно. А вот на вложенной коллекции пришлось несколько раз перечитать чтоб понять что это просто массив

кстати, нашел еще вариант перемещения коллекции https://stackoverflow.com/questions/27039083/mongodb-move-documents-from-one-collection-to-another-collection

Это и есть курсор. >]

Можно сделать дамп, восстановить в новую колллекцию и удалить ненужные доки

кстати, нашел еще вариант перемещения коллекции https://stackoverflow.com/questions/27039083/mongodb-move-documents-from-one-collection-to-another-collection

+

Всем доброго! Подскажите куда копать, есть коллекция мобов, у них есть массив дропа ресурса, где каждый дроп - объект вида { name: "zxc", value: 123 } . как отсортировать мобов по дропу какого-то ресурса?

По дропу - в смысле? По value?

по value именно в объекте с заданным name

.sort({"drop.value": -1}) сортирует по максимальному value вообще (

.find({'drop.name': 'zxc'}) перед этим еще, наверное

я первым делом так и попробовал ... но нет

фильтрация ок, а сортировка не верная

https://stackoverflow.com/questions/15136016/how-can-i-sort-by-elemmatch-in-mongodb не подойдет?

Кажется то чтоо надо! Приду проверю. Спасибо.!

еще и оставляет толкьо найденный элемент массива! супер!

Загружай мобов на сервер и держи их в памяти, сортируй как угодно, не напрягай этим базу

Кстати, там же вроде можно при инсертах-апдейтах прокидывать сортировку и вся коллекция пересортируется после изменения данных? Этим тоже пользоваться не стоит? Почему? Просто мне казалось, что БД с сортировкой в том числе должны гораздо эффективнее всяких там питонов и ноджсов справляться Но я в монге не шарю от слова совсем

Кстати, там же вроде можно при инсертах-апдейтах прокидывать сортировку и вся коллекция пересортируется после изменения данных? Этим тоже пользоваться не стоит? Почему? Просто мне казалось, что БД с сортировкой в том числе должны гораздо эффективнее всяких там питонов и ноджсов справляться Но я в монге не шарю от слова совсем

В базе медленее, у базы этот инструментарий ограничен. Если это для отчета то норм, а если частая операция то база быстро станет узким местом

ну тут это редкая операция + кеширование. но надо

Привет) А про mongoose сюда можно писать?

Коллеги, может кто подсказать? Есть ли в aggregation framework возможность выполнить что-то вроде $unwind для всех свойств документа? Т.е. есть документ {data: {field1Id: {...}, field2Id: {..}, ..}}, нужно вытащить все вложенные документы из data

Простого способа нет. Если названия ключей заранее известны то можно использовать серию $push или сходный по эффекту механизм. Если названия не известны, то вероятно задача в таком виде не решается

https://jira.mongodb.org/browse/SERVER-18794

Надо посмотреть реально ли попал бекпорт в 3.4.4, тогда такая задача решается

Если не попал, то ждите 3.6

Вроде попал, тогда странно, что-то у меня не получилось

Спасибо за помощь

А что не получилось?

Кстати, а есть аналог sqlfiddle но для монги?

Не получилось с $unwind, хз, в чем причина. В принципе, обошелся map-reduce с записью в другую коллекцию

тоже попал на эти грабли, в mongo рекомендуется использовать массивы а не наборы свойств. если нужно потом ими оперировать, делать что то большее чем обращение по известному ключу

Та же фигня (

Map - как раз сериализуется в такую структуру с ключами. Нада теперь что то думать, как то в масив конвертировать

Дописать к gson свой конвертор для map

Не получилось с $unwind, хз, в чем причина. В принципе, обошелся map-reduce с записью в другую коллекцию

С unwind и не получится без objecttoarray

Точнее objecttoarray и есть unwind для объектов/документов

Точнее objecttoarray и есть unwind для объектов/документов

Спасибо за наводку, выглядит как то что нужно, но я уже обошелся map-reduce

У тебя была одна проблема, теперь у тебя их три ;)

js, монга и map-reduce?

Гайс, быть может кто-нибудь сталкивался: можно ли запустить Wordpress/Woocomerce на MongoDB ?

Гайс, быть может кто-нибудь сталкивался: можно ли запустить Wordpress/Woocomerce на MongoDB ?

А зачем на mongodb?

А зачем на mongodb?

Много юзеров. Нужен "scale"

На диск не помещается ? Или скорость чтения низкая ? А сейчас какая база ?

На диск не помещается ? Или скорость чтения низкая ? А сейчас какая база ?

Просто задел на будущее. Ожидается "handreds of thousands" юзеров. И нужно перенести базу сейчас. Но я не вижу решений использования никаких других БД кроме "MySQL и MariaDB". По сути, wordpress приложение обрабатывает платежи (WooCommerce), все остальное будет на AWS API Gateway и DynamoDB

Гайс, быть может кто-нибудь сталкивался: можно ли запустить Wordpress/Woocomerce на MongoDB ?

Нет, нельзя.

Просто задел на будущее. Ожидается "handreds of thousands" юзеров. И нужно перенести базу сейчас. Но я не вижу решений использования никаких других БД кроме "MySQL и MariaDB". По сути, wordpress приложение обрабатывает платежи (WooCommerce), все остальное будет на AWS API Gateway и DynamoDB

Если денег на AWS хватает, возьмите там rdbms. Или ещё лучше сразу взять премиум/vip план у wp, пусть у них голова болит как это скейлить.

Если денег на AWS хватает, возьмите там rdbms. Или ещё лучше сразу взять премиум/vip план у wp, пусть у них голова болит как это скейлить.

понял. Спасибо. Про aws rds почему-то и не вспоминал. Просто мне говорят: "Ты мигрируй, а мы разберемся". Интересные ребята, может что-то знают)

тут как раз было https://habrahabr.ru/company/infopulse/blog/330708/

Это называется предварительная оптимизация. Тут ничего нового нет.

Здравствуйте! Можете подсказать, как такое может быть? > db.col1.count({x : {$exists : 1}}) 2280000 > db.col1.count({x : {$exists : 0}}) 0 > db.col1.count() 2270000

db.coll1.stats() что показывает?

https://pastebin.com/KXHCavYJ

на всякий случай: x это не url_1 случайно?

в смысле поле которое в url_1 индексе (вероятно просто `url: 1`)

не, в данном случае x это массив url_1 - это просто поле, по нему индекс

коллекция не шарженная?

имеется ввиду на несколько машин?

по stats очевидно что нет

да

нет

и не реплика?

нет

а какая версия монги?

3.4.5

попробуй mongoshell сессию перезапустить?

помогло?

нет, все также вопрос в том, что я вчера переносил данные из одной коллекции в другую с помощью скрипта на Perl и initialize_ordered_bulk_op для бысрого переноса (и взял буфер 10000), и execute по заполнению этого буфера и где-то в середине выдало ошибку MongoDB::Network Error: Unexpected end of stream

соединение отвалилось

бывает.

и после этого вот так

интересно. попробуй через aggregation framework сделать count

ну самый простой вариант: сделать дамп и восстановить из дампа

если ты переносил из другой коллекции, то сделать дамп той коллекции и его восстановить в другуб коллекцию (`-c` в mongorestore кажется)

А нет у нее никакого repair?

можно и repair, это всё примерно одно

Еще можно попробовать индекс пересоздать.

какой индекс ты собрался пересоздавать?

и зачем главное?

дамп есть, думаю проще перезалить

да, индекса на это поле нет, т.к. это массив

На поле, если по нему идет поиск. Но нет, так нет.

дамп есть, думаю проще перезалить

ради интересна действительно попробуй compact

я просто думаю, что индекс на массив будет большим