Стоит проверить наличие файлов индекса

Стоит проверить наличие файлов индекса

заранил mongo --repair

Вообще ОПА. Что могло стать причинойб пропали все узеры даже админ (по мимо ручного удаления)

опять база без авторизации ?

опять база без авторизации ?

Я хз. Остальной народ еще спит, я полез чинить, Все юзеры похерились. Все теперь я иду спать.

Друзья, подскажите. Коллекция с документами, в которых есть массив с документами и в каждом том документе может быть тоже массив — это плохая практика или нет?

Просто вот двойной $ оператор уже недоступен, поэтому работа с элементами в том самом глубоком массиве уже затруднена становится.

Как быть?

Вот вопрос если что — https://stackoverflow.com/questions/48967418/multiple-arrays-of-objects-inside-array-of-objects-in-mongodb

Друзья, подскажите. Коллекция с документами, в которых есть массив с документами и в каждом том документе может быть тоже массив — это плохая практика или нет?

Выборка становится сложнее.

Mongoose v5.0.7: Query Population Насколько это адекватно использовать? Что будет при большой нагрузке? http://mongoosejs.com/docs/populate.html

Mongoose v5.0.7: Query Population Насколько это адекватно использовать? Что будет при большой нагрузке? http://mongoosejs.com/docs/populate.html

Спасибо, так я делал. Просто если в итоге «нормализовывать» коллекции, то с таким же успехом можно было реляционную БД использовать.

Mongoose v5.0.7: Query Population Насколько это адекватно использовать? Что будет при большой нагрузке? http://mongoosejs.com/docs/populate.html

Что ты подрузумиваешь под большой нагрузкой ?.

Друзья, подскажите. Коллекция с документами, в которых есть массив с документами и в каждом том документе может быть тоже массив — это плохая практика или нет?

Аггрегейт + анвинд + гроуп.

Mongoose v5.0.7: Query Population Насколько это адекватно использовать? Что будет при большой нагрузке? http://mongoosejs.com/docs/populate.html

Тут о монге, а не о драйверах и / или орм.

Ну выборки делать я умею, а апдейты можно ли делать через aggregation framework?

Апдейт вы делаете документу, достаете нужный и делаете с ним что хотите.

Что ты подрузумиваешь под большой нагрузкой ?.

500 запросов в секунду на базу размером в 100 000 000

500 запросов в секунду на базу размером в 100 000 000

500 запросов используя populate ?. 100 .... records ?

500 запросов используя populate ?. 100 .... records ?

Например так, да

Например так, да

Спросил самому интирестно, Правда у меня около 10-40 rps и 200 мил рекордов. Но скоро будет больше rps.

Спросил самому интирестно, Правда у меня около 10-40 rps и 200 мил рекордов. Но скоро будет больше rps.

Что за проект?

trustwalletapp.com

Что за проект?

По сути держим все транзакции на Ethereum блокчейн в базе проиндексироваными. Выборка тоже идет через populate https://github.com/TrustWallet/trust-ray/blob/5d3575db35ddeb7964e3dd998b4d8d503fa81395/src/pusher/PusherScanner.ts#L88

Что за проект?

А у тебя ?.

По сути держим все транзакции на Ethereum блокчейн в базе проиндексироваными. Выборка тоже идет через populate https://github.com/TrustWallet/trust-ray/blob/5d3575db35ddeb7964e3dd998b4d8d503fa81395/src/pusher/PusherScanner.ts#L88

Сколько весит все?

Мы потдреживаем Ethereum, Ethereum Classic, POA, POA Sokol, Ropsten Rinkbery, Ropsten, Kovan,. Самая большая это ETH - конкретно в циврах

Граф зависимостей точно хорошая идея?

Граф зависимостей точно хорошая идея?

пробовал без графа, тоже не верно. но как мне кажется что эти варианты 100% верны, я прав?: Представление иерархии управления в фирме Хранение структуры каталогов

А чем первый ответ не устраивает?

А чем первый ответ не устраивает?

да тоже пробовал

Всем привет. Есть такой вопрос. Вот запись: { "_id" : 1, "my" : [ { "obj" : 0, "data" : "data0" }, { "obj" : 1, "data" : "data1" }, { "obj" : 2, "data" : "data2" }, { "obj" : 3, "data" : "data3" } ] } Вот запрос: db.arr.update( {'_id': 1 }, { '$set': { "my.$[elem].data" : 'fuck' } }, { 'arrayFilters': [ { "elem.obj": {'$eq': 1} } ], multi: true} ) Вот что получаю: cannot use the part (my of my.$[].data) to traverse the element ({my: [ { obj: 0, data: "data0" }, { obj: 1, data: "data1" }, { obj: 2, data: "data2" }, { obj: 3, data: "data3" } ]}) Ожидаемое поведение, согласно документации: обновление одного элемента из массива. Вот документация: https://docs.mongodb.com/manual/reference/operator/update/positional-filtered/ mongo 3.6 Всю голову сломал уже.

Всем привет. Есть такой вопрос. Вот запись: { "_id" : 1, "my" : [ { "obj" : 0, "data" : "data0" }, { "obj" : 1, "data" : "data1" }, { "obj" : 2, "data" : "data2" }, { "obj" : 3, "data" : "data3" } ] } Вот запрос: db.arr.update( {'_id': 1 }, { '$set': { "my.$[elem].data" : 'fuck' } }, { 'arrayFilters': [ { "elem.obj": {'$eq': 1} } ], multi: true} ) Вот что получаю: cannot use the part (my of my.$[].data) to traverse the element ({my: [ { obj: 0, data: "data0" }, { obj: 1, data: "data1" }, { obj: 2, data: "data2" }, { obj: 3, data: "data3" } ]}) Ожидаемое поведение, согласно документации: обновление одного элемента из массива. Вот документация: https://docs.mongodb.com/manual/reference/operator/update/positional-filtered/ mongo 3.6 Всю голову сломал уже.

Спустя два дня поиска, таки нашел: https://stackoverflow.com/questions/47874605/find-by-sub-document-id-and-update-its-data - дело в Robomonbo. И второе: db.adminCommand( { setFeatureCompatibilityVersion: "3.6" } )

Друзья, подскажите. Коллекция с документами, в которых есть массив с документами и в каждом том документе может быть тоже массив — это плохая практика или нет?

Если не секрет, то какие конкретно данные требуют такого ужасного способа хранения?

Привет, кто-нибудь использовать mongodb вместе с kafka? Интересен опыт использования и подводные камни

странное сочитание, в чём его смысл будет?

странное сочитание, в чём его смысл будет?

В том, что кафка поможет устроить быструю простую обработку потока данных, организовать быструю очередь. А сторонний сервис работает с монгой и ему нужно получать данные с которыми работает кафка, это если не вдаваться в подробности

Если не секрет, то какие конкретно данные требуют такого ужасного способа хранения?

Там на стэк оверфлоу же я указал. Информация о структуре предприятий. Внутри предприятий есть крупные подразделения и внутри каждого крупного подразделения могут быть мелкие.

Там на стэк оверфлоу же я указал. Информация о структуре предприятий. Внутри предприятий есть крупные подразделения и внутри каждого крупного подразделения могут быть мелкие.

Используйте рдб, тут вам ненужна монга

В том, что кафка поможет устроить быструю простую обработку потока данных, организовать быструю очередь. А сторонний сервис работает с монгой и ему нужно получать данные с которыми работает кафка, это если не вдаваться в подробности

ну так сервис и забирает из кафки получается а потом кладёт в монгу, и в чём тогда камни хочешь узнать? а так камней только 3, первый документация у кафки, которая вводит в заблуждение часто, второе нехватка ресурсов, третья размер самого сообщения, он всего 1 метр в кафке

В том, что кафка поможет устроить быструю простую обработку потока данных, организовать быструю очередь. А сторонний сервис работает с монгой и ему нужно получать данные с которыми работает кафка, это если не вдаваться в подробности

и очень советую не делать кластер кафки без зоокипера

Это не единственная информация, которая у меня есть.

Не единственная коллекция.

кол-во коллекций ни как не роялит на выбор бд. А вот свзи меж ними.

Не единственная коллекция.

из того что ты написал тебе скорее hbase подойдёт чем монга

Не единственная коллекция.

но прежде чем вообще что-то внедрять, узнай бюджет, узнай хотелки начальства и готового ли начальство тратиться на пару мини кластеров, ибо hbase штука капризная

но прежде чем вообще что-то внедрять, узнай бюджет, узнай хотелки начальства и готового ли начальство тратиться на пару мини кластеров, ибо hbase штука капризная

По этому бери мускуэль

По этому бери мускуэль

не думаю что хорошая идея, может на парвых 400-600 гб и будет проще, а потом?

не думаю что хорошая идея, может на парвых 400-600 гб и будет проще, а потом?

И потом норм.

2Тб базы есть в одном проектике, еще не перетащили из легаси. Норм перемалывает.

2Тб базы есть в одном проектике, еще не перетащили из легаси. Норм перемалывает.

ну вы рисковые ребята, я мускуль свыше 300 гб обычно говорю кодерам уже переносить в постгре данные

Ну там такое ~.~

но прежде чем вообще что-то внедрять, узнай бюджет, узнай хотелки начальства и готового ли начальство тратиться на пару мини кластеров, ибо hbase штука капризная

Я уже освоил 80% бюджета и написал 60% программы.

80% API и 40% фронтенда.

Пришлость крч. Наследие

Поэтому на hbase переходить уже крайне поздно.

Просто тут одна коллекция падла попалась наоднозначная.

Все допускают ошибки. Ты допустил критическую.

Тв вообще проектировал приложение? Или так, прям, прогер стайл?

Тв вообще проектировал приложение? Или так, прям, прогер стайл?

ему на вид 19-21 год, естественно он нихрна не проектировал, было бы странно

и тут вообще не его вина

и тут вообще не его вина

Тот дядя наэрн виноват

он как все молодые кодеры взял у чего хайпа и писанины побольше

Тот дядя наэрн виноват

я в четверг на новую работу выхожу, там надо будет как раз из монги данные в cassandra экспортирововать

Учись планировать, и проектировать приложения, прежде чем приступать к написанию кода.

я в четверг на новую работу выхожу, там надо будет как раз из монги данные в cassandra экспортирововать

Не в циан?)

Не в циан?)

нет

ему на вид 19-21 год, естественно он нихрна не проектировал, было бы странно

Мне 27.

Мне 27.

это скорее минус ты себе сказал сейчас

Учись планировать, и проектировать приложения, прежде чем приступать к написанию кода.

Вопрос в том, что я легаси приложение перделываю с минимумом отхождения.

нет

Ну малоль

Вопрос в том, что я легаси приложение перделываю с минимумом отхождения.

А разница какая? Ты пишешь новое приложение.

Вопрос в том, что я легаси приложение перделываю с минимумом отхождения.

и? руководство должно понимать, что не бывает дешёвых и быстрых решений

он как все молодые кодеры взял у чего хайпа и писанины побольше

Я на монге еще в 2012 или когда там первые были курсы от 10gen проходил.

и? руководство должно понимать, что не бывает дешёвых и быстрых решений

Ну я уже несколько месяцев пишу.

А разница какая? Ты пишешь новое приложение.

Что я именно не так спроектировал?

Ну я уже несколько месяцев пишу.

вот из того что я прочёл, там монга будет не ахти

Из-за одной коллекции с компаниями, подразделениями и отделами? =)

Почему не ахти то?

Много чтений, мало записей.

Почему не ахти то?

ты пробовал обслуживать подобное потом?

Что я именно не так спроектировал?

Ты вообще проектировал? Тут в этом вопрос-то, а не в как ты спроектировал

Там целая программа по автоматизации прохождения медицинских осмотров.