Oleg
Mongoose v5.0.7: Query Population Насколько это адекватно использовать? Что будет при большой нагрузке? http://mongoosejs.com/docs/populate.html
Александр 🌲🙏🏽
Mongoose v5.0.7: Query Population Насколько это адекватно использовать? Что будет при большой нагрузке? http://mongoosejs.com/docs/populate.html
Спасибо, так я делал. Просто если в итоге «нормализовывать» коллекции, то с таким же успехом можно было реляционную БД использовать.
Александр 🌲🙏🏽
Ну выборки делать я умею, а апдейты можно ли делать через aggregation framework?
Zloy-Dobry
Апдейт вы делаете документу, достаете нужный и делаете с ним что хотите.
Oleg
Что ты подрузумиваешь под большой нагрузкой ?.
500 запросов в секунду на базу размером в 100 000 000
Mykola
500 запросов в секунду на базу размером в 100 000 000
500 запросов используя populate ?. 100 .... records ?
Mykola
Например так, да
Спросил самому интирестно, Правда у меня около 10-40 rps и 200 мил рекордов. Но скоро будет больше rps.
Mykola
trustwalletapp.com
Mykola
Что за проект?
По сути держим все транзакции на Ethereum блокчейн в базе проиндексироваными. Выборка тоже идет через populate https://github.com/TrustWallet/trust-ray/blob/5d3575db35ddeb7964e3dd998b4d8d503fa81395/src/pusher/PusherScanner.ts#L88
Mykola
Что за проект?
А у тебя ?.
Mykola
Мы потдреживаем Ethereum, Ethereum Classic, POA, POA Sokol, Ropsten Rinkbery, Ropsten, Kovan,. Самая большая это ETH - конкретно в циврах
Mykola
CHIP
нужна помощь, где я не прав?
CC-BY-SA-4.0/Docker-ce30.0
Граф зависимостей точно хорошая идея?
CHIP
Граф зависимостей точно хорошая идея?
пробовал без графа, тоже не верно. но как мне кажется что эти варианты 100% верны, я прав?: Представление иерархии управления в фирме Хранение структуры каталогов
Denis
А чем первый ответ не устраивает?
Rocket
Всем привет. Есть такой вопрос. Вот запись: { "_id" : 1, "my" : [ { "obj" : 0, "data" : "data0" }, { "obj" : 1, "data" : "data1" }, { "obj" : 2, "data" : "data2" }, { "obj" : 3, "data" : "data3" } ] } Вот запрос: db.arr.update( {'_id': 1 }, { '$set': { "my.$[elem].data" : 'fuck' } }, { 'arrayFilters': [ { "elem.obj": {'$eq': 1} } ], multi: true} ) Вот что получаю: cannot use the part (my of my.$[].data) to traverse the element ({my: [ { obj: 0, data: "data0" }, { obj: 1, data: "data1" }, { obj: 2, data: "data2" }, { obj: 3, data: "data3" } ]}) Ожидаемое поведение, согласно документации: обновление одного элемента из массива. Вот документация: https://docs.mongodb.com/manual/reference/operator/update/positional-filtered/ mongo 3.6 Всю голову сломал уже.
Nickolay
Привет, кто-нибудь использовать mongodb вместе с kafka? Интересен опыт использования и подводные камни
Старый
странное сочитание, в чём его смысл будет?
Nickolay
странное сочитание, в чём его смысл будет?
В том, что кафка поможет устроить быструю простую обработку потока данных, организовать быструю очередь. А сторонний сервис работает с монгой и ему нужно получать данные с которыми работает кафка, это если не вдаваться в подробности
Александр 🌲🙏🏽
Если не секрет, то какие конкретно данные требуют такого ужасного способа хранения?
Там на стэк оверфлоу же я указал. Информация о структуре предприятий. Внутри предприятий есть крупные подразделения и внутри каждого крупного подразделения могут быть мелкие.
Старый
В том, что кафка поможет устроить быструю простую обработку потока данных, организовать быструю очередь. А сторонний сервис работает с монгой и ему нужно получать данные с которыми работает кафка, это если не вдаваться в подробности
ну так сервис и забирает из кафки получается а потом кладёт в монгу, и в чём тогда камни хочешь узнать? а так камней только 3, первый документация у кафки, которая вводит в заблуждение часто, второе нехватка ресурсов, третья размер самого сообщения, он всего 1 метр в кафке
Александр 🌲🙏🏽
Это не единственная информация, которая у меня есть.
Александр 🌲🙏🏽
Не единственная коллекция.
Zloy-Dobry
кол-во коллекций ни как не роялит на выбор бд. А вот свзи меж ними.
Старый
Не единственная коллекция.
из того что ты написал тебе скорее hbase подойдёт чем монга
Старый
Не единственная коллекция.
но прежде чем вообще что-то внедрять, узнай бюджет, узнай хотелки начальства и готового ли начальство тратиться на пару мини кластеров, ибо hbase штука капризная
Старый
По этому бери мускуэль
не думаю что хорошая идея, может на парвых 400-600 гб и будет проще, а потом?
Zloy-Dobry
2Тб базы есть в одном проектике, еще не перетащили из легаси. Норм перемалывает.
Старый
2Тб базы есть в одном проектике, еще не перетащили из легаси. Норм перемалывает.
ну вы рисковые ребята, я мускуль свыше 300 гб обычно говорю кодерам уже переносить в постгре данные
Zloy-Dobry
Ну там такое ~.~
Александр 🌲🙏🏽
80% API и 40% фронтенда.
Zloy-Dobry
Пришлость крч. Наследие
Александр 🌲🙏🏽
Поэтому на hbase переходить уже крайне поздно.
Александр 🌲🙏🏽
Просто тут одна коллекция падла попалась наоднозначная.
Zloy-Dobry
Все допускают ошибки. Ты допустил критическую.
Zloy-Dobry
Тв вообще проектировал приложение? Или так, прям, прогер стайл?
Старый
Тв вообще проектировал приложение? Или так, прям, прогер стайл?
ему на вид 19-21 год, естественно он нихрна не проектировал, было бы странно
Старый
и тут вообще не его вина
Zloy-Dobry
и тут вообще не его вина
Тот дядя наэрн виноват
Старый
он как все молодые кодеры взял у чего хайпа и писанины побольше
Старый
Тот дядя наэрн виноват
я в четверг на новую работу выхожу, там надо будет как раз из монги данные в cassandra экспортирововать
Zloy-Dobry
Учись планировать, и проектировать приложения, прежде чем приступать к написанию кода.
Старый
Старый
Мне 27.
это скорее минус ты себе сказал сейчас
Александр 🌲🙏🏽
Учись планировать, и проектировать приложения, прежде чем приступать к написанию кода.
Вопрос в том, что я легаси приложение перделываю с минимумом отхождения.
Zloy-Dobry
нет
Ну малоль
Старый
Вопрос в том, что я легаси приложение перделываю с минимумом отхождения.
и? руководство должно понимать, что не бывает дешёвых и быстрых решений
Александр 🌲🙏🏽
он как все молодые кодеры взял у чего хайпа и писанины побольше
Я на монге еще в 2012 или когда там первые были курсы от 10gen проходил.
Александр 🌲🙏🏽
А разница какая? Ты пишешь новое приложение.
Что я именно не так спроектировал?
Старый
Ну я уже несколько месяцев пишу.
вот из того что я прочёл, там монга будет не ахти
Александр 🌲🙏🏽
Из-за одной коллекции с компаниями, подразделениями и отделами? =)
Александр 🌲🙏🏽
Почему не ахти то?
Александр 🌲🙏🏽
Много чтений, мало записей.
Старый
Почему не ахти то?
ты пробовал обслуживать подобное потом?
Zloy-Dobry
Что я именно не так спроектировал?
Ты вообще проектировал? Тут в этом вопрос-то, а не в как ты спроектировал
Александр 🌲🙏🏽
Там целая программа по автоматизации прохождения медицинских осмотров.
Александр 🌲🙏🏽
Александр 🌲🙏🏽
Придумывал.
Александр 🌲🙏🏽
Рисовал.