Нуриддин
В вашем случае отправьте нормально логи с systemctl или сами посмотрите
Нуриддин
Разберитесь над ошибкой ваш метод может не помочь если человеку прям надо в другом месте хранить данные
𓆩ᬁ҉𓆪 𝕬𝕸𝕴𝕽 𓆩ᬁ҉𓆪
если база пустая, то вроде норм...
Я только что установил его
Для меня было странно, что на моем ноутбуке установлена система Debian, и она хорошо работает с Mongodb.
Но это вызвало эти проблемы на сервере Debian.
Александр
Нуриддин
Я только что установил его
Для меня было странно, что на моем ноутбуке установлена система Debian, и она хорошо работает с Mongodb.
Но это вызвало эти проблемы на сервере Debian.
Они работают идентично если версии монгод и дебиан идентичны
Нуриддин
𓆩ᬁ҉𓆪 𝕬𝕸𝕴𝕽 𓆩ᬁ҉𓆪
При всём уважении давайте решим проблему и продолжим заниматься дальше своими делами
Я удаляю и заново устанавливаю...
Нуриддин
Ладно
Ihor
Привет,может кто помочь с создание mongodb в docker?
Kvhqm
Привет,может кто помочь с создание mongodb в docker?
Не поверишь. Для этого есть отдельный чат. Называется "создание MongoDB в docker"
Kvhqm
Привет,может кто помочь с создание mongodb в docker?
А если серьёзно, ты в трёх чатах написал один и тот же вопрос (ты скажешь что они разные, но нет - это один и тот же вопрос "как сделать, что бы работало"). Если хочешь получить ответ, придумай вопрос
Air
Как можно определить порядковый номер документа в коллекции и записать ее новым полем?
andrew
Напрямую функции определения номера нет, потому что порядка по умолчанию тоже нет
andrew
Но можно задать сортировку и извлечь номер , типа такого что-то
andrew
let counter = 0;
db.collection.find().forEach(function(doc) {
db.collection.update({_id: doc._id}, {$set: {order: counter}});
counter++;
});
andrew
Но если бд на разных серверах , Я не знаю с какого куска она начнет считать
Кейтлин
Как можно определить порядковый номер документа в коллекции и записать ее новым полем?
в идеале данное считать на основе
order by createdat
а идентификатор должен быть UUID
если баз несколько и бэкендов несколько будет проблема с синхронизацией данных
Air
в идеале данное считать на основе
order by createdat
а идентификатор должен быть UUID
если баз несколько и бэкендов несколько будет проблема с синхронизацией данных
Через $gte наколхозил и решил задачу, несмотря на то что есть $documentNumber, но не для nodejs
Кейтлин
Нуриддин
в идеале данное считать на основе
order by createdat
а идентификатор должен быть UUID
если баз несколько и бэкендов несколько будет проблема с синхронизацией данных
Почему так, сколько работал с шардингом такой проблемы не возникало
🤧
Привет всем, я создаю приложение Flutter, которое требует хранилища файлов. Я проверил Realm SDK, но не могу понять, как использовать его для хранения файлов с помощью GridFS.. есть ли у кого-нибудь идеи, как это сделать? хранить файлы в монго во флаттере?
🤧
а чего не s3?
Спасибо, посмотрю, нацелился на автономный режим, предоставляемый RealmSDK, и синхронизацию устройств.
Александр
Как увеличить скорость подсчета найденного кол-ва по regexp? index с sparce не помогает, вес базы 15гб, ищет очень долго
Nick
Как увеличить скорость подсчета найденного кол-ва по regexp? index с sparce не помогает, вес базы 15гб, ищет очень долго
особо не ускоришь и тут только уменьшать выборку за счет других полей либо отказываться от регулярок.
Покажите текущий запрос и пример документа
Александр
Александр
Nick
Александр
Не понял
Nick
я тут вижу только кусок кода, но запроса в котором бы был $regex я не вижу
Александр
А тебя не смущает …filters.map?
Nick
нет, если хотите помощь, то соберите запрос
Александр
Nick
вот выдайте что поулчилось
Александр
В промис
Nick
чтобы можно было в консоли запустить или в том же компасе
Александр
чтобы можно было в консоли запустить или в том же компасе
[
{ '$match': { title: /test/i } },
{ '$match': { membersCount: [Object] } },
{ '$match': {} },
{ '$count': 'found' }
]
Nick
[
{ '$match': { title: /test/i } },
{ '$match': { membersCount: [Object] } },
{ '$match': {} },
{ '$count': 'found' }
]
во, теперь видно что поиск идет по подстроке, такие регекспы не ускоряются в монге. И даже не всегда индекс тут заиспользуется, т.к. возможно колскан будет быстрее.
Лучше собрать все матчи в один большой с $and чтобы планирвощику было проще
Александр
уже собрал но лучше не стало
Александр
короче я опять на $search перешел
Александр
он работает быстро
Dev
Всем привет, ребят нужен совет, короче есть готовая база , не очень большая, 70mb, 24.000 строк, но дело в том, что нужно показать статистику, какие инструменты можно использовать для быстрой загрузки, может в elasticsearch кешировать
Нуриддин
Нуриддин
Он проще в установке
Александр
Добрый день. Хочу разобраться, что монга (репликасет - мастер и 2 слейва) делает с диском и ОЗУ (есть активность в 100 io/s на запись, чтение около 0 и мастер выедает всю ОЗУ - 16ГБ). Хочется именно механизм понять, чтобы потом уже рассматривать запросы и понимать их влияние. Подскажите, если где то кратко и по делу, как монга ОЗУ использует и диск?
Ильдар
Ребят помогите понять разницу deleteMany() и bulk.find.remove()
Я так понимаю разницы 0 и это методы разных драйверов?
Nick
Ребят помогите понять разницу deleteMany() и bulk.find.remove()
Я так понимаю разницы 0 и это методы разных драйверов?
это надо как раз с драйвер сходить и посмотреть что там под капотом. По названию скорее всего это просто собирается bulk запрос с remove который собсна итак delete
Ильдар
это надо как раз с драйвер сходить и посмотреть что там под капотом. По названию скорее всего это просто собирается bulk запрос с remove который собсна итак delete
читаю пытаюсь понять, но документация настолько плохая что не пойму...
bulk
deleteMany
Ильдар
мне просто говорят что для удаления колекции в 200млн. нужно использовать bulk. что он быстрый.
но как вижу это же просто сборщик. Правильно же понимаю он собирает в запросы в массив и упорядочивает выполнение?
Ильдар
может у кого то есть опыт в очистке Монго? Когда запускают удаление, сайт просто падает(, так же удаление данных через час падает в разы...
поля по которым удаляют не индексированные.
N
Привет! Подскажите, плз, можно ли посчитать/померить потребление ресурсов для каждой коллекции отдельно?
Нуриддин
Привет! Подскажите, плз, можно ли посчитать/померить потребление ресурсов для каждой коллекции отдельно?
Очень широкая тема вопрос понятнее излажите
Nick
Привет! Подскажите, плз, можно ли посчитать/померить потребление ресурсов для каждой коллекции отдельно?
https://www.mongodb.com/docs/manual/reference/method/db.collection.stats/
N
Очень широкая тема вопрос понятнее излажите
Потребление памяти, процессора(во времени) и тп с разбивкой по коллекциям. Хотелось бы иметь такие метрики и выгружать их в prometheus. Но важно, чтобы можно было разбить по коллекциям. Вопрос в том, может ли так монга
luvisrage
Парни , всем привет . Вопрос такой , есть препод по базам данных и дал такое задание : найти информацию которой нет в открытых источниках
Вот инфа:
Американский журналист "ХХХХХ" решил получить Пулитцеревскую премию.
Доказал, что ВСЕ транзакции мировой финансовой системы проходят через группу финансовых серверов в Швейцарии.
Вместо премии получил уголовное дело "США против ХХХХХ".
Подсказка: Президента США охраняет самая могущественная спецслужба мира -
Налоговая полиция США.
Вопрос: Как звали американского журналиста? Когда это было? Чем завершилось?
Где искать это
Nick
Парни , всем привет . Вопрос такой , есть препод по базам данных и дал такое задание : найти информацию которой нет в открытых источниках
Вот инфа:
Американский журналист "ХХХХХ" решил получить Пулитцеревскую премию.
Доказал, что ВСЕ транзакции мировой финансовой системы проходят через группу финансовых серверов в Швейцарии.
Вместо премии получил уголовное дело "США против ХХХХХ".
Подсказка: Президента США охраняет самая могущественная спецслужба мира -
Налоговая полиция США.
Вопрос: Как звали американского журналиста? Когда это было? Чем завершилось?
Где искать это
не по теме, если есть уголовка, то искать в судебных решениях. А вообще стоит сгонять в деканат и намекнуть что чет странное с преподом происходит и чтоб ему намекнули такой херней не страдать пока официальных служебок не началось
yopp
мне просто говорят что для удаления колекции в 200млн. нужно использовать bulk. что он быстрый.
но как вижу это же просто сборщик. Правильно же понимаю он собирает в запросы в массив и упорядочивает выполнение?
Если индекса покрывающего фильтр в запросе на удаление нет, то удаление будет требовать collscan на каждый отдельный запрос.
Самый лучший выход — сделать индекс
По поводу bulk: bulk проще всего воспринимать как сетевую оптимизацию, когда несколько запросов объединяются в один и вместо N раундтрипов, будет один, со статусом всех операций в батче
yopp
https://www.mongodb.com/docs/manual/reference/method/db.collection.stats/
по памяти можно, по cpu нельзя. CPU только по косвенным признакам и через поллинг mongotop/currentOp и математику вокруг work units
yopp
Добрый день. Хочу разобраться, что монга (репликасет - мастер и 2 слейва) делает с диском и ОЗУ (есть активность в 100 io/s на запись, чтение около 0 и мастер выедает всю ОЗУ - 16ГБ). Хочется именно механизм понять, чтобы потом уже рассматривать запросы и понимать их влияние. Подскажите, если где то кратко и по делу, как монга ОЗУ использует и диск?
https://www.mongodb.com/docs/manual/core/wiredtiger/#memory-use
Если коротко: 50% доступной памяти под кеш WT + на внутренние структуры (буфферы для сортировок, агрегации, сессий и пр)
всё остальное "свободная память", но её ОС должна забрать под дисковый кеш.
смысл в то, что в кеше WT документы хранятся в оригинальном виде, а в дисковом кеше они уже будут сжатые
Ильдар
Если индекса покрывающего фильтр в запросе на удаление нет, то удаление будет требовать collscan на каждый отдельный запрос.
Самый лучший выход — сделать индекс
По поводу bulk: bulk проще всего воспринимать как сетевую оптимизацию, когда несколько запросов объединяются в один и вместо N раундтрипов, будет один, со статусом всех операций в батче
Я тоже так понял про bulk, т.е. его можно использовать например для переноса данных.
Можете ли подсказать, при индексации будет ли деградация сайта? Насколько это ресурсоемко?
Спасибо за помощь.
Спасибо.
yopp
Я тоже так понял про bulk, т.е. его можно использовать например для переноса данных.
Можете ли подсказать, при индексации будет ли деградация сайта? Насколько это ресурсоемко?
Спасибо за помощь.
Спасибо.
Не только перенос, в целом ряд несвязанных операций, которые можно выполнить одновременно, в случае если latency очень нужно держать в каких-то низких пределах.
да, создание индекса тяжелая операция: будет прочитана вся коллекция, плюс записан индекс.
Если у вас реплика, то надежнее rolling build: https://www.mongodb.com/docs/manual/tutorial/build-indexes-on-replica-sets/
N
по памяти можно, по cpu нельзя. CPU только по косвенным признакам и через поллинг mongotop/currentOp и математику вокруг work units
Спасибо! А есть что почитать на эту тему? Не вижу в этой доке даже про память
BIG
Ребят привет я в aws консоли работаю с монго
я в своей dbs
и получается у меня здесь есть коллекции и одну из них я должен перезаписать
она у меня локально в компасе есть с новой датой
а то что на сервере то старое
никто не знает что за команду юзают для этого?
Nick
BIG
mongoexport/mongoimport
если я монготмпорт юзану с тем же названием что у меня уже есть и с данными
оно перезапишется?
Nick
если я монготмпорт юзану с тем же названием что у меня уже есть и с данными
оно перезапишется?
по умолчанию будет просто добавляться, если нужно доп поведение то смотрите ключи mode и drop
BIG
спасибо👍🏻
Ильдар
Не только перенос, в целом ряд несвязанных операций, которые можно выполнить одновременно, в случае если latency очень нужно держать в каких-то низких пределах.
да, создание индекса тяжелая операция: будет прочитана вся коллекция, плюс записан индекс.
Если у вас реплика, то надежнее rolling build: https://www.mongodb.com/docs/manual/tutorial/build-indexes-on-replica-sets/
Можно ли сделать такую схему и вывести одну ноду только под запись и хранение, чтоб сайт не читал данные из него и на ней запустить чистку данных? Тогда влияния на сайт не будет. И в итоге получим чистую БД без потери данных.
Ильдар
Ильдар
у нас сейчас примари на запись и чтение идет с секондари.
Alexander
Всем привет, посоветуйте какую книгу выбрать для изучения монги: MongoDB in Action или MongoDB The Definitive Guide?