точно поле id а не _id ?

id это я для примера написал. Я передаю свои поля

search.id='sdfasd'

это хотя бы читаемо

search.id='sdfasd'

Это не то. Мне надо в search добавить поле, которое я передал в функцию в виде строки. Именно для этого я использую search[field] = value

Проблема не в этом, на выходе объект правильный создается

значит данных нет

Ребята, здравствуйте, подскажите, открывают monogod.exe и сразу же закрывается

что делать?

из-за этого не получается в Compass'e подключиться

монга запускатся в винде через службы

то есть?

т.е. гугли как работать со службами в винде

Добрый день, коллеги Где-то можно проследить прогресс выполнения команды mongorestore dumpname.bson --archive ? В /var/log/mongodb/mongod.log его нет

Ребята, здравствуйте, подскажите, открывают monogod.exe и сразу же закрывается

через консоль просто запусти

Уже разобрался

с дисками были проблемы

Коллеги, приветствую. Пришел оом, завершил монгу. после этого возникла проблема, что некоторые коллекции оказались повреждены. реплика в этот момент была отключена => на ней данных нет. Есть ли возможность точно проверить какие коллекци повреждены и верно ли я понимаю, что восстановить их состояние невозможно?

Коллеги, приветствую. Пришел оом, завершил монгу. после этого возникла проблема, что некоторые коллекции оказались повреждены. реплика в этот момент была отключена => на ней данных нет. Есть ли возможность точно проверить какие коллекци повреждены и верно ли я понимаю, что восстановить их состояние невозможно?

Какая версия монги? Какое хранилище? Как вы выяснили что они повреждены? После аварийного завершения монга должна была из журнала промотать операции , которые потенциально не были закомичены в хранилище.

Какая версия монги? Какое хранилище? Как вы выяснили что они повреждены? После аварийного завершения монга должна была из журнала промотать операции , которые потенциально не были закомичены в хранилище.

v3.6.0 Вопрос про хранилище несовсем ясен. Зависали запросы при обращении к некоторым коллекциям, перенаправили их на иные, вновь созданные проблема перестала фиксироваться

Кто то тестил Mongodb на insert, или сколько максимум удавалось добиться insert/sec в колекцию +- с некоторыми индексами

Возможно важно, монго шардированная

Кто то тестил Mongodb на insert, или сколько максимум удавалось добиться insert/sec в колекцию +- с некоторыми индексами

Сколько угодно

Вопрос некорректно поставлен

v3.6.0 Вопрос про хранилище несовсем ясен. Зависали запросы при обращении к некоторым коллекциям, перенаправили их на иные, вновь созданные проблема перестала фиксироваться

Хранилище WiredTiger, MMAPv1

v3.6.0 Вопрос про хранилище несовсем ясен. Зависали запросы при обращении к некоторым коллекциям, перенаправили их на иные, вновь созданные проблема перестала фиксироваться

В логах что? Включён ли был журнал?

Хранилище WiredTiger, MMAPv1

mmapv1. Журнал включен. логи фиксирующие момент прихода ООМ удалены

Касаемо ошибок фиксировали подобные: 2019-04-09T15:36:33.061+0700 I COMMAND [conn1276] command dress.sessions command: find { find: "sessions", filter: { session_id: "5cac58a3d4edc6-87077955" }, limit: 1, shardVersion: [ Timestamp(122, 75), Object Id('55e9a8367058b509c9e2e57b') ], $clusterTime: { clusterTime: Timestamp(1554798755, 128), signature: { hash: BinData(0, 6AAF1DB554B1A5C61907FDFE57BAB06D9F53918D), keyId: 6649356921855803533 } }, $configServerSt ate: { opTime: { ts: Timestamp(1554798740, 54), t: 26 } }, $db: "dress" } exception: [dress.sessions] shard version not ok: version epoch mismatch detected for dress.sessions, the collection may have been droppe d and recreated ( ns : dress.sessions, received : 122|75||55e9a8367058b509c9e2e57b, wanted : 0|0||000000000000000000000000 ) code:StaleConfig numYields:0 reslen:692 locks:{ Global: { acquireCount: { r: 4 } }, MM APV1Journal: { acquireCount: { r: 2 } }, Database: { acquireCount: { r: 2 } }, Collection: { acquireCount: { R: 2 } } } protocol:op_msg 237189ms

mmapv1. Журнал включен. логи фиксирующие момент прихода ООМ удалены

mmap это плохо

> exception: [dress.sessions] shard version not ok: version epoch mismatch detected for dress.sessions, the collection may have been dropped and recreated вы что-то с коллекцией делали?

> exception: [dress.sessions] shard version not ok: version epoch mismatch detected for dress.sessions, the collection may have been dropped and recreated вы что-то с коллекцией делали?

Насколько мне известно никаких действий не совершалось, за исключением тех что исходят из кода проекта.

есть основания полагать что данные у вас повреждены. степень повреждения и возможоность восстановления, увы, оценить не возможно. рекомендую сделать дампы используя прямое подключение к шардам, после чего перезалить эти дампы в новый шард. проверка целостности данных будет полностью на вас и зависеть от вашей бизнес логики

грустный пример почему не стоит монгу с другими сервисами на одном хосте использовать

и почему oom и базы данных это вообще очень плохая идея

есть основания полагать что данные у вас повреждены. степень повреждения и возможоность восстановления, увы, оценить не возможно. рекомендую сделать дампы используя прямое подключение к шардам, после чего перезалить эти дампы в новый шард. проверка целостности данных будет полностью на вас и зависеть от вашей бизнес логики

Спасибо, так и думал сделать.

грустный пример почему не стоит монгу с другими сервисами на одном хосте использовать

А вот это интересный вопрос который буду изучать завтра

На сервере только монго

И 60гб было занято ей, но сервер не мониторился 🙈 потребление памяти росло постепенно в течении 4 дней.

версия 3.6.0 это очень старая версия

и что самое опасное это .0

там много чего было

4.0.8 (Mar 29) ◦ 3.6.12 (Apr 8) • Плейграунд для запросов: https://play.db-ai.co • Docs: https://docs.mongodb.com/manual/ • Learn MongoDB: https://university.mongodb.com Stable: 4.0.8 (https://docs.mongodb.com/manual/release-notes/4.0/#mar-29-2019) Bugfix: 3.6.12 (https://docs.mongodb.com/manual/release-notes/3.6/#april-8-2019) Legacy: 3.4.20 (https://docs.mongodb.com/manual/release-notes/3.4/#mar-13-2019, EOL June ’19) End of life: 3.2.21 (Sep ’18), 3.0.15 (Feb ’18)

И 60гб было занято ей, но сервер не мониторился 🙈 потребление памяти росло постепенно в течении 4 дней.

Точнее тригера не были настроены. А это известная для монго проблема что она съедает всю память?

Вашей версии монго полтора года, плюс она ещё «нулевая» версия

Точнее тригера не были настроены. А это известная для монго проблема что она съедает всю память?

$text поиск используете?

Ещё раз большое спасибо. Буду изучать продукт, выглядит интересным)

$text поиск используете?

Тут не подскажу. нужно посмотреть запросы, я администратор, не разработчик, да и монго вижу в 3й раз только

проверить легко

глянь индексы на коллекции

$text поиск используете?

у человека другие проблемы есть)

если есть индекс fts то да как минимум точно планировали

ты в жиру написал?

у человека другие проблемы есть)

тут связано. этот нехороший индекс при выборке память дерет и всю коллекцию в память. при нехватке RAM - oom вполне возможен

в 3.6.0 чего только не было

так что если индекс не compounded то вполне реальный источник проблемы

особенно в sharded environment

ты в жиру написал?

это мне? про fts?

да

нет, пока что сделал выписку всех связанных issues и добиваю scored поиск

вчера вот прототип для scored добил. 0.12мс выборка против 4с при сортировке по score и лимит top 20

на сложносоставном запросе, где выборка на 400к документов

тут связано. этот нехороший индекс при выборке память дерет и всю коллекцию в память. при нехватке RAM - oom вполне возможен

Тут смущает что память пропадала стабильно в течении 4 дней, но посмотрю спасибо. Кстати может ли это быть также связано что примерно в это же время реплика этого шареда приказала долго жить из-за нехватки места?

Тут смущает что память пропадала стабильно в течении 4 дней, но посмотрю спасибо. Кстати может ли это быть также связано что примерно в это же время реплика этого шареда приказала долго жить из-за нехватки места?

вот из-за места кстати могли побится данные

Тут смущает что память пропадала стабильно в течении 4 дней, но посмотрю спасибо. Кстати может ли это быть также связано что примерно в это же время реплика этого шареда приказала долго жить из-за нехватки места?

вы обновитесь до 3.6.12

Тут смущает что память пропадала стабильно в течении 4 дней, но посмотрю спасибо. Кстати может ли это быть также связано что примерно в это же время реплика этого шареда приказала долго жить из-за нехватки места?

вполне

@dd_bb у меня еще мысль есть переделать индекс сам, чтоб можно было больше 1го на коллекцию добавлять

и сделать вообще 2 варианта индекса - 1 заточенный под score а второй под findAll

но что радует, прототип, после выведения математической модели, таки дает 0.12мс сравнимые с sphinxsearch

для sort by score

мне кажется что отдельные типы индексов это более логично, плюс это можно параллельно тестировать

под score нужен индекс с desc score сортировкой. под findAll нужен с сортировкой по RecordId

тогда можно merge score по term(stemm) для конкретного RecordID делать быстрее и выкидывать их в advanced вверх по pipeline планировшика

+ уже сейчас видно что по памяти минимум на 1 гиг разницы на 400к документов

вообщем прогресс идет помаленьку. дня 3 убил на вывод формулы

формулы чего?

для advance (вкурсе что это или обьяснить) recordId по планировщику вверх при подсчете score по terms

если на пальцах, то оригинальный код делал выборку всех индексов, потом всех документов, потом применял на них match для запроса. я переделал на паралельное чтение индексов по по stemm запроса. при паралельном чтении индексов которые отсортированы по score high -> low есть точка во времени когда какие бы данные с индекса еще не пришли, оно не повлияет на order документов с high score и их уже можно отдавать без ожидания дальнейшего чтения. соответственно в LIMIT plane stage данные быстрее попадут еще до конца чтения всех индексов и запрос будет завершен

вот формулу вычисления когда нужно отдавать и делал

ВСем привет, подскажите плиз, в чем может быть проблема, я ставлю монго и чтото оно зависло на етом моменте...

Вопрос по mongoose Есть такой объект в бд: { name: 'test', amount: 2 } Я делаю updateOne: updateOne({name: 'test'}, {size: 5}) В объект добавляется новое свойство (оно прописано в схеме объекта). Вопрос в том, как мне после этого удалить это свойство size когда мне это необходимо?

Или еще лучше: как сделать типа замену объекта, допустим я делаю так updateOne({name: 'test'}, {name: 'test', amount: 2, size: 5}) и объект становится таким как второй параметр, а если потом сделаю так: updateOne({name: 'test'}, {name: 'test', amount: 2}), то объект будет уже без свойства size