Не надо связей

А как быть без связей? Ну т.е. тут же сразу проблема возникает - избыточность данных. Без связей же - вместо ссылок пихать полноценный объект с данными?

А как быть без связей? Ну т.е. тут же сразу проблема возникает - избыточность данных. Без связей же - вместо ссылок пихать полноценный объект с данными?

А как быть без связей? Ну т.е. тут же сразу проблема возникает - избыточность данных. Без связей же - вместо ссылок пихать полноценный объект с данными?

Реф поля на соседние коллекции

Можно ли как-то задавать время жизни объекта динамически? Ддя одного, допустим, 12 часов, для другого день, для третьего 30 минут?

) А как тогда быть в похожих ситуациях? Когда можно сделать реф на другую коллекцию, и данные в этой коллекции могут со временем изменяться? Например вот здесь - в книгах реф на автора. А автор (например), через некоторое время решит поменять своё имя (ну вот он шизоид, и будет менять его каждый день) И без рефов - мне придётся всю коллекцию с написанными им книгами перетряхивать, и обновлять имя автора на новое?

) А как тогда быть в похожих ситуациях? Когда можно сделать реф на другую коллекцию, и данные в этой коллекции могут со временем изменяться? Например вот здесь - в книгах реф на автора. А автор (например), через некоторое время решит поменять своё имя (ну вот он шизоид, и будет менять его каждый день) И без рефов - мне придётся всю коллекцию с написанными им книгами перетряхивать, и обновлять имя автора на новое?

Ок, т.е. я правильно понимаю: в подавляющем количестве случаев (на реальной практике), нужно игнорить связи, пихать данные внутрь объекта, и пренебрегать возникающей избыточностью данных?

Ок, т.е. я правильно понимаю: в подавляющем количестве случаев (на реальной практике), нужно игнорить связи, пихать данные внутрь объекта, и пренебрегать возникающей избыточностью данных?

можно ли привести пример для понимания

Привет👋, начинаю учить nest + mongoDB, но не получается подключится к бд, всегда такая ошибка Nest can't resolve dependencies of the MongooseCoreModule (MongooseConnectionName, ?). Please make sure that the argument ModuleRef at index [1] is available in the MongooseCoreModule context. Не могу найти в гугле, и понять что не так тоже, буду бдагодарен за ответ.

Вставка ускорилась до 1 часа, ранее вставлял более суток 100 млн записей.

но правда проц почти под 100% загружен.

также тестировал поиск по базе на C#, результат поиска поразил, но когда ищешь один элемент и он является уникальным в базе, из 100млн возвращает за 3 секунды, если искомого элемента нету в базе, то конечно секунд 20-30 может пытаться найти.

а сколько нод ?

индексацию построишь если, то будет быстрее намного. совет: если будешь искать по нескольким поля через $or то лучше отдельно на каждое поле заводить, compund индекс медленнее будет (протестировано на базах в 200М и 1лярд)

я скажу даже что с нодами еще не разбирался, индекс построен по полю name, в этом поле текстовое имя.

индекс какой? текстовый? тогда держи 2й совет: текстовый индекс в монге - слабенький, используй дефолтный по сортировке 1 или -1 в разы быстрее будет

да да, я дефолтный и использовал, по сортировке 1, не стал текстовый делать

День добрый. Допустим, у меня есть коллекция документов, каждый из который содержит поля start (время начала действия), и end (время окончания действия). Фишка в том, что эти временные отрезки у разных документов пересекаться НЕ должны. То есть в коллекции не должно быть 2 документа, чье время действия "пересекается", "накладывается" друг на друга. Следовательно, этого нельзя допустить как при вставке нового документа, так и при обновлении временного промежутка у уже существующего. Можно ли как то это сделать с помощью индексов? Я уже нашел одно решение, с помощью updateOne + upsert, но оно все-таки дает маленькую возможность коллизии (если операции попадут в тайминг выполнения идеально одновременно). Может быть, есть какие-нибудь составные индексы, или индексы по временным отрезкам, специально для этого случая?

День добрый. Допустим, у меня есть коллекция документов, каждый из который содержит поля start (время начала действия), и end (время окончания действия). Фишка в том, что эти временные отрезки у разных документов пересекаться НЕ должны. То есть в коллекции не должно быть 2 документа, чье время действия "пересекается", "накладывается" друг на друга. Следовательно, этого нельзя допустить как при вставке нового документа, так и при обновлении временного промежутка у уже существующего. Можно ли как то это сделать с помощью индексов? Я уже нашел одно решение, с помощью updateOne + upsert, но оно все-таки дает маленькую возможность коллизии (если операции попадут в тайминг выполнения идеально одновременно). Может быть, есть какие-нибудь составные индексы, или индексы по временным отрезкам, специально для этого случая?

День добрый. Допустим, у меня есть коллекция документов, каждый из который содержит поля start (время начала действия), и end (время окончания действия). Фишка в том, что эти временные отрезки у разных документов пересекаться НЕ должны. То есть в коллекции не должно быть 2 документа, чье время действия "пересекается", "накладывается" друг на друга. Следовательно, этого нельзя допустить как при вставке нового документа, так и при обновлении временного промежутка у уже существующего. Можно ли как то это сделать с помощью индексов? Я уже нашел одно решение, с помощью updateOne + upsert, но оно все-таки дает маленькую возможность коллизии (если операции попадут в тайминг выполнения идеально одновременно). Может быть, есть какие-нибудь составные индексы, или индексы по временным отрезкам, специально для этого случая?

Итак, результат вставки 100млн документов в базу асинхронным методом(каждый в своем потоке) занял 27 минут... Это превосходно вообще))))

Если с бд соединиться вот так: mongoose.connect('mongodb://localhost:27017/myapp'); то закрыть его можно так: mongoose.disconnect(); А как в этом случае? Спасибо const connection = mongoose.createConnection('mongodb://localhost:27017/myapp');

@dd_bb Посоветуйте пожалуйста, почему merge коллекций, очень медленный, и судя по загрузки cpu идет в 1 процесс. Равно как и импорт через mongoimport через merge в коллекцию тоже очень медленный, по cpu не загружен

$merge в агрегациях?

Вам скорее всего не нужно закрывать слежение

Если у вас не очень большие интервалы и у них небольшая фиксированная гранулярность (несколько часов по 5 минут), то можно сделать массив состоящий из времени начала каждого сегмента интервала (01.01.20 13:40, 01.01.20 13:45 … 01.01.20 14:10) и по этому массиву сделать уникальный индекс Если нет, то через транзакцию: кнутри транзакции проверяете что в необходимый интервал не покрыт другими документами и вставляете новый документ

А разве транзакция убережет меня от того, что может быть создано 2 документа с пересекающимися интервалами, в том случае, если создание этих документов выполнялось ИДЕАЛЬНО одновременно? Ведь тут негде появиться write conflit-у. Точно также в параллельных транзациях я пройдусь по промежуткам уже существующих документов, проверю их, не обнаружу пересечений и сделаю запрос на создания дока с новым промежутком.

1. Это вставка в коллекцию без посчитанных индексов? 2. mongoimport из mongo-tools может и 100000 в секунду писать, это на не индексированной коллекции. В переводе на ваши 100млн, где минут 18, понятно, что вставляемые данные разные.

поле _id составное (), и по нему как по уникальному идет мерже

Т.е вы часть документов вставляете, а часть обновляете?

Да иначе дубликатов много