const RzSchema = new Schema({ RZ: [ { type: String, geometry: [ [] ], ceiling: Number } ] });

Пишет что _message: 'rz validation failed',

Пробовал разные вариации с ofMixed: [Schema.Types.Mixed], и [Number] даже новую схему создавал

а как насчет [[Number]]

Как можно в монге создать 100к записей в цикле из массива?

У меня есть массив длиной 100к. в цикле иду по нему и на каждую итерацию создаю новую запись в бд, но у меня отваливается процесс

Как можно в монге создать 100к записей в цикле из массива?

Может тебе попробовать bulk insert? Т.е. вставить все объекты 1 запросом, предварительно его сформировав

парни кто с нодовским драйвером работает, как промисифицируете запросы?

bluebird норм справляется ?

парни кто с нодовским драйвером работает, как промисифицируете запросы?

Можно взять mongoose. Там всё из коробки

Можно взять mongoose. Там всё из коробки

нэйтив вроде быстрее работает, а ORM мне не нужен на этом проекте

нэйтив вроде быстрее работает, а ORM мне не нужен на этом проекте

Тогда ничем не могу помочь. В последних версиях ноды, кстати, есть нативная фича для промисификации

util?

ладно буду пробовать, спасибо)

util?

Да

народ, а как лучше искать по существованию поля? field: {$exists: true} field: {$exists: true}, field: {$ne: null} field: {$ne: null}

все три варианта дают разное количество документов

народ, а как лучше искать по существованию поля? field: {$exists: true} field: {$exists: true}, field: {$ne: null} field: {$ne: null}

field: {$exists: true}

Семантика проверки поля на null совсем другая

мне надо проверить и на существование и на отсутствие null в случае, если такая ситуация появляется

Тогда второе, т.к. undefined == null

понял, спасибо

привет! Какое условие для выборки с монги, которое игнорирует эт о поле? У меня есть просто запросы в которых есть это поле, а может и не быть. Приходит undefined, монга ищет это поле с undefined и не находит

Чем можно заменить undefined? null не подходит

коллеги, подскажите, как можно собрать статистику использования индексов?

Что именно?

Но вообще https://github.com/db-ai/mongo_collection_exporter

Ещё пайплайн есть $indexStats

сорь что так поздно отвечаю, есть задача вычленить неиспользуемые индексы для коллекции и удалить их.

что бы не создавать лишней утилизации памяти

Неиспользованные индексы в память и не попадут.

Если мы про read intense говорим. В случае с записью небольшое количество страниц индексов будет в памяти

indexStats самое то

Правда я не помню как оно в sharded кластере себя ведёт

Возможно на каждой ноде надо будет как shard local выполнять

Добрый день. Подскажите пожалуйста, есть ли способ используя достучаться к своей базе данных(mlab) через прокси? То есть можно ли его как-то настроить?

afaik, нет

Использую mongoose. Но судя по тому что в гугле я вообще даже намеков не нашел, то подойдет любой вариант рабочий

но можно попробовать прокинуть ssh тоннель

но можно попробовать прокинуть ssh тоннель

Спасибо. пойду погуглю

Bounce

всем привет. вопрос. есть колекция с 500к документов, небольших. через aggregate делаю выборки с group примерно по 13ти полям. изначально падало по памяти, добавил allowDiskUse, теперь не падает, но очень долго выполняется (около 30 секунд). если добавляется match, то ускоряется, но он не всегда есть. кто то сталкивался? есть возможность ускорить?

Тяжело сказать не видя ни агрегации, ни примера документов.

Ошибка "Exceeded memory limit for $group, but didn't allow external sort. Pass allowDiskUse:true to opt in." добавляю allowDiskUse и она пропадает вот пример pipeline: https://gist.github.com/vchizi/2cf57ea6725ba18337335482333207fa пример документа: https://gist.github.com/vchizi/9955dbfd19999ff75e979f873c71370e

Точно можно из 5 полей с датой сделать одно

можно, но и не учитывая дату оно долго, количество группировок меняется

порядка 30 секунд и с увеличением коллекции время увеличивается)

Но в целом с таким количеством измерений есть два варианта: либо шардить, либо оффлайн агрегация, либо преагрегация

ясно, спасибо

Можно попробовать сразу сделать проекции

До шага с группировкой

а что за проэкции?

$project или redact, выпилив лишение данные

Всегда лучше сокращать количество документов от шага к шагу

И их размер

а я вроди как добавил индекс на datetime только хз используется ли он в данном случае=( причем добавил 2 db.collection.createIndex({datetime: 1}) и db.collection.createIndex({datetime: -1}). я что то вообще не вьехал в индексы в монге

Маловероятно что тут проблема в индексах.

то понятно

Это легко проверяется, в 3.6 есть уже explain

Можно убрать сортировку

Я бы начал с приведения даты к одному полю

И потом убрал сортировку

И посмотрел влазит ли оно в лимит по памяти

Но это не будет скейлится, в любом случае.

не будет оно влезать=(

Тогда надо менять подход

это да, и всеравно спасибо=)

Можно ссылки на преагрегацию и оффлайн ?

Hello everybady

Hello everybady

Helo evribody

everybody *

Hi how are you

https://docs.dotmesh.com/concepts/what-is-a-datadot/

Как можно искать документы по частичному соответствию одного из полей? На стековерфлоу пишут что вот такой регуляркой { name_ru: new RegExp('^'+ text +'$', "i") } Но я наверное где-то допустил ошибку

Вопрос снят, убрал у регекспа начало и конец ввода и нормально ищет

Hello

connection 4 to **** timed out на heroku это исправить можно?

Парни, подскажите, пожалуйста, есть ли возможность переехать с шардинга обратно на репликасет? в доке монги пишут, что надо dump + restore, что вообще не выход :) Чисто теоретически можно же поменять ключи и все чанки переедут на один шард, а дальше - ходи уже не в монгос а именно в репликасет Дальше - рестарт без shardsvr Будет работать, нет?

А зачем?