это да

или сколько оно уже продрыгало

законтрибьють

там в курсоре стопудова какие-то метрики есть, которые можно вытащить

верхний пилотаж конечно keys/docs examined, bytes read/bytes written

и _id документа

чет уууже час тупит, я того и забеспокоился

а там что снизу?

железо?

диски, ага

Nvme

Выдают до 500мб/с на чтении

эм

тогда час на 11 гигов это оч много

ты уверен что там 11 гигов? :)

Ага

Прикольный момент да?

Третья черепашка наверное.

Ага

оно закончило? :)

отменил

оно застапорило всю девелоп тим

буду ночью прогонять, замерю на сколько

а как запрос выглядит?

почему запросы с $exists исполняются очень долго?

не смотря на то, что поля проиндексированы

почему запросы с $exists исполняются очень долго?

MongoDB не хранит в индексе признаков отсутствия поля. Чтобы такой запрос пустить по индексу, надо {$ne: null}.

MongoDB не хранит в индексе признаков отсутствия поля. Чтобы такой запрос пустить по индексу, надо {$ne: null}.

действительно гораздо эффективнее. спаисбо

почему запросы с $exists исполняются очень долго?

$exists это антипаттерн

проблема в том, что такие выборки даже по индексам будут плохо работать, так как индекс обладает низкой селективностью

{ $ne : [ null ] }, конечно, шустрее, но мне кажестя контринтуитивно

но не важно, главное работает

оно шустрее только тем, что оно вместо document scan делает index scan

но если вы посмотрите в shape запроса там будет ужас в духе [null, null] или [MinKey, MaxKey]

а exectution stats будет мрак

keys scanned ~~ index key size

как быть?

изменить модель данных и не использовать $exists

$exists говорит о том, что у вас какой-то вид полиморфизма

из неявного полиморфизма сделайте явный

не-не, я уже через $in и $ne делаю

$ne не решает проблему

из неявного полиморфизма сделайте явный

да, пожалуй хорошая идея

я же вам говорю, посмотрите на execution stats

да, иду

если у вас большое число документов без поля, индекс конечно будет эффективнее чем collection scan, но всё ещё будет требовать сканирования по большому диапазону ключей

явный полиморфизм в случае если у вас мало типов, тоже не будет серебрянной пулей, но обычно это обходится compound index для повышения селективности

ещё вариант — sparse index

но опять-же, если количество вариантов для ключей небольшое, то это всё равно будет не очень быстро

спасибо за прояснения. поизучаю топик поглубже

Добрый день. Планируется запуск интернет-магазина. В mongodb новичок. Как понимаю, запуск mongodb standalone на одном VPS сервере далеко не самый надеждный вариант? Способен ли бесплатный тариф на Атласе поддерживать работоспособность базы (хотя бы в на первом этапе, пока посетителей магазина будет не очень много)? Или лучше сразу смотреть на платные решения?

способен

play.db-ai.co на бесплатном алтасе работает

Спасибо 👍

тысяча-полторы просмотров в месяц, абсолютно никаких проблем

тут скорее не от трафика будет зависеть, а от количества данных

Всем привет,при запуске теста phpunit выдает ошибку MongoDB\Driver\Exception\BulkWriteException: 24: Too many open files . С чем это связано и как это исправить?

Такая же ошибка происходит при использовании mongorestore . С чем это может быть связано?

увеличить число доступных файловых дескрипторов

увеличить число доступных файловых дескрипторов

как это сделать?

https://docs.mongodb.com/manual/reference/ulimit/

noi@noitech:/var/log/mongodb$ ulimit -n 999999

со стороны клиента тоже проверьте что там не 256

со стороны клиента тоже проверьте что там не 256

а как проверить со стороны клиента?

тоже самое сделать там, где у вас ошибка

тоже самое сделать там, где у вас ошибка

noi@noitech:/mnt/8336-8028/Dropbox/projects/laravel_clear/engine$ mongorestore --db techstudio mongodb/dump_techstudio/ 2019-11-02T16:59:02.618+0400 the --db and --collection args should only be used when restoring from a BSON file. Other uses are deprecated and will not exist in the future; use --nsInclude instead 2019-11-02T16:59:02.620+0400 building a list of collections to restore from mongodb/dump_techstudio dir 2019-11-02T16:59:02.622+0400 reading metadata for techstudio.posts from mongodb/dump_techstudio/posts.metadata.json 2019-11-02T16:59:02.622+0400 reading metadata for techstudio.projects from mongodb/dump_techstudio/projects.metadata.json 2019-11-02T16:59:02.622+0400 reading metadata for techstudio.comments from mongodb/dump_techstudio/comments.metadata.json 2019-11-02T16:59:03.126+0400 Failed: techstudio.comments: error creating collection techstudio.comments: error running create command: 24: Too many open files

а ulimit -u сколько?

самое смешное что ,база не упала. когда я c phpunit тестировал после такой же ошибки ,база сразу упала

noi@noitech:/mnt/8336-8028/Dropbox/projects/laravel_clear/engine$ ulimit -u 31308

если «база упала», значит проверьте ulimit у пользователя под которым монга запущена

если «база упала», значит проверьте ulimit у пользователя под которым монга запущена

а как узнать под каким запущено?

если «база упала», значит проверьте ulimit у пользователя под которым монга запущена

Так а если не упала,то значит в чем ошибка?

Так а если не упала,то значит в чем ошибка?

Too many open files это ошибка с ulimit. Ищите с какой стороны не хватает дескрипторов.

Либо там где монга, либо там где клиент

Too many open files это ошибка с ulimit. Ищите с какой стороны не хватает дескрипторов.

2518 noi 20 0 1036048 125440 31452 S 1,0 1,6 0:44.07 mongod noi@noitech:/etc$ ulimit -n 999999 noi@noitech:/etc$ ulimit -u 31308

перезапустите процесс

перезапустите процесс

noi@noitech:/var/log/mongodb$ sudo service mongodb restart noi@noitech:/var/log/mongodb$ sudo service mongodb status ● mongodb.service - High-performance, schema-free document-oriented database Loaded: loaded (/etc/systemd/system/mongodb.service; disabled; vendor preset: disabled) Active: active (running) since Sat 2019-11-02 17:06:04 +04; 1s ago Main PID: 4976 (mongod) Tasks: 3 (limit: 4915) Memory: 153.1M CGroup: /system.slice/mongodb.service └─4976 /usr/bin/mongod --quiet --config /etc/mongod.conf ноя 02 17:06:04 noitech systemd[1]: Started High-performance, schema-free document-oriented database. noi@noitech:/var/log/mongodb$

2518 noi 20 0 1036048 125440 31452 S 1,0 1,6 0:44.07 mongod noi@noitech:/etc$ ulimit -n 999999 noi@noitech:/etc$ ulimit -u 31308

тут запущено под пользоватлем noi

тут запущено под пользоватлем noi

4976 noi 20 0 1027564 121116 33508 S 1,3 1,5 0:12.23 mongod

вы как монгу ставили?

у вас что в unit файле?

вы как монгу ставили?

так я же говорю у меня mongorestore не работает при импорте данных

ошибку ту же выдает