Artem
у вас что в unit файле?
noi@noitech:/mnt/8336-8028/Dropbox/projects/laravel_clear/engine$ mongorestore --db techstudio mongodb/dump_techstudio/ 2019-11-02T17:15:41.917+0400 the --db and --collection args should only be used when restoring from a BSON file. Other uses are deprecated and will not exist in the future; use --nsInclude instead 2019-11-02T17:15:41.917+0400 building a list of collections to restore from mongodb/dump_techstudio dir 2019-11-02T17:15:41.919+0400 reading metadata for techstudio.posts from mongodb/dump_techstudio/posts.metadata.json 2019-11-02T17:15:41.920+0400 reading metadata for techstudio.comments from mongodb/dump_techstudio/comments.metadata.json 2019-11-02T17:15:41.921+0400 reading metadata for techstudio.reviews from mongodb/dump_techstudio/reviews.metadata.json 2019-11-02T17:15:42.429+0400 Failed: techstudio.comments: error creating collection techstudio.comments: error running create command: 24: Too many open files
yopp
так я же говорю у меня mongorestore не работает при импорте данных
и ещё раз повторю: ищите где у вас неверно выставлены лимиты
yopp
ошибка происходит из-за того что процесс не может получить новый файловый дескриптор когда он ему нужен
yopp
запустите mongorestore с -vvvvv и посмотрите с какой стороны ошибка
yopp
если это ошибка со стороны сервера, то нужно убедиться что у вас процесс mongod запущен с правильными лимитами
yopp
если это ошибка со стороны монго клиента, в данном случае mongorestore, значит у клиента лимит низкий
Artem
если это ошибка со стороны монго клиента, в данном случае mongorestore, значит у клиента лимит низкий
у меня в /etc/security/limits.conf вот что прописано * - nofile 999999 dba hard nofile 64000 dba soft nofile 64000 dba hard nproc 32000 dba soft nporc 32000
yopp
не нужно сюда скидывать портянки текста
yopp
вам быстрее помогут в группе про ваш дистрибутив. это не проблема с монгой
RA-TA-TATA
не нужно сюда скидывать портянки текста
coll.Find().FirstOrDefaultAsync() если не находит объект возвращает NULL?
yopp
зависит от реализации этого конкретного драйвера
Artem
не нужно сюда скидывать портянки текста
Может мне её переустановить ? Это мне может помочь?
yopp
то есть вам нужно посмотреть в документацию к вашему драйверу
yopp
к сожалению я по сигнатуре не умею определять ни язык, ни драйвер
RA-TA-TATA
же
Gor
а как запрос выглядит?
db.properties.update({},{$set: {IsAvailable: false}}, {multi:true});
yopp
открыть курсор по _id с covered query и батчами апдейты делать?)
yopp
с _id: $in: […]
yopp
можно ещё сделать sparse index с $exists: false условием и потом по нему курсором ездить
yopp
.Find() - mongodb
если вы расколетесь на каком языке пишите и каким драйвером пользуетесь, я могу за вас почитать исходники и документацию
yopp
можно ещё сделать sparse index с $exists: false условием и потом по нему курсором ездить
правда на индекс надо будет один раз проехать всё и прочитать
yopp
можно кстати по collStat посмотреть происходит ли что-то с коллекцией
yopp
если она реально читается/пишется то там bytes read/written будет адски рости
yopp
если нет, то не будет
yopp
а сколько там документов на 11гб?
Gor
ынтересно
в итогге процесс занял 4 часа
Gor
думаю может из-за индексов?
yopp
а сколько там индексов?
yopp
(часть в которой выясняется что на 11гб данных 110гб индексов)))))
Gor
есть тяжелые по geo
Gor
не, это ввместе с индексами)
yopp
а сколько документов?
Gor
yopp
эт атлас?
Gor
нет
Gor
не атлас
yopp
а откуда график? вивид?
Gor
3 сервера, в кластере. это ИО что было в процессе обновления
yopp
не, я про график
yopp
м
yopp
в белой теме я её не узнал :)
yopp
а la какое было?
yopp
и сколько iops?
yopp
но если там geo, то вполне может быть
yopp
но конечно 70 документов в секунду это сильно
Gor
la был немного завышен
yopp
хотя странно что 70 документов сделало 200мб/с
Gor
Gor
iops не выввожу
yopp
выводи
yopp
device query latency и размер очереди тож
Gor
там другая метрика важная
Gor
yopp
не, я про блочное устройство
yopp
байты в секунду это конечно интересно, но абсолютно не информативно
Gor
я понял, согласен что важно, но это надо для админов строить будет другую дашбоард с ними
Gor
тут вважнее rps api
Gor
и avg
yopp
avg плохая метрика
yopp
надо гистограмму или перцентили
yopp
avg съест все аутлайеры
yopp
а график с time ради них
yopp
жалко что в графане свечей нет!
Gor
Gor
аутлайнеры ловятся тут)
yopp
это тоже малоинформативно
yopp
это слишком уже узко :)
yopp
потому что одна паршивая овца сразу всю картину портит
Gor
хз, пока ччто хорошо помогало ловить проблемные моменты
yopp
в метриках очень важно сжимать данные так, чтоб не терялась информация
yopp
avg глаживает абсолютно всё и это совсем общая метрика «горячо/холодно»
yopp
min/max показывает ровно два события, это слишком узко
yopp
а вот гистограмма это прямо ок
Gor
гляну, спс