и сам процесс запущен

out of memory

погрепай dmesg syslog

ошибок нет?

нет. все нормально

ни в дмесге ни в сислоге

всем привет. никто не подскажет, что может приводить к росту размера журнала? вроде, раньше его размер не менялся, но в один день он начал линейно расти, пока не занял почти 200 гб. после рестарта проблема пропала, и размер журнала держится в районе 2 гб. монга v3.4.3 судя по доке размер не должен был превосходить 2 гб: https://docs.mongodb.com/v3.2/faq/storage/#how-frequently-does-wiredtiger-write-to-disk

Всем привет. отчего может отваливаться репликация в репликасете. Вдруг внезапно на одной из реплик начинает расти лаг. до полной остановки синхронизации. Если перезапустить, то потихоньку догоняет

io

io

а почему репликация совсем останавливается? ладно бы не успевала...так она совсем замирает

https://github.com/y8/mongo_collection_exporter

io 20-25% многовато конечно, но бывало и больше.

воткни прометея и этот экспортер

и посмотри что происходит на реплике когда репликация отваливается

https://github.com/y8/mongo_collection_exporter

уже можно пробовать ?

уже можно пробовать ?

его давно можно пробовать. он иногда отваливается, но для этого можно alertmanager настроить

@dd_bb подскажи пожалуйста, не удается стартануть джарник https://gist.github.com/anonymous/f1bff657ccd76ff2c21d1e76dcd0000b

root@app1:/opt/mongoexp# bundle -v Bundler version 1.3.5 root@app1:/opt/mongoexp# ruby -v ruby 1.9.3p484 (2013-11-22 revision 43786) [x86_64-linux]

в итоге руками bundle install делаю, пишет Gem::InstallError: activesupport requires Ruby version >= 2.2.2

preview5 запустилась но тоже с трейсом ошибок

D, [2017-05-04T07:19:18.673000 #19746] DEBUG — : MONGODB | Topology type 'single' initializing. D, [2017-05-04T07:19:18.681000 #19746] DEBUG — : MONGODB | Server localhost:27170 initializing. D, [2017-05-04T07:19:18.812000 #19746] DEBUG — : MONGODB | Address already in use - connect(2) - Connection refused

такие ошибки в preview5

хотя в сеттингсах указал локалхост 27017

Товарищи, кто с монго работает? Нужна помощь по составлению индекса на такие запросы: {"isFinished":true,"link":"kjmj5fMCGjcR7tM3E","history":{"$elemMatch":{"qid":"Pd47QpXmA5Fvc3Fxy","data":{"$elemMatch":{"value":{"$in":["2r6xX63EQx7Y4oy5Q"]}}}}}}

Очень нужна помощь)

сильно просела база, нужно срочно что-то придумать(

индекс придуман, вопрос закрыт :)

@dd_bb подскажи пожалуйста, не удается стартануть джарник https://gist.github.com/anonymous/f1bff657ccd76ff2c21d1e76dcd0000b

хммм. странно с бандлером, он внутри же джарки

там обычно валится no such file to load -- racc/cparse-jruby но его можно игнорировать

попробуй явно указать путь к конфигу, в джарке: MONGO_EXPORT_CONF=/path/to/settings.yaml java -jar mongo_collection_exporter.jar

там обычно валится no such file to load -- racc/cparse-jruby но его можно игнорировать

это валится когда запускаю preview5 но оно стартует

хотя в сеттингсах указал локалхост 27017

если оно к 27170 ломится, значит конфиг взялся по-умолчанию

а последняя preview вот такую херь с бандлом

выдает

хм

а и на этом валится или потом запускается таки?

валится

все то в гисте выдает и валится

попробуй докер-имадж

https://hub.docker.com/r/yopp/mongo_collection_exporter/

опоп ща гляну, спасибо

скорее всего в travis что-то с билд энвом случилось, вероятно версия бандлера с torquebox не совместимая

докер у меня в ранчере нормаль бегал

@dd_bb а settings yml также через переменную передавать ?

ага, точно так-же работает

-p можно в args а настройку пути в env

сенкс

походу я все таки криворук))

делаю MONGO_EXPORT_CONF=/opt/settings.yml

стартую контейнер docker run -it —name mongo-exp -p 8080:8080 yopp/mongo_collection_exporter

и все равно он пытается не туда

Topology type 'single' initializing. D, [2017-05-04T11:34:38.876161 #5] DEBUG — : MONGODB | Server localhost:27171 initializing. D, [2017-05-04T11:34:38.884595 #5] DEBUG — : MONGODB | Address already in use - connect(2) - Connection refused

делаю MONGO_EXPORT_CONF=/opt/settings.yml

ну ещё бы :) docker run -it --name mongo-exp -e MONGO_EXPORT_CONF=/opt/settings.yml -p 8080:8080 yopp/mongo_collection_exporter

а шайтан))

слушай, а мне обязательно надо shards и configs указывать? у меня просто реплика сет

слушай, а мне обязательно надо shards и configs указывать? у меня просто реплика сет

Реплику в shards засунь, остальное заккоментируй

В смысле все ноды из реплики

Dmitry Semenyk, [07.05.17 13:11] пожалуйста подскажите в чем проблема) вообще не понял что происходит...... Dmitry Semenyk, [07.05.17 13:11] MongoDB shell version v3.4.3 connecting to: mongodb://127.0.0.1:27017 2017-05-07T13:07:49.267+0300 W NETWORK [thread1] Failed to connect to 127.0.0.1:27017, in(checking socket for error after poll), reason: Connection refused 2017-05-07T13:07:49.267+0300 E QUERY [thread1] Error: couldn't connect to server 127.0.0.1:27017, connection attempt failed : connect@src/mongo/shell/mongo.js:237:13 Dmitry Semenyk, [07.05.17 13:12] #mongod до этого спокойно запускал.....а сейчас проблема вылезла) не могу понять в чем дело( Dmitry Semenyk, [07.05.17 13:12] 2017-05-07T13:08:03.529+0300 I CONTROL [initandlisten] MongoDB starting : pid=2683 port=27017 dbpath=/data/db 64-bit host=samuil 2017-05-07T13:08:03.529+0300 I CONTROL [initandlisten] db version v3.4.3 2017-05-07T13:08:03.529+0300 I CONTROL [initandlisten] git version: f07437fb5a6cca07c10bafa78365456eb1d6d5e1 2017-05-07T13:08:03.529+0300 I CONTROL [initandlisten] OpenSSL version: OpenSSL 1.0.2g 1 Mar 2016 2017-05-07T13:08:03.529+0300 I CONTROL [initandlisten] allocator: tcmalloc 2017-05-07T13:08:03.529+0300 I CONTROL [initandlisten] modules: none 2017-05-07T13:08:03.529+0300 I CONTROL [initandlisten] build environment: 2017-05-07T13:08:03.529+0300 I CONTROL [initandlisten] distmod: ubuntu1604 2017-05-07T13:08:03.529+0300 I CONTROL [initandlisten] distarch: x86_64 2017-05-07T13:08:03.529+0300 I CONTROL [initandlisten] target_arch: x86_64 2017-05-07T13:08:03.529+0300 I CONTROL [initandlisten] options: {} 2017-05-07T13:08:03.536+0300 I STORAGE [initandlisten] exception in initAndListen: 29 Data directory /data/db not found., terminating 2017-05-07T13:08:03.536+0300 I NETWORK [initandlisten] shutdown: going to close listening sockets... 2017-05-07T13:08:03.536+0300 I NETWORK [initandlisten] shutdown: going to flush diaglog... 2017-05-07T13:08:03.536+0300 I CONTROL [initandlisten] now exiting 2017-05-07T13:08:03.536+0300 I CONTROL [initandlisten] shutting down with code:100

Привет. Есть лям документов. В них постоянно обновляются данные. Надо сортировку по 6 из 10 полям по отдельности. Индексы, как я понял, расставлять в таком количестве плохо. Есть какой-то подход к решению данной проблемы?

Почему плохо?

Лям документов это гиг данных по килобайту. Индекс будет ну пусть 10% от размера документов. Если все десть индексов ну ещё гиг от силы. Может начать тупить вставка немного

Привет. Есть лям документов. В них постоянно обновляются данные. Надо сортировку по 6 из 10 полям по отдельности. Индексы, как я понял, расставлять в таком количестве плохо. Есть какой-то подход к решению данной проблемы?

Постоянно обновляется..., 6 из 10 сорт.. Помоему эту задачу нужно решать в inmemory на сервере а не в базе

Привет. Начал разбираться с mongodb и вот тут встал вопрос, а можно ли как то выбрать в одном запросе, все коллекции, с вложенными объектами?

А почему бы сразу не хранить с вложенными объектами а не ссылки

ну там же будет храниться много не нужной для этого сообщения информации о пользователе

Я так понял что сильная сторона документоориент БД и MongoDB в частности в том что бы хранить всё целиком, в готовом виде, возможно с избыточностью, но не напирать на связи, т.к. быстрее достать всё сразу с лишними полями, чем бегать по связям и собирать документ. Для связей есть SQL базы данных

ну там же будет храниться много не нужной для этого сообщения информации о пользователе

Вы используете MongoDB как SQL-базу. Не надо так

Вы используете MongoDB как SQL-базу. Не надо так

согласен, ну а как быть в таком случае, ведь в юзере у меня такие поля, что никак не нужно их хранить в сообщении

В данном случае ссылка не является же избыточной. Есть сущность сообщения, есть сущность пользователя. В чем проблема хранить в документе сообщения ссылку на пользователя?

В данном случае ссылка не является же избыточной. Есть сущность сообщения, есть сущность пользователя. В чем проблема хранить в документе сообщения ссылку на пользователя?

ну вот я про тоже, и хотел узнать, можно ли выбрать так чтобы еще некоторые поля пользователя попали в это сообщение

согласен, ну а как быть в таком случае, ведь в юзере у меня такие поля, что никак не нужно их хранить в сообщении

Включить необходимые поля из юзера, вместо ссылки на юзера. Для NoSQL баз нужна инная архитектура данных чем дял SQL

Включить необходимые поля из юзера, вместо ссылки на юзера. Для NoSQL баз нужна инная архитектура данных чем дял SQL

понял, а в общем технически это как реализуется? для общего развития, если ссылаться

понял, а в общем технически это как реализуется? для общего развития, если ссылаться

Представь что никак, и тогда сделаешь верную архитектуру.

https://docs.mongodb.com/manual/reference/operator/aggregation/lookup/

Представь что никак, и тогда сделаешь верную архитектуру.

В этой истории два стула, насколько я понимаю: 1. Вложенные доки с быстрым чтением и избыточностью 2. Долгое чтение с агрегацией и без избыточности Но правильно тут не сделаешь ведь? Или я не прав?

Немного не по теме, но всё же. Зачем так подключать mongoose? Почему он у вас не в папке node_modules?

Немного не по теме, но всё же. Зачем так подключать mongoose? Почему он у вас не в папке node_modules?

одно подключение

А, понял

В этой истории два стула, насколько я понимаю: 1. Вложенные доки с быстрым чтением и избыточностью 2. Долгое чтение с агрегацией и без избыточности Но правильно тут не сделаешь ведь? Или я не прав?

всетаки интересно былобы услышать как правильно реализовать в данной ситуации

всетаки интересно былобы услышать как правильно реализовать в данной ситуации

Мне тоже интересно