Всем привет. Кто-нибудь сталкивался с такой проблемой бекапа в Ops Manager? https://stackoverflow.com/questions/38066250/initial-sync-not-proceed-on-ops-manager-v2-0

уже волосы рву на голове)

А еще в логах Exception while initial sync slice compiling. Current syncId: 5bce4793b6be4974edc94b6f - Found syncId: 5bce4793b6be4974edc94b6f - Current sync round: 1 - Found sync round: 1

Спасибо, жду : )

Прозрение не наступило? :)

Тестирую maxsize на шардах - тоже очень странная картина. В документации сказано, что при достижении maxsize баллансер начинает игнорировать это шард и не балансирует на него данные. По факту же он начинает вручную переносить чанки с него. Но непонятно откуда он берет значение текущего размера шарда - оно явно не совпадает с кол-вом данных на диске и с выводом getShardDistribution()

Отвечу сам себе. Вдруг кто столкнется. Это баг верссии 3.4.5 вплоть до 3.4.14. maxsize просто не работает, он вычищает все чанки с шарда и так по кругу. С 3.4.15 все работает вот если че: https://jira.mongodb.org/browse/SERVER-30058

Ребята, привет! Подскажите пожалуйста, как объявить схему в Mongoose для матриц вида: [ [A, A], [A, A] ] Где A – объект, c весьма конкретной схемой: A = new mongoose.Schema({ type: String, value: Number }) Пробовал {..., matrix: [[A]]} – дает validation error

ofArrays:

https://mongoosejs.com/docs/schematypes.html

https://mongoosejs.com/docs/schematypes.html

спасибо за наводку

https://mongoosejs.com/docs/schematypes.html

Да, [[]] работает. А есть возможность как-то объявить саму схему вложенных объектов (в моем примере A)?

про это хз, с монгусом лишь игрался

можете просто сделать две вложенных схемы

Привет, чат. Пробую поверить наличие товара на конретном складе. В логе наблюдаю следующее 2018-10-20T00:00:06.458+0000 I COMMAND [conn1250670] command flowerData.presents command: find { find: "buquett", filter: { $and: [ { hidden: { $ne: true } }, { unique_buquett.priority: { $ne: "5" } }, { flower_slug: "lilia" }, { buquett_slug: "Italy" } ----stripped ---- Database: { acquireCount: { r: 24 } }, Collection: { acquireCount: { r: 24 } } } protocol:op_query 212ms Полностью здесь https://pastebin.com/GtgsV9Vi Не получается составить запрос из cli: db.flowerData.find ({}), трансформировать запись лога в запрос, этот диалект sql не очень знаком, док читал, не справился с вложенностью( mongo 3.2

ну здесь совсем не sql) секция filter описывает Ваш запрос, секция projection говорит о списке ключей, которые выводятся запросом, limit устанавливает ограничение вывода в 1500 документов.

Ребят, подскажите плиз, есть коллекция users, я её использую как FSM и постоянно дёргаю и проверяю статус пользователя на каждом шаге. мне еще нужно где то хранить сообщения , которые приходят на каждого юзера с одной стороны вроде склоняюсь к созданию другой коллекции, но с другой , сообщений не будет очень много и можно их хранить вместе с юзером в одном доккументе Подскажите плиз, как повлияет на скорость отклика, если я буду держать в юзерах еще одно поле в котором будет список из словарей(каждый словарь == сообщение) или лучше разносить их в разные коллекции? Спасибочки)

Ребят, подскажите плиз, есть коллекция users, я её использую как FSM и постоянно дёргаю и проверяю статус пользователя на каждом шаге. мне еще нужно где то хранить сообщения , которые приходят на каждого юзера с одной стороны вроде склоняюсь к созданию другой коллекции, но с другой , сообщений не будет очень много и можно их хранить вместе с юзером в одном доккументе Подскажите плиз, как повлияет на скорость отклика, если я буду держать в юзерах еще одно поле в котором будет список из словарей(каждый словарь == сообщение) или лучше разносить их в разные коллекции? Спасибочки)

Добрый день. Если сообщений не много будет, то сохраняйте в той же коллекции. Сэкономите на запросе или лукапе. Учтите, что максимальный размер документа — 16 мегабайт

Добрый день. Если сообщений не много будет, то сохраняйте в той же коллекции. Сэкономите на запросе или лукапе. Учтите, что максимальный размер документа — 16 мегабайт

а как быть с тем, что я одну коллекцию (юзерс) дёргаю на каждом шаге, а сообщения мне понадобятся в 40%случаях? не будит ли вес сообщений тормозить быстродействие при отдаче юзерстейта?

Зависит от реализации. Для экономии памяти просто не включайте ненужные данные в конечный резалтсет. Еще обязательно сделайте индексы.

Зависит от реализации. Для экономии памяти просто не включайте ненужные данные в конечный резалтсет. Еще обязательно сделайте индексы.

Немного не понял) Можно настроить что конкретно отдавать в том или ином случае из одного документа???

ну здесь совсем не sql) секция filter описывает Ваш запрос, секция projection говорит о списке ключей, которые выводятся запросом, limit устанавливает ограничение вывода в 1500 документов.

Спасибо.

Немного не понял) Можно настроить что конкретно отдавать в том или ином случае из одного документа???

https://docs.mongodb.com/manual/reference/method/db.collection.find/#projections

а как быть с тем, что я одну коллекцию (юзерс) дёргаю на каждом шаге, а сообщения мне понадобятся в 40%случаях? не будит ли вес сообщений тормозить быстродействие при отдаче юзерстейта?

для начала настройте мониторинг на те места где вам важна скорость. Когда соберете данных и поймете поймете что действительно есть проблемы с производительностью тогда начнайте оптимизировать, а пока не известно есть ли смысл вообще усложнять, может проект не взлетит

и да если у вас бизнес логика требует на каждый чих лезть в бд - ну что ж поделать, есть ряд подходов которые могут снизить нагрузку, но они же снизят надежность добавив сложности

Лучше начинать с отдельной коллекции.

Хранить в документе это уже оптимизация. Потом 16мб это не так много и случайно получить сломанного юзера это так себе

Лучше начинать с отдельной коллекции.

согласен

Спасибо всем)

Ребята, есть коллекция более 10 миллиардов записей, 1 тб. Притормаживает, съедает проц (запись 5-7 мб / с, чтение 10-100кб) Дайте пожалуйста рекомендации по оптимизации

еще вопросик в догоночку) В монго можно прописывать только время жизни для доккумента? если нужно удалить определенную запись из документа, это нужно делать в самом приложении через сoll.find+(редактируем словарь) + coll.update ?

еще вопросик в догоночку) В монго можно прописывать только время жизни для доккумента? если нужно удалить определенную запись из документа, это нужно делать в самом приложении через сoll.find+(редактируем словарь) + coll.update ?

Можно сразу coll.update, если знаете что менять

Можно сразу coll.update, если знаете что менять

а как убрать запись апдейтом?? я думал что для апдейта нужно указать либо полностью всю дату, либо указать новое поле с '$set' или ты говоришь не про полное удаление, а про присваивание ключу - значения none ?

Я не знаю вашей структуры, и не могу особо подсказать, но у update очень много модификаторов почти под любые потребности в изменении документа

там есть и $set, и $unset, и $push, и $pull...

Я не знаю вашей структуры, и не могу особо подсказать, но у update очень много модификаторов почти под любые потребности в изменении документа

Структура - документ - в нем много полей, каждое из которых нужно иметь возможность удалять.

https://docs.mongodb.com/v3.6/reference/operator/update/unset/

там есть и $set, и $unset, и $push, и $pull...

аа тоесть это можно сделать $unset

спасибочки, читаю)

Незаштошечки, всегда пожалуйста =)

Ребята, есть коллекция более 10 миллиардов записей, 1 тб. Притормаживает, съедает проц (запись 5-7 мб / с, чтение 10-100кб) Дайте пожалуйста рекомендации по оптимизации

что значит "съедает проц"? и вцелом что кажется медленным?

что значит "съедает проц"? и вцелом что кажется медленным?

Пока по скорости всё ок, по мере роста коллекции растет нашрузка на процессор, сейчас подошла к 90-95%. В логике приложения все ок, там оптимизировали все что можно оптимизировать. Можно ли сделать что-то с самой бд?

по запросам у вас агрегаций много?

кстати, а БД развернута на виртуальной машине, или на физическом хосте?

Пока по скорости всё ок, по мере роста коллекции растет нашрузка на процессор, сейчас подошла к 90-95%. В логике приложения все ок, там оптимизировали все что можно оптимизировать. Можно ли сделать что-то с самой бд?

Все ядра заняты?

Пока по скорости всё ок, по мере роста коллекции растет нашрузка на процессор, сейчас подошла к 90-95%. В логике приложения все ок, там оптимизировали все что можно оптимизировать. Можно ли сделать что-то с самой бд?

кластер ебаш

Пока по скорости всё ок, по мере роста коллекции растет нашрузка на процессор, сейчас подошла к 90-95%. В логике приложения все ок, там оптимизировали все что можно оптимизировать. Можно ли сделать что-то с самой бд?

масштабироваться горизонтально в шардированный кластер. продумать стратегию шардирования, исходя из логики вашегго приложения, что бы исключить возможные узкие места.

Все ядра заняты?

Да, все

масштабироваться горизонтально в шардированный кластер. продумать стратегию шардирования, исходя из логики вашегго приложения, что бы исключить возможные узкие места.

Спасибо, попробуем

Спасибо, попробуем

Может для начала вертикально попробовать масштабировать?

Сколько щас ядер?

Физических

И как быстро растут данные?

В овх есть сервачки с 28 ядрами, 56 потоков

Нам пока хватает

Пока по скорости всё ок, по мере роста коллекции растет нашрузка на процессор, сейчас подошла к 90-95%. В логике приложения все ок, там оптимизировали все что можно оптимизировать. Можно ли сделать что-то с самой бд?

Можно нанять меня, например. :) 120€/hr. С контрактом и всеми делами. Потому что это может быть всё что угодно. Но скорее всего надо масштабироваться, да. Впрочем рост утилизации CPU должен не от размера коллекции зависеть, а от изменения объемов чтения/записи. Какая версия монги?

Можно нанять меня, например. :) 120€/hr. С контрактом и всеми делами. Потому что это может быть всё что угодно. Но скорее всего надо масштабироваться, да. Впрочем рост утилизации CPU должен не от размера коллекции зависеть, а от изменения объемов чтения/записи. Какая версия монги?

лайк за навык само-pr

это очень дешево

5 евро в минуту

дешево

ок

хочу так же

хочу так же

раскручивай навык само-pr, делай покер фейс и вперед =)

как достигнешь левел 80, сможешь также круто заявлять "это очень дешево"

хочу так же

И ты говори также :)

одно формление договора это месяц переговоров, примерно часов 20-30 времени. никто за это не платит :)

одно формление договора это месяц переговоров, примерно часов 20-30 времени. никто за это не платит :)

Нанимают лично или через компанию проще бывает?

ауч =)

это только кажется так, что какие-то баснасловные деньги

дешевле спец для тебя отдельного бухгалтера нанять который всё оформит )))

бухгалтер доровор не оформит, он его оприходует в лучшем случае

Нанимают лично или через компанию проще бывает?

я лично не работаю, только как ип или как компания

физик-подрядчик — гемор

ну ладно, я в общем-то в восхищении. думал люди за 3-4к деревянных в час это монстры, но тут намного круче )))

ну ладно, я в общем-то в восхищении. думал люди за 3-4к деревянных в час это монстры, но тут намного круче )))

так ведь монга же! :)

если хочется дешевле, я могу предложить ежемесячную подписку на консультации — 999€, 10 часов ежемесячно, слот 1 час, не больше 4 часов в неделю, только в рабочее время, best-effort, без SLA. контракт минимум на 3 месяца.

как правило такое себя окупает

лучше 10 часов со знающими людьми все обсудить, чем тыкаться командой неделю и в итоге сделать криво

если хочется дешевле, я могу предложить ежемесячную подписку на консультации — 999€, 10 часов ежемесячно, слот 1 час, не больше 4 часов в неделю, только в рабочее время, best-effort, без SLA. контракт минимум на 3 месяца.

А есть пробный период? =)

фримиум :) тут чяте бесплатная поддержка

фримиум :) тут чяте бесплатная поддержка

Так ты, наверное, чатик в целях пиара то и создал)

это не я создал, это @lig11 создал. я сюда только свой опыт принёс

как запустить монгу в докере на маке? не получается что-то

как запустить монгу в докере на маке? не получается что-то

что не получается-то? docker run -it -p 27017 mongo:4.0.3 или docker run -d -p 27017 mongo:4.0.3 чтоб как демона

запускаю так docker run -p 27017:27017 -v ${PWD}/data:/data/db -e MONGO_INITDB_ROOT_USERNAME=mongoadmin -e MONGO_INITDB_ROOT_PASSWORD=secret -it mongo bash

это где выполяется? в соседнем контейнере? на хосте?

А не mongod тебе нужно запустить случаем?

запускаю так docker run -p 27017:27017 -v ${PWD}/data:/data/db -e MONGO_INITDB_ROOT_USERNAME=mongoadmin -e MONGO_INITDB_ROOT_PASSWORD=secret -it mongo bash

так не надо запускать

потому что запускается mongo, а не mongod