https://docs.mongodb.com/v3.2/reference/connection-string/

Добрый день. Как можно ограничить используемую память монго версии 4 без ребута. Была поставлена без тюнинга и сожрало почти всю память (пару серверов монго+мускул)

Монго и мускул на одном сервере?

Люди, таков вот вопрос. У меня вылетает ошибка при использовании insert_one(): TypeError: 'Collection' object is not callables. If you meant to call the 'insert_one' method on a 'Database' object it is failing because no such method exists. По запросам в инете переделал в insert(). Но теперь он мне возвращает курсор, что мне не нужно. Ну а в том же интернете решается это insert_one. Замкнутый круг. Кто-то знает как решить?

Монга не любит соседей. В доке где то было написано, что рекомендуется дать ей выделенную машину (ну или контейнер, как я понимаю)

Подними правильно настроенные инстансы монги и включи монгу с соседями в реплика сет

Потом мастер переключи на одну из правильных монг

Потом мастер переключи на одну из правильных монг

У меня после всех этих манипуляций и insert не работает. Вернулся к изначальному коду, также и insert не работает.

Люди, таков вот вопрос. У меня вылетает ошибка при использовании insert_one(): TypeError: 'Collection' object is not callables. If you meant to call the 'insert_one' method on a 'Database' object it is failing because no such method exists. По запросам в инете переделал в insert(). Но теперь он мне возвращает курсор, что мне не нужно. Ну а в том же интернете решается это insert_one. Замкнутый круг. Кто-то знает как решить?

в ошибке все сказанно вроде, покажите код

в ошибке все сказанно вроде, покажите код

db = MongoClient("mongodb://хххх:хххх@ds161397.mlab.com:61397/<имя_базы>") coll_users = db["users"] coll_users.insert({"id": "abc"})

db = MongoClient("mongodb://хххх:хххх@ds161397.mlab.com:61397/<имя_базы>") тут db это не база у вас это клиент

поэтому вы делаете запрос не в коллекции а в базе

на что вам ошибка и указала

client = MongoClient("mongodb://хххх:хххх@ds161397.mlab.com:61397/<имя_базы>") db = client["имя_базы"] coll_users = db["users"] coll_users.insert({"id": "abc"})

как то так

то есть на inser_one замените

последнюю строку

client = MongoClient("mongodb://хххх:хххх@ds161397.mlab.com:61397/<имя_базы>") db = client["имя_базы"] coll_users = db["users"] coll_users.insert({"id": "abc"})

А зачем? Мы же итак подключаемся в клиенте к базе

MongoClient возвращет именно объект клиента

а не базы

MongoClient возвращет именно объект клиента

Окей, спасибо, но я пришел к изначальной проблеме. Если я использую find мне возвращает курсор. Если использую find_one, то выходит ошибка авторизации.

тут уже надо с авторизацие разбираться find действительно возвращает курсор, если вы попробуете по нему проитеррироваться то тоже скорее всего получите ту же самую ошибку

тут уже надо с авторизацие разбираться find действительно возвращает курсор, если вы попробуете по нему проитеррироваться то тоже скорее всего получите ту же самую ошибку

Я знаю, поэтому всегда использовал find_one, но тут ошибка авторизации при то, что в попытке использовать find с авторизацией всё хорошо.

Добрый день. Как можно ограничить используемую память монго версии 4 без ребута. Была поставлена без тюнинга и сожрало почти всю память (пару серверов монго+мускул)

Без перезапуска никак. Но даже если вы ограничите размер кэша, это не ограничит выделение памяти под служебные структуры (снепшоты, соединения, буферы для агрегаций и сортировок и тд)

Без перезапуска никак. Но даже если вы ограничите размер кэша, это не ограничит выделение памяти под служебные структуры (снепшоты, соединения, буферы для агрегаций и сортировок и тд)

ограничил размер кэша до 5 гиг, освободилось очень много памяти, пришлось ребутать

Как выше сказали, идея иметь несколько хранилищ на одном хосте не самая лучшая. Можете попробовать https://mongodb.com/atlas

Как выше сказали, идея иметь несколько хранилищ на одном хосте не самая лучшая. Можете попробовать https://mongodb.com/atlas

о черт, не увидел что пишут.

Потом мастер переключи на одну из правильных монг

ну софтина умеет работать с репликасетом, сам же и толкал эту идею кодерам . так что ребут не был страшен, разве что пришлось ручками заново указывать кто праймари

Парни, подскажите плиз, я в Schema на добавление нового пользователя ставлю полям login и email unique: true Но все равно проходит запись в БД пользователей с одинаковыми login и email. Как сделать чтобы если уже есть пользователь с почтой xxx@xxx.ru, второй с такой же почтой зарегистрироваться не смог?

Делать проверку на существование пользователя в БД?

https://www.vldb.org/pvldb/vol12/p2071-schultz.pdf

всем 👋 подскажите такой момент: использование реплика-сета — это необходимая история для продакшена? если у меня бэкенд интернет-магазина запускается на одной машине одним докер-компоуз файлом это так сказать недальновидно? или покатит?

всем 👋 подскажите такой момент: использование реплика-сета — это необходимая история для продакшена? если у меня бэкенд интернет-магазина запускается на одной машине одним докер-компоуз файлом это так сказать недальновидно? или покатит?

Зависит от ваших требований. Если у вас есть верифицируемый резервные копии,и вам не страшны потери небольшого количества данных и несколько часов простоя, то и на одной одной ноде можно есть. Если есть более жесткие требования к SLA, то я предлагаю начать с Atlas: https://mongodb.com/atlas

@dd_bb монговцы уже платить проценты должны вам за это)

Я над этим работаю ;)

Зависит от ваших требований. Если у вас есть верифицируемый резервные копии,и вам не страшны потери небольшого количества данных и несколько часов простоя, то и на одной одной ноде можно есть. Если есть более жесткие требования к SLA, то я предлагаю начать с Atlas: https://mongodb.com/atlas

Спасибо! И ещё такой момент, если я решил, что мне всё-таки нужны реплики, то девелопить на локальной машине мне как бы тоже нужно эмулируя, что нодов несколько (скажем, поднимать реплика-сет отдельным компоуз-файлом локально), чтобы не наткнуться на какие-то моменты расхождения между девелопментом под одну монгу и продакшеном с реплика-сетом? Или там разницы нет никакой, и драйвер сам этот момент под капотом разруливает?

Разницы почти никакой. Эмулировать не обязательно, есть mtools и там есть замечательный mlaunch который умеет поднимать хоть реплику, хоть шарды именно для локальной разработки.

А ещё есть бесплатный тариф в атласе на 512мб :)

Разницы почти никакой. Эмулировать не обязательно, есть mtools и там есть замечательный mlaunch который умеет поднимать хоть реплику, хоть шарды именно для локальной разработки.

http://blog.rueckstiess.com/mtools/mlaunch.html

Разницы почти никакой. Эмулировать не обязательно, есть mtools и там есть замечательный mlaunch который умеет поднимать хоть реплику, хоть шарды именно для локальной разработки.

Благодарю!

Если бы ещё кто-то подружил mlaunch с докером было бы вообще отлично

Ещё раз привет. Такой вот вопрос. Возникшие ранние ошибки решил обойти с помощью асинхронного motor. Но сейчас происходит вот такая вот вещь. При любом из вариантов запросов приведённых ниже получаю ошибку(также ниже).

async def insert_db(message): async with await client.start_session() as s: data = await users(message) try: find_db(data) except: await coll_users.insert_one({"id":"0"}, session=s)

async def insert_db(message): async with await client.start_session() as s: data = await users(message) try: find_db(data) except: await coll_users.insert_one(data, session=s) где дата = {"id": "0"}

TypeError: document must be an instance of dict, bson.son.SON, bson.raw_bson.RawBSONDocument, or a type that inherits from collections.MutableMapping

Каким образом решается?

Каким образом решается?

Чтением документации по вашему драйверу, там наверняка есть нормальные примеры использования

Разницы почти никакой. Эмулировать не обязательно, есть mtools и там есть замечательный mlaunch который умеет поднимать хоть реплику, хоть шарды именно для локальной разработки.

разница, как оказалось, всё-таки есть, потому что без реплика-сета нет и транзакций, насколько я понял 🙁 а атлас был бы хорошим выбором, если бы не 152-фз и вот это вот всё

всё равно спасибо 🙂

Транзакции и change stream, если они вам необходимы, потребуют реплики. Как и отладка write/read concern и read preference. При соблюдении ряда условий вы можете «копии» данных размещать за рубежом и даже их там обрабатывать

152 фз требует чтоб первичный сбор и хранение именно персональных данных были локализованы.

152 фз требует чтоб первичный сбор и хранение именно персональных данных были локализованы.

да, у меня тут паспортные данные, так что подходит под 152-фз. я уже поискал по этому чату, что вы часто у людей спрашиваете, а действительно ли им нужны транзакции и какие задачи они с их помощью решают.

да, у меня тут паспортные данные, так что подходит под 152-фз. я уже поискал по этому чату, что вы часто у людей спрашиваете, а действительно ли им нужны транзакции и какие задачи они с их помощью решают.

У вас только паспортные данные? :)

И о каких объёмах речь?

У вас только паспортные данные? :)

Не только, емэйлы, телефоны, бэкенд для e-commerce/комиссионного магазина

вообщем есть коллекция 250m записей

там геоиндекс 2dsphere (почему-то он быстрее чем 2d)

запрос (все в радиусе 50км вокруг точки) возвращает где-то 500к записей

очень медленно

есть какие-то варианты уменьшить время запроса

?

уменьшить число возвращаемых записей

ну я сейчас думаю использовать maxDistance / minDistance чтобы разбить большие запросы не несколько мелких

и возвращать только то что нужно через project

Ребята, всем привет! вернусь к своему предыдущему вопросу (сейчас перешлю его еще раз). Вообще с hashed индексами почему-то это не работает. То есть я создаю индекс db.users.createIndex( { "sessions.session_id": "hashed"} ). А потом пытаюсь сделать выборку по конкретному session_id: db.users.find( {"sessions.session_id": "<SESSION_ID>"} ) - и результат 0 элементов! Но потом я добавил еще один обычный индекс (я так понимаю обычный=btree): db.users.createIndex( {"sessions.session_id": 1}) . Создался индекс, правда, с гигантским размером. И на нем FIND-запрос заработал корректно! Правда, btree-индекс мне не особо нужен, так как это поле я буду в основном матчить через EQUAL. Почему не работает HASH-индекс?

Привет, ребята! Есть такой вопрос по индексам: а MongoDB умеет индексировать по конкретным значениям в массивах объектов. Объясню что хочу: есть примерно такой документ в коллекции: { "_id": ObjectID("....."), "sessions": [ { "session_id": "e5ade208-dabc-11e9-a60f-0a580ae94561", // HASH INDEX "visit": 0 }, { "session_id": "d07a9526-dabc-11e9-a60f-0a580ae94561", // HASH INDEX "browser": "Mozilla" } ], "first_name": "Petr", "last_name": "Pavlov" } Так вот на session_id навесить индекс (HASH). С помощью которого можно было бы получить документ по указанному session_id и вытащить first_name и last_name. Можно ли это сделать в монге? А то по документации не очень понятно

Ребята, всем привет! вернусь к своему предыдущему вопросу (сейчас перешлю его еще раз). Вообще с hashed индексами почему-то это не работает. То есть я создаю индекс db.users.createIndex( { "sessions.session_id": "hashed"} ). А потом пытаюсь сделать выборку по конкретному session_id: db.users.find( {"sessions.session_id": "<SESSION_ID>"} ) - и результат 0 элементов! Но потом я добавил еще один обычный индекс (я так понимаю обычный=btree): db.users.createIndex( {"sessions.session_id": 1}) . Создался индекс, правда, с гигантским размером. И на нем FIND-запрос заработал корректно! Правда, btree-индекс мне не особо нужен, так как это поле я буду в основном матчить через EQUAL. Почему не работает HASH-индекс?

MongoDB supports hashed indexes of any single field. The hashing function collapses embedded documents and computes the hash for the entire value, but does not support multi-key (i.e. arrays) indexes.

MongoDB supports hashed indexes of any single field. The hashing function collapses embedded documents and computes the hash for the entire value, but does not support multi-key (i.e. arrays) indexes.

Ага. Я тоже обратил внимание на это в документации. Но после первого вопроса вы сказали, что hashed-индексы можно делать в моей ситуации. Вот и подумал, что я документацию не так понял 😃

я и не вспомнил, потому что hashed индекс не нужен

как быстро размазать по шарду сойдёт

в остальнмо если вам очень надо, вместо строки храните в binary.uuid(type=4)

либо самостоятельно считайте удобный для вас хеш

я уже вам говорил что разница только в том как формируются ключи для индексов

Да не, не особо нужно. Потому что по btree индексу вроде тоже быстро ищет)

а сколько у вас записей и какой размер индекса получился?

storage size

Я сейчас тестирую просто локально на компе у себя (win). Но добавил где-то 11m записей. Структура пока всего лишь чуть сложнее, чем которую я прислал в примере. Вся коллекция 6.7GB занимает. Не знаю включаются ли размеры индексов, смотрю через Compass, наверное включаются. А btree-индекс занимает: 782.6MB

db.coll.stats({«indexDetails»: 1}) и дальше в indexDetails найдите ваш индекс и и там wiredtiger.block-manager.file size in bytes

и дальше можно прикинуть размер записи с оверхедом поделив на 11м * среднее число элементов в массиве

Эх. что-то я не нахожу этого параметра) Но это нужно для того, чтоб вычислить, сколько одна запись будет занимать места в индексе в худшем случае?