и это пограничные кейсы

ну, я без наездов на монгу. Она крутая для других задач, но с бигдатой видимо все сложно. Опять же, в монге уже есть частичные запросы чисто по индексу -- это первый шаг в сторону колоночных баз. Оптимизация лукапов видимо не в их скоупе задач. Разбираться со сложными большими аутами -- тоже

ну, в целом, я не вижу больших проблем делать лукапы производительнее, делать ауты более умными

на лукап есть одно очень большое ограничение: Performs a left outer join to an unsharded collection in the same database и т.к. вторая таблица не может быть шардированная то все будет оченьпечально

ну, я без наездов на монгу. Она крутая для других задач, но с бигдатой видимо все сложно. Опять же, в монге уже есть частичные запросы чисто по индексу -- это первый шаг в сторону колоночных баз. Оптимизация лукапов видимо не в их скоупе задач. Разбираться со сложными большими аутами -- тоже

с бигдатой всё сложно не у монги, а у тех кто пытается со своим уставом идти в монгу

вот вы пытаетесь

вы хотите реляционную колоночную модель в документном хранилище :)

и если вы это сделаете так, вам будет _очень_ больно

я хотел понять, можно ли работать с монгой в оффлайн аналитики по больши данным. Не хотел вас задеть

не думайте что вы меня задели

я пытаюсь обратить ваше внимание на корень проблемы

монга, как и любое другое документное хранилище, требует изменения мышления

вы представьте что монга это multikey-value хранилище, с нативной поддержкой BSON

редис на стероидах

на лукап есть одно очень большое ограничение: Performs a left outer join to an unsharded collection in the same database и т.к. вторая таблица не может быть шардированная то все будет оченьпечально

мне казалось, что там есть возможноть лукапица, если вибираешь такой ключ, что все данные лежать на том же самом шарде

мне казалось, что там есть возможноть лукапица, если вибираешь такой ключ, что все данные лежать на том же самом шарде

но видимо совсем ошибся

я поэтому и написал, чтоб о таком даже и не думалось)

монга, как и любое другое документное хранилище, требует изменения мышления

ну вот я это часто слышу, кстати. Но не могу понять, что это значит. Ну да, удобно строить иерарческие деревься, а потом копипасть поддеревья в другие документы по необходимости. И вопрос согласованности уже переносить в код. Но по факту, документы в монге дополнять нельзя, т.к. будет постоянная реаллокация + есть ограничения на максимальный объем одного документа. Можно только атомарные операции, которые не меняют размер документа. То есть все равно надо расти по количеству документов. Соответственно, данные тоже надо собирать. Раньше собриали подзапросами на уровне приложения, теперь лукапом. А в чем еще изменение сознания?

(я согласен, что могу многого не понимать в философии монги, не надо меня ругать, пожалуйста)

> Но по факту, документы в монге дополнять нельзя Это _очень_ устаревшая инфа

это справедливо для MMAPv1, который к счастью уже deprecated

О_о . WiredTiger без реаллокаций дополняет документы?

это copyonwrite

да и в mmapv1 это тоже решалось

это очень опасно, делать выводы о неэффективности внутреннего устройства храналище, не имя достаточного представления как оно работает. «реалокация» это выдуманная проблема

это всё предварительная оптимизация в вакууме. современный стек хранения данных очень сложный и состоит из десятков слоёв. вы никогда не угадаете, в каком из слоёв у вас случится бутылочное горлышко. да, бывает что оно где-то в монге, например как у вас с $lookup, но это к тому как хранилище пишет или читает данные отношения не имеет. моделирование и целевое нагрузочное тестирование по целевым запросам единственный способ оценки.

берёте срез данных, собираете требования, составляете таблицы результатов, делаете гипотезы, по гипотезам делаете схему и запросы, конвертируете срез, тестируете запросы

записываете результаты каждого эксперимента, по каждой гипотезе и выбираете финалеста, который лучше подходит под требования

Compas https://www.mongodb.com/products/compass полуонлайн :) На электроне сделан. Подойдет?

Ребят, есть вопрос про репликасет: Когда я создаю репликасет, все настройки пользователей и доступов локальных нод слетают, что, наверно, логично. Но у меня остаются какое-то, пусть и не продолжитьельное, время висеть открытые наружу доступы без пароля в т. ч. и на Primary. Какая вероятность, что какой-нибудь краулер за время накатывая ролей и пользователей найдет Primary и наделает делов?

Ребят а ктото пользуется mongo compass там есть возоможность сырой запрос вставить и выполнить?

а то эти агрегации через pipeline

Ребят, есть вопрос про репликасет: Когда я создаю репликасет, все настройки пользователей и доступов локальных нод слетают, что, наверно, логично. Но у меня остаются какое-то, пусть и не продолжитьельное, время висеть открытые наружу доступы без пароля в т. ч. и на Primary. Какая вероятность, что какой-нибудь краулер за время накатывая ролей и пользователей найдет Primary и наделает делов?

Не исключено, хотя и маловероятно. Лучше закрыться. Может фаерволом?

Ребят а ктото пользуется mongo compass там есть возоможность сырой запрос вставить и выполнить?

Вот что есть

ну да это я знаю, но это пока что не так удобно да и в старых версиях такого не было, поэтому пользовался сырым запросами вот и хотел ими и продолжить пользоваться

В studio 3t вроде хороший помощник по агрегациям есть. Но лучше изучить и руками писать, имхо.

Ребят, есть вопрос про репликасет: Когда я создаю репликасет, все настройки пользователей и доступов локальных нод слетают, что, наверно, логично. Но у меня остаются какое-то, пусть и не продолжитьельное, время висеть открытые наружу доступы без пароля в т. ч. и на Primary. Какая вероятность, что какой-нибудь краулер за время накатывая ролей и пользователей найдет Primary и наделает делов?

да и вправду если у вас есть кооперативно фаервол или ты в облаке то просто закрой все доступы извне кроме нужных тебе

да и вправду если у вас есть кооперативно фаервол или ты в облаке то просто закрой все доступы извне кроме нужных тебе

Спасибо, да я думаю через iptables закрою все

Ребят, есть вопрос про репликасет: Когда я создаю репликасет, все настройки пользователей и доступов локальных нод слетают, что, наверно, логично. Но у меня остаются какое-то, пусть и не продолжитьельное, время висеть открытые наружу доступы без пароля в т. ч. и на Primary. Какая вероятность, что какой-нибудь краулер за время накатывая ролей и пользователей найдет Primary и наделает делов?

Для настройки перед вводом в эксплуатацию поможет bind на loopback интерфейсе.

Привет. Посоветуйте, как лучше решить: есть коллекция документов, полей по 25. Нужно сделать часть полей мультиязычными. Как переделать схему лучше: itemOfCollection.ru.field или item.field.ru или collection_ru/collection_en ? процент переводимых полей около 30. также перевода у поля может временно не быть, и тогда нужно будет отдавать дефолтный. Как правильнее всё это организовать?

item.field.ru

Кто нибудь mongo enterprise юзает?

ERROR: S client not available

Там никаких ключей чтоли не надо класть? Он и без лицензии работает?

Добрый день. Подскажите, где можно почитать бест практисес составления запросов для aggregation framework?

Добрый день ! Подскажите в чем может быть ошибка /tmp/pear/temp/mongodb/src/libmongoc/src/libmongoc/src/mongoc/mongoc-cursor.c:1035 _mongoc_cursor_collection(): precondition failed: *collection_len > 0

Добрый день ! Подскажите в чем может быть ошибка /tmp/pear/temp/mongodb/src/libmongoc/src/libmongoc/src/mongoc/mongoc-cursor.c:1035 _mongoc_cursor_collection(): precondition failed: *collection_len > 0

как то надо поразвернутей вопрос формулировать

Вопрос решил выяснилось проблема в ебучем mysql

Всем привет. Подскажите, можно ли отдебажить, когда последний раз вызывался\использовался индекс ? indexStats дает только ops \ since.

Всем привет! Подкажите как реалтзовать поиск по тексту ?

что -то подобное в sql %dkjfc%

Вопрос решил выяснилось проблема в ебучем mysql

как так? в логе же про монгу

Конструктор форм инициализировал поле от mysql вместо монги а называется поле также как и в монге но параметры при заполнении разные вот и вышло что я заполнил вместо полей коллекция и заголовок поля таблица primary key и tittle и естественно когда роле вызывается оно вызвалось с нулом

Всем привет! Подкажите как реалтзовать поиск по тексту ?

"mongodb full-text search" в гугле набрать и ознакомиться.

"mongodb full-text search" в гугле набрать и ознакомиться.

спасибо!

Btw обновились на монгу 4.01 без проблем. все работает.

Я правильно понимаю, что нельзя использовать полноценный компас не для Atlas или корпоративной версии сервера?

Всем привет, подскажите, интересует следующий момент. Допустим, есть у меня локальная БД, нужно на случай если сервер ляжет, чтобы можно было запустить дополнительный сервер в другом регионе и там уже были все актуальные данные из первой базы данных. Возможно ли и как правильно огранизовать перенос/синхронизацию данных, поделитесь опытом.

Всем привет, подскажите, интересует следующий момент. Допустим, есть у меня локальная БД, нужно на случай если сервер ляжет, чтобы можно было запустить дополнительный сервер в другом регионе и там уже были все актуальные данные из первой базы данных. Возможно ли и как правильно огранизовать перенос/синхронизацию данных, поделитесь опытом.

docker, swarm, kubernetes

docker, swarm, kubernetes

Спасибо!

Я правильно понимаю, что нельзя использовать полноценный компас не для Atlas или корпоративной версии сервера?

Добрый день, я подключал, работало, но висло на коллекция больше миллиона доков. Поэтому скорее можно, чем нет.

Всем привет, подскажите, интересует следующий момент. Допустим, есть у меня локальная БД, нужно на случай если сервер ляжет, чтобы можно было запустить дополнительный сервер в другом регионе и там уже были все актуальные данные из первой базы данных. Возможно ли и как правильно огранизовать перенос/синхронизацию данных, поделитесь опытом.

Репликацию сделайте, и раскатайте ее на несколько ДЦ

Главное чтобы расстояние было приемлимым для пингов Raft