Denis
шард = нода
yopp
ты про чанки забудь ваще
yopp
это детали реализации
Denis
нельзя про них забыть
yopp
можно и нужно
yopp
как там монга чанки получает это второй вопрос
yopp
твоя задача взять документацию по шардингу и почитать как сделать нужную тебе топологию
yopp
а это делается в три настройки
Denis
ты попездываеш ьи не хочешь слушать )
Denis
если у нас распредление данных будет не равномерное
Denis
а 75\20\5
yopp
...
Denis
мы получим неравномерное распредление
Denis
так ?
yopp
берёшь три ноды для 75, две для 20 и одну для 5
Denis
к примеру ключ шардирования имеет 3 уникальных значения.
Denis
да.
Denis
я про это и говорю, по факту это балансирование руками
yopp
нет
Denis
да
Bruno
ты попездываеш ьи не хочешь слушать )
эм, что за треш по отношению к человеку, который пытается вас бесплатно консалтить?
Denis
мы с ним всегда так общаемся не парьтесь )
Denis
у нас традиции и мы их поддерживаем
Bruno
ок, ок.
yopp
да, не парьтесь, это у нас такая прелюдия :)
Denis
по факту мне нужно следить за распредлением данных, и в нужное место добовлять нод
yopp
вся твоя ручная балансировка будет заключатся в назначении ноде тега
Denis
а не просто вкидыват ьих в общий шард кластер
Denis
ну да, но все равно ручная ))
yopp
если у тебя три ноды с одним тегом, то у тебя данные будут размазываться по этим трём нодам
yopp
ручная балансировка, это когда ты в данные номер ноды закладываешь
Denis
да вы что ! ) неверится прям )
Denis
ручная балансировка, это когда ты в данные номер ноды закладываешь
ну для меня даже это ручная )
yopp
эм
yopp
причём тут днс ваще?
Denis
мне чтобы из люка высунутся и кричать "вууууууу"
yopp
главное чтоб трубой по еблу не заехало
Denis
я просто удостоверится на самом деле хотел чт оя все правильно понимаю, и будет дисбаланс
Denis
да, так и собираемся
Denis
скорее всего тогда эффективность ниже будет
Denis
потому что либо шардкей будет содержать "подмешанные данные" что снизит эффективность индекса
Denis
на самом деле пример с неравномерным распредление надуманный, это просто для удостоверения понимания
Denis
распредление данных близкое к равномерному, сейчас считается.
Denis
это кстати идея.
Denis
=)
yopp
надо начинать с проблемы, почему документы устроены так, что индекс получается бесполезным
yopp
потому что шардинг это не решение проблемы, а закапывание её под ковёр
yopp
вложенные документы могут существенно уменьшить размеры индекса, повысив локализацию и снизив нагрузку на монгу
yopp
например мы перешли от модели 1 документ = 1 событие, на локализацию событий по определённому критерию в одном документе. если до этого размер индекса был одного порядка что и размер данных, то теперь у нас индексы это примерно 10% от данных
Denis
Denis
вложенные документы могут существенно уменьшить размеры индекса, повысив локализацию и снизив нагрузку на монгу
вложенные документы являются проблемой, потому что в данной задаче самый удобный вариант максимально плоские данные
Denis
так как в дальнейшем "условия" выбора могут поменяться и всю структуру придется изменить
yopp
я не любитель шарообразных объектов в среде с низким давлением, но ты бы уже давно мог рассказать чо там у тебя за данные или придумать пример со схожей структурой
yopp
мне чем монга понравилась, так это тем, что ты очень быстро на примерах понимаешь почему кассандра такая, какая она есть
Denis
да мы вроде разобрались
Denis
я просто спрашивал про то правильно ли я понимаю, что при шардировании tag aware будет неравномерное распредление.
Denis
а вы не дали мне досказат ьи начали умничать
Alex
жаль тут лайки нельзя ставить =)
отанды
Denis
http://www.east5th.co/blog/2016/09/05/querying-non-existent-mongodb-fields/
Denis
да да да )
Denis
радуют каждый раз
Denis
с другой стороны полезно типа вывляют "узкие места в доках"
Denis
Модель угроз такова, что если у вас публичный API то зная какой то один id можно перебором пытаться вычитать данные по куче объектов.
Denis
это может являтся угрозой для кого то, а для кого то нет
Denis
у вас же API будет ходить в одну коллекцию
Denis
у нас был кейс, когда мы хранили некий контент пользователей типа id фоток таким образом, и к нам просто в одни момент пришли с полным перебором.
брали id + 1 запрос к api оттуда если объект есть получали ссылку на имидж, а потом шли на сторадж и тащили оттуда все )
Sergey
у нас был кейс, когда мы хранили некий контент пользователей типа id фоток таким образом, и к нам просто в одни момент пришли с полным перебором.
брали id + 1 запрос к api оттуда если объект есть получали ссылку на имидж, а потом шли на сторадж и тащили оттуда все )
С полным перебором могут всегда прийти, хоть sha256 подбирать) в любом случае, от перебора надо защиту делать
Denis
да, конечно.
Denis
если у вас в API реализована проверка на права доступа к объектам тем или иным, то да, пофигу id там или нет
Alex
Дет сад какой то
Alex
Дети же, монга, нода и отсутствие понимания информационной безопасности в целом.
Alex
Зато веб скейл :)
Denis
Это все прекрастно конечно, просто исходя из первоначального вопроса человека, я подумал что до прав доступа, до рейтлимитинга на ручках апи и т д далеко.
Denis
Алекс троль местный.
Alex
Я не понимаю этого хайпа на тему использования или неиспользования uuid монговского
Alex
Как с интами люди живут то
Alex
Я
Alex
Я вот даже не знаю что на это ответить. Либо человек понимает что он делает либо неи
Alex
Если не понимает то будет решето