но очередь это лишнее звено

http://highscalability.com/blog/2013/5/1/myth-eric-brewer-on-why-banks-are-base-not-acid-availability.html тут вроде о таком подходе рассказывают

да

овердрафт это яркий пример того как разрешаются проблемы с consistency :)

или например это очередь, в которую складываются тразакции и consumer из этой очереди, который в линейном порядке эти транзакции обрабатывает

А зачем вообще в этом случае очередь? Если транзакции не нужны, я могу перевод сделать в виде двух последовательных запросов, которые изменяют балансы двух счетов?

очередь снижает latency

если у вас операции обрабатываются раз в 10 секунд, то у вас максимальная задержка — 10 секунд

и в среднем она будет где-то 5

а с очередью она будет примерно равна глубине очереди

это если ну никак нельзя подождать 5 секунд и надо asap

А зачем вообще в этом случае очередь? Если транзакции не нужны, я могу перевод сделать в виде двух последовательных запросов, которые изменяют балансы двух счетов?

А если прилетит несколько одновременных запросов? А если баланс опустится ниже нуля у кого-то? Линеаризация с помощью очереди, это выход, да. Но просто так такое делать нельзя.

А если прилетит несколько одновременных запросов? А если баланс опустится ниже нуля у кого-то? Линеаризация с помощью очереди, это выход, да. Но просто так такое делать нельзя.

нет никакой разницы в логике

что вы за 10 секунд операции выбрали и по одной их обработали, что у вас консумер по одной их из очереди достаёт

разница только во времени ожидания обработки

у вас в любом случае операции линейные

А если прилетит несколько одновременных запросов? А если баланс опустится ниже нуля у кого-то? Линеаризация с помощью очереди, это выход, да. Но просто так такое делать нельзя.

Спасибо, не мог найти правильный термин когда решал похожую задачу

А если прилетит несколько одновременных запросов? А если баланс опустится ниже нуля у кого-то? Линеаризация с помощью очереди, это выход, да. Но просто так такое делать нельзя.

вам конкретно нужен acid

вам конкретно нужен acid

не нужен

транзакционная целостность переоценена

это не единственная модель при которой можно добится необходимого результата

вообще, денежные переводы на хайлоде дело интересное

вообще, денежные переводы на хайлоде дело интересное

можете открыть нормативную документацию цб и посмотреть насколько оно интересное :)

что вы за 10 секунд операции выбрали и по одной их обработали, что у вас консумер по одной их из очереди достаёт

в этом случае тогда только 1 консумер может быть? или я чет не врубаюсь?

да, конечно

вам больше одного в 99.9% случаев никогда и не понадобится

вообще, денежные переводы на хайлоде дело интересное

а на деле, очень мало мест где «хайлоад». даже 1 операция в секунду это уже 84к операций в день :)

мало где есть такой поток денег

в этом случае тогда только 1 консумер может быть? или я чет не врубаюсь?

Да, если запись в базу идёт в однопоточном режиме, то проблем с целостностью не будет.

Да, если запись в базу идёт в однопоточном режиме, то проблем с целостностью не будет.

не совсем

на запись транзакций нет ограничений в параллелизме

а вот на обработку транзакций — есть

транзакция в таком случае это стейтмашина

у неё есть начальное состояние, в котором она записывается и есть какой-то конечный набор состояний, в которое она перейдёт по результатам обработки

и обработчик — единственный процесс

Да, вы точнее сформулировали)

Есть какая-то книга, почитать про эти подходы?

Есть какая-то книга, почитать про эти подходы?

+, тоже было бы интересно, или хоть как гуглить их

Я просто жил в убеждении что без ACID, constraint и транзакций жить нельзя. Потом почитал как люди с принципиально однопоточными СУБД типа Редиса и Тарантула работают. А теперь вижу что и в многопоточной монге, с помощью очередей вполне можно целостность обеспечить. Теперь есть чувство, что я много чего упускаю

Всем привет Подскажите кто как делает миграции в mongodb? Есть ли какой нибудь общепринятый подход к миграциям, тулзы? имею ввиду добавление индексов, коллекций и пр

Можно ли использовать MongoDB Atlas если у меня не AWS/GCP/Azure ? а то они только про них и твердят на сайте, я вот не могу понять

Можно ли использовать MongoDB Atlas если у меня не AWS/GCP/Azure ? а то они только про них и твердят на сайте, я вот не могу понять

нет, это облачный сервис

Можно ли использовать MongoDB Atlas если у меня не AWS/GCP/Azure ? а то они только про них и твердят на сайте, я вот не могу понять

Так а зачем вам их иметь? Атлас просто предлагает выбрать на какой платформе он автоматически развернёт кластер

Вам в принципе вообще побоку на какой платформе будет

Так а зачем вам их иметь? Атлас просто предлагает выбрать на какой платформе он автоматически развернёт кластер

это так работает? 0_0 блин даже это не понял

я думал они типа интегрируются как то с этими провайдерами

и они типа всю настройкy вместо меня проделают на сервисе который я выберу?

и они типа всю настройкy вместо меня проделают на сервисе который я выберу?

Да

По сути там один клик и все развернется

Выбор платформы/региона имеет значения например для тех, кто юзает амазон в определённом регионе, чтобы апп-сервера и кластер бд были рядом например

ну а вообще эти 57$ стоят того? (беслпатный план не подходит, данных больше чем он позволяет хостить) просто сейчас монга хоститься самостоятелньо на сервере за 15$ и типа есть ли смысл мигрировать за счет того что саппорт сервера будут делать они?

ну а вообще эти 57$ стоят того? (беслпатный план не подходит, данных больше чем он позволяет хостить) просто сейчас монга хоститься самостоятелньо на сервере за 15$ и типа есть ли смысл мигрировать за счет того что саппорт сервера будут делать они?

Как минимум там реплика сет из коробки в эти $57

Ну и удобство

В целом это копейки же, но если на данном этапе это значимые деньги для проекта, то можно и на селф хостед решении оставаться

Я просто жил в убеждении что без ACID, constraint и транзакций жить нельзя. Потом почитал как люди с принципиально однопоточными СУБД типа Редиса и Тарантула работают. А теперь вижу что и в многопоточной монге, с помощью очередей вполне можно целостность обеспечить. Теперь есть чувство, что я много чего упускаю

Мир не стоит на месте. Ещё 20 лет назад для меня гигабайт данных было много, заоблочно много. А теперь моя команда пишет etl, которые пропускают терабайты в час

Мир не стоит на месте. Ещё 20 лет назад для меня гигабайт данных было много, заоблочно много. А теперь моя команда пишет etl, которые пропускают терабайты в час

Ну объёмы это понятно. Они вместе с мощностью железа будут расти. А тут про подходы к работе с данными. Скажем так не хрестоматийные. Вот это хотелось бы изучить подробнее.

Да, если запись в базу идёт в однопоточном режиме, то проблем с целостностью не будет.

Можно еще придумать алгоритм чтобы таски не пересекались и несколько консюмеров юзать

Всем привет Подскажите кто как делает миграции в mongodb? Есть ли какой нибудь общепринятый подход к миграциям, тулзы? имею ввиду добавление индексов, коллекций и пр

Неужели у всех кастомная автоматизация ?

Доброго дня всем. Скажите, уважаемые, есть ли в MongoDB Atlas возможность использовать разные ключи для шифрования разных бд, кластеров или коллекций в пределах одного проекта? Пока что я нашёл только возможность шифровать проект одним ключом для всех пользователей и всего набора данных.

Всем привет У меня стоит автоинкремент на _id const orders = await Order.find({ $or: [{ 'info.email': { $regex: search, $options: 'i' } }, { _id: { $regex: search, $options: 'i' } }] }); я ищу на совпадение по id или у email но я не могу понять в чём проблема Cast to number failed for value "i" at path "_id" for model "Order"

Ребят вот у меня есть база, там есть пользователи с _id и у каждого пользователя есть code И я хочу сделал функцию что бы перебирала все code и если к примеру похоже на "codenone" то принт

Можете помочь как это реализовать в плане монго

{"_id":181818, "code":"codenone"}{"_id":181818, "code":"codenone"}{"_id":181818, "code":"codenone"} К примеру я перебрал курсор и получил такую картину, как мне из всех этих перебирать code

Не очень понятно, что перебирать и с какой целью?

Делаете выборку, кладёте в переменную и циклом уже теребонькаете. Ну или я не понял =)

Извеняюсь, я уже взял через get

Спасибо вам)

Неужели у всех кастомная автоматизация ?

Да, в монге нет схемы. Схема это часть бизнес-логики. Поищите в группе по словам forward only, я рассказывал как проще всего сделать

Да, в монге нет схемы. Схема это часть бизнес-логики. Поищите в группе по словам forward only, я рассказывал как проще всего сделать

append only* ? возможно имелось ввиду

Насколько законно изменять способ генерации поля _id в монге? Например мне нужен не длинный ObjectId, а autoincrement, или наоборот, UUID какой-то?

И это тоже

Насколько законно изменять способ генерации поля _id в монге? Например мне нужен не длинный ObjectId, а autoincrement, или наоборот, UUID какой-то?

Вам не нужен автоинкремент :)

ObjectID это и есть UUID, с чуть меньшей энтропией

Доброго дня всем. Скажите, уважаемые, есть ли в MongoDB Atlas возможность использовать разные ключи для шифрования разных бд, кластеров или коллекций в пределах одного проекта? Пока что я нашёл только возможность шифровать проект одним ключом для всех пользователей и всего набора данных.

О каком шифровании речь?

просто например есть чеки, и нужно чтобы кассир видел порядковый номер чека, вместо ObjectID, который он может скинуть в случае возникновения проблем

или это лучше просто отдельным полем сделать?

просто например есть чеки, и нужно чтобы кассир видел порядковый номер чека, вместо ObjectID, который он может скинуть в случае возникновения проблем

Зачем ему видеть порядковый номер чека?

чтобы он мог сказать "в чеке номер 235 неверно посчитана общая сумма", а не "в чеке за 12 число в 12:35 на контрагента Василий на сумму 320 неверно посчитана сумма"

банальный пример такой

чтобы он мог сказать "в чеке номер 235 неверно посчитана общая сумма", а не "в чеке за 12 число в 12:35 на контрагента Василий на сумму 320 неверно посчитана сумма"

Второй вариант более надежный

Первый вариант это решение несуществующей проблемы