ок, я вас понял, например я хочу получить сводный отчет по кредиторской задолженности контрагента за период в полгода

и всё?

или например аналитику по фрод активности плательщиков за какой-то период в разрезе контрагента и мерчанта

у вас есть план запросов?

и всё?

вы хотите чтобы я расписал методологию расчета или что-то другое уточняете, или имеете в виду что это плевое дело?)

я хочу вас навести на мысль, что выбирать базу данных надо исходя сначала из бизнес-задач, а потом уже из технических требований

вероятно вам нужен какой-то многомерный olap

с вашим объёмом транзакций, вам нужен хороший олап, с хорошей поддержкой

а это не такой большой рынок :)

вероятно вам нужен какой-то многомерный olap

не совсем, если бы мне нужен был олап, то я бы не спрашивал за монгу, у которой в помине нет этого. а брал бы пг у которого есть такие решения)

а звучит как olap

@dd_bb Человек пришёл, что бы мы ему расписали "плюсы" монги, так как он её хочет, а коллеги - нет. А мы его отговариваем :)

наоборот же

если упрощенно то мне нужно сделать так для примера: SELECT sum(amount), format(date, 'Y-m') as date, count(id), project_id FROM table WHERE contractor = xxx AND date BETWEEN 'xxxx' and 'yyy' GROUP BY date, project_id HAVING BY count(id) > 100000;

наоборот же

да, вы совершенно правы, я монгу как раз не хочу

не совсем, если бы мне нужен был олап, то я бы не спрашивал за монгу, у которой в помине нет этого. а брал бы пг у которого есть такие решения)

Pentaho есть

не хотите, не берите :)

да, вы совершенно правы, я монгу как раз не хочу

во как! интересный вы человек :)

если упрощенно то мне нужно сделать так для примера: SELECT sum(amount), format(date, 'Y-m') as date, count(id), project_id FROM table WHERE contractor = xxx AND date BETWEEN 'xxxx' and 'yyy' GROUP BY date, project_id HAVING BY count(id) > 100000;

такие вещи на AF сейчас элементарно делаются

не хотите, не берите :)

я уже кажется писал, что мне пытаются ее насадить со стороны, а я как раз пытаюст понять на сколько этот насаждение обосновано

у вас процесс выбора решения сломан

я уже кажется писал, что мне пытаются ее насадить со стороны, а я как раз пытаюст понять на сколько этот насаждение обосновано

это я в хорошем смысле, извините, если обидел :)

составьте план запросов, сделайте модельный датасет. выделите критерии оценки, соберите подходящие решения, прогоните план на модельном датасете и оцените по криетериям

только, варнинг! В процесс тестирования, можете влюбиться :)

обычно наоборот

дергается глаз и теряется вера в человечество ;)

с такими требованиями не влюбятся))

хороший план, жаль что требует массу времени, которого особо нет

обычно наоборот

возможно, я - исключение

хороший план, жаль что требует массу времени, которого особо нет

если у вас нет времени на объективный и основанный на данных выбор критического для бизнес решения, вам можно спокойно зарывать проект

такс последний вопрос, реплика в монге может быть умной, т.е. скажем в процессе репликации изменять ряд данных или фильтровать их или это только через внешние решения?

вы путаете репликацию с чем-то ещё

нет не путаю

хороший план, жаль что требует массу времени, которого особо нет

Думаю, вы не найдёте веских причин ни "за", ни "против". Единственное существенное обоснование может появиться в результате тестирование, как говорит yopp.

если у вас нет времени на объективный и основанный на данных выбор критического для бизнес решения, вам можно спокойно зарывать проект

да, я вас услышал спасибо. буду думать как это сделать и возможно ли это в данных реалиях или дешевле взять проверенные временем решения

по поводу изменения данных при репликации, нет, монга этого к счастью не умеет

вы скорее всего хотите потоковую обработку данных, но это не репликация

потоковую обработку можно сделать, с некоторыми оговорками

есть change streams

а вы, я так понимаю, хотите встроенный в субд ETL

обиделся Дмитрий, похоже...

нет, вдумчиво читаю что такое change streams)

а вы, я так понимаю, хотите встроенный в субд ETL

не совсем, я хочу скорее логическую репликацию

нет, вдумчиво читаю что такое change streams)

ну если вкратце, это есть у всех БД, подписка на поток изменений, то есть приложение может видеть op(erations)log

серьезно не воспринимать но есть еще такая срань как кафка с ее кафка стримами и ksql и псевдотабличным представлением, может вам подойдет)

серьезно не воспринимать но есть еще такая срань как кафка с ее кафка стримами и ksql и псевдотабличным представлением, может вам подойдет)

не воспринял серьезно))) но улыбнулся точно)

не совсем, я хочу скорее логическую репликацию

в монге репликация и так логическая

т.е. реплицируется не хранилище, а документы

это позволяет в том числе иметь смешанные кластеры: разные версии, разные движки хранилища, разные настройки хранилища

но не позволяет изменить данные в процессе репликации?

или я не правильно понял вашу мысль выше?

если данные в процессе меняются, это уже не репликация

прошу прощения за ссылку не в тему чата, но: https://www.postgresql.org/docs/10/static/logical-replication.html если формально то я говорю сейчас за пункт: "Firing triggers for individual changes as they arrive on the subscriber."

да, я понял что вы говорите про этот ужас

но это уже не репликация

потому что если вы поменяете данные, у вас уже не копия данных будет, а новые данные

а зачем вам это надо?

ок, я понял, но это уже софистика) а подскажите пожалуйста еще за change streams, правильно я уловил мысль, что это механиз оповещения о изменение данных в документе? т.е. условно говоря, приложение 1 записало/изменило данные в документе, в приложение 2 ушел лог изменений по вебсокету (пример взял с потолка, досконально не разбирался пока во всей механике)

в монге изменился документ, об этом будут уведомлены все клиенты которые подписались

через протокол монги

а зачем вам это надо?

по pci dss данные карты плательщика могут хранится только в дмз, в которое может ходить только сертифицированное (читай не изменяемое или редко изменяемое и с соблюденийм всех регламентов приложение) и из которого не могут отображаться данные в вебе например. соответственно для того чтобы отобразить эти данные кастомерам надо по минимуму: маскировать номер карты и убрать cvv из базы в которую будет ходить веб

в монге изменился документ, об этом будут уведомлены все клиенты которые подписались

ну т.к. в общих чертах я правильно мысль уловил, спасибо

прошу прощения за ссылку не в тему чата, но: https://www.postgresql.org/docs/10/static/logical-replication.html если формально то я говорю сейчас за пункт: "Firing triggers for individual changes as they arrive on the subscriber."

Теоретически такое можно сделать: приложение слушает change stream; вносит изменения при необходимости; записывает данные в другой инстанс монги или другое место

по pci dss данные карты плательщика могут хранится только в дмз, в которое может ходить только сертифицированное (читай не изменяемое или редко изменяемое и с соблюденийм всех регламентов приложение) и из которого не могут отображаться данные в вебе например. соответственно для того чтобы отобразить эти данные кастомерам надо по минимуму: маскировать номер карты и убрать cvv из базы в которую будет ходить веб

не очень понимаю причём тут монга

наверное хочет при репликации сразу затирать секурные данные

не очень понимаю причём тут монга

монга тут вообще не причем, я пытаюсь понять умеет ли она то что в пг называется логической репликой

наверное хочет при репликации сразу затирать секурные данные

точно так

точно так

так затирайте перед запись, хоть в браузере

Теоретически такое можно сделать: приложение слушает change stream; вносит изменения при необходимости; записывает данные в другой инстанс монги или другое место

да, но это еще одно приложение, которое даст таймаут на обработке + которое надо дополнительно сертифицировать (читай платить деньги)

так затирайте перед запись, хоть в браузере

нельзя, потом не сделать ребил и упрощенный платеж

вот жеж у вас задачки...

а что, готовых решений на рынке нет?

с токенизацией и вот этими всеми прелестями?

я с pci dss плохо знаком, но помоему токенизация была отличным способом изолировать процессинг от мира

а что, готовых решений на рынке нет?

вы имеете в виду готовый эквайринг? эквайринги из коробки есть, но есть заказ на разработку нового эквайрингового решения

собственно из-за чего и сыр бор возник

с токенизацией и вот этими всеми прелестями?

токенизация простите - это что, я видимо этот термин как-то по другому понимаю?

доброго времени суток всем! подскажите пожалуйста: сколько серверов в реплика сете допускается для масштабирования кластера? (версия 3,6)

12 или больше?

это когда sensitive authentication data хранится в защищенном изолированном хранилище и покидает его только в сторону шлюзов. всё остальное взаимодействие происходит с использованием случайных токенов

точно так

такое не получится таки, ведь реплики в любой момент могут стать мастером, а там данные не полные.

доброго времени суток всем! подскажите пожалуйста: сколько серверов в реплика сете допускается для масштабирования кластера? (версия 3,6)

добавление нод в реплику это не масштабирование

точнее так

12 или больше?

12 не оптимально. Большие потери на заись. РЕкомендуется 3 максимум 5

12 не оптимально. Большие потери на заись. РЕкомендуется 3 максимум 5

што

што

?

12 не оптимально. Большие потери на заись. РЕкомендуется 3 максимум 5

мне тоже непонятно, почему не оптимально

такое не получится таки, ведь реплики в любой момент могут стать мастером, а там данные не полные.

не получится на чем? такое решение на пг уже есть в проде)

не получится на чем? такое решение на пг уже есть в проде)

я имею ввиду на монге

добавление нод в реплику лучше не считать масштабированием, вы добавляете только read capacity в кластер, при этом write capacity у вас будет равно самой слабой ноде в реплоика сете

добавление нод в реплика сет, это отказоустойчивость и распределение данных по регионам

если вам нужно масштабирование, вам нужны шарды

добавление нод в реплику это не масштабирование

а что в реплицированном кластере является масштабированием? мне нехвататет точного поределения, может Вы подскажете?

ничего не является :)

ничего не является :)

спасибо, исчерпывающе

ребят всем большое спасибо за инфу. отдельное спасибо @dd_bb и @AstraSerg. ушел думать!

ребят всем большое спасибо за инфу. отдельное спасибо @dd_bb и @AstraSerg. ушел думать!

не за что, приходите, если возникнут вопросы

ничего не является :)

полноценным масштабированием и впрямь сложно назвать такой кластер из-за отставания данных и по вышеуказанным причинам

спасибо, исчерпывающе

то что можно называть масштабированием достигается с помощью шардирования