event sourcing, если коротко.

это не коротко, это всё переписывать

но, конечно, лучший вариант

У меня сейчас используется в одном проекте похожее решение, только для каждой таблицы сущности есть своя таблица аудита. На текущий момент я понял, что такое разделение на таблицу сущности и таблицу аудита в моем случае бессмысленно (так как аудит стал активно использоваться наравне с актуальной версией сущности) и я сейчас делаю рефакторинг. Думаю создать для каждой сущности единую таблицу со всеми версиями (гляньте в вики «slowly changing dimentions»). Но как оно будет на практике узнаю позже

У меня и для каждой сущности по таблице, и для артефакта

Просто у артефакта учет изменения метаинформации, а у сущности - информации сущности.

От модели артефактов отказаться не могу из-за сквозного тегирования всех сущностей. Ну нахер связи сущность N -> тэг для каждой прописывать

event sourcing, если коротко.

Слишком сложно для меня пока что. Первый проект, где я на бэке сижу. До этого на мобайле только был. Я и с этой схемой уже начинаю с ума сходить, а если еще и две БД буду держать, вообще ебнусь...

Там вторая бд не нужна, но подход кардинально иной, да.

А можете подсказать, view на скрине вытащит данные по артефактам, у которых самая большая версия среди остальных c таким же id?

А можете подсказать, view на скрине вытащит данные по артефактам, у которых самая большая версия среди остальных c таким же id?

Может не надо джойнами так разбрасываться, попробуй настроить оптимизатор... https://postgrespro.ru/docs/postgrespro/9.6/geqo-pg-intro.html Я бы делал мат вьюху и индексил. > у которых самая большая версия среди остальных c таким же id Sorted by, не ?

Может не надо джойнами так разбрасываться, попробуй настроить оптимизатор... https://postgrespro.ru/docs/postgrespro/9.6/geqo-pg-intro.html Я бы делал мат вьюху и индексил. > у которых самая большая версия среди остальных c таким же id Sorted by, не ?

Сейчас гляну. Но в теории работать должно?

мне одному кажется, что LEFT JOIN в этом запросе не делает ничего?

мне одному кажется, что LEFT JOIN в этом запросе не делает ничего?

Вроде как делает. Отбирает только последнии версии, нет?

Щас проверю :) Так проще будет

Вроде как делает. Отбирает только последнии версии, нет?

Он джойнит все, что выбралось слева от него, с предыдущими версиями, если они есть, помещая их в столбцы b.*, после чего эти столбцы игнорируются, а на выходе получается то, что было слева от джойна, где строки, у которых есть предыдущие версии, продублированы соответствующее число раз. По крайней мере, мой встроенный статический анализатор так говорит

Хм, в другую сторону что-ли сделать. Сначала заджойнить на a, потом поставить условие b.version > a.version при джойне на b и сделать выборку полей по b

Сейчас гляну. Но в теории работать должно?

Нет, джойны кривые %)

может, если > поменять на < и добавить WHERE b.id IS NULL...

но быстро точно не будет)

но быстро точно не будет)

Вообще не принципиально. Мне нужно сделать простой прототип пока что.

Потом припрет - буду оптимизировать

Всем привет.

Сразу пару вопросов по pl/pgsql. Насколько я понял пакетов как в оракловом pl/sql в pl/pgsql нету?

нету. если есть такая привычка, в кажестве пакетов можно использовать отдельные схемы

Спасибо. И ещё можно ли как то подсчитать количество строк, которое извлекается из явного курсора, в оракле за это отвечает атрибут %ROWCOUNT?

Предполагаю, что в постгрисе нет аналога ораклового SQL%ROWCOUNT

Такое есть, но только для языка Plpgsql https://postgrespro.ru/docs/postgrespro/9.6/plpgsql-statements 42.5.5. Статус выполнения команды GET [ CURRENT ] DIAGNOSTICS переменная { = | := } элемент [ , ... ]; для получения числа обработанных строк: ROW_COUNT bigint число строк, обработанных последней командой SQL

День добрый! Приглашаем всех энтузиастов Greenplum и PostgreSQL на митап, посвященный первому 100% open-source релизу Greenplum. 27 сентября в Москве http://l.tinkoff.ru/greenplum и 28 сентября в Петербурге http://l.tinkoff.ru/greenplumspb расскажем о новых возможностях Greenplum 5, поделимся собственным опытом использования и дадим потрогать релиз 5.0 своими руками в облачной инфраструктуре. Спикеры расскажут, почему так важен официальный релиз Open Source Greenplum 5, как им правильно пользоваться и в каких областях можно успешно применять.

Господа, есть вопрос, пишу проект который будет наполнятся с других ресурсов, нужно придумать механизм который реализует углубленную проверку на дубли, который основывается на анализе текста и полнотекстовом поиске. Возможно кто-то сталикивался уже и есть какие-то готовые решения ?

дубль-детектор- в части хранения или в части выдачи при запросе ?

готовых решений не ищите, начните с последовательной постановки задачи

Привет всем. У меня трабл возник с left join'ами. Для каждой категории есть другие таблицы связанные cat_id=id.

Мне нужно взять те у которых категория совпадает.

Можете решение подсказать?

Можно подробнее, я с утра не могу осознать вопрос)

Привет всем. У меня трабл возник с left join'ами. Для каждой категории есть другие таблицы связанные cat_id=id.

Inner join не подходит?

Всем, привет, на тестовой базе 9.5 произошел вчера такой глюк, разработчик создавал таблицу sql> CREATE TABLE public.inventory_supplier ( uuid uuid NOT NULL, user_id varchar(64) NOT NULL, created_at timestamp NOT NULL DEFAULT now(), updated_at timestamp NULL, state varchar(16) NOT NULL, payload jsonb NULL, CONSTRAINT inventory_supplier_pkey PRIMARY KEY (uuid, user_id) ) [2017-09-25 17:50:12] completed in 27s 93ms Во-первых 27 секунд, во вторых таблица в базе не появилась, Мы логируем запросы больше 1 сек, соотв оно папало и в лог сервера: 2017-09-25 17:50:12 MSK LOG: duration: 27065.925 ms execute S_1/C_2: CREATE TABLE public.inventory_supplier ( uuid uuid NOT NULL, user_id varchar(64) NOT NULL, created_at timestamp NOT NULL DEFAULT now(), updated_at timestamp NULL, state varchar(16) NOT NULL, payload jsonb NULL, CONSTRAINT inventory_supplier_pkey PRIMARY KEY (uuid, user_id) )

Но таблички на сервере не оказалось, после, этим же запросом, я создал табличку и все нормально, еще несколько раз дропал и создавал. В чем может быть проблема, куда копать?

Всем, привет, на тестовой базе 9.5 произошел вчера такой глюк, разработчик создавал таблицу sql> CREATE TABLE public.inventory_supplier ( uuid uuid NOT NULL, user_id varchar(64) NOT NULL, created_at timestamp NOT NULL DEFAULT now(), updated_at timestamp NULL, state varchar(16) NOT NULL, payload jsonb NULL, CONSTRAINT inventory_supplier_pkey PRIMARY KEY (uuid, user_id) ) [2017-09-25 17:50:12] completed in 27s 93ms Во-первых 27 секунд, во вторых таблица в базе не появилась, Мы логируем запросы больше 1 сек, соотв оно папало и в лог сервера: 2017-09-25 17:50:12 MSK LOG: duration: 27065.925 ms execute S_1/C_2: CREATE TABLE public.inventory_supplier ( uuid uuid NOT NULL, user_id varchar(64) NOT NULL, created_at timestamp NOT NULL DEFAULT now(), updated_at timestamp NULL, state varchar(16) NOT NULL, payload jsonb NULL, CONSTRAINT inventory_supplier_pkey PRIMARY KEY (uuid, user_id) )

называть столбец так же как и тип данных - не ок, ( uuid uuid NOT NULL,)

А проблемный запрос вообще до базы доехал? Это же не логи самого pg, верно?

А проблемный запрос вообще до базы доехал? Это же не логи самого pg, верно?

Лог с базы, у нас log_min_duration_statement = 1000, поэтому он туда попал

Лог с базы, у нас log_min_duration_statement = 1000, поэтому он туда попал

pg_stat_activity не смотрели пока create table выполнялся?

pg_stat_activity не смотрели пока create table выполнялся?

нет, это разработчик кинул уже после выполения

Я правильно понял, что повторно воспроизвести проблему не удаётся?

Я правильно понял, что повторно воспроизвести проблему не удаётся?

Да, повторно создается и удаляется быстро.

И тот проблемный запрос успешно закоммитился?

Вопрос. В Postgres храню персональные данные. Тут появилась задачка от начальства - получить лиценизию оператора персональных данных. Есть где нормальный материал по тому как это делать? Шифрую информацию в БД по ГОСТ_28147-89

https://google.gik-team.com/?q=%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%82%D0%BE%D1%80+%D0%BF%D0%B5%D1%80%D1%81%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D1%85+%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85

Вопрос. В Postgres храню персональные данные. Тут появилась задачка от начальства - получить лиценизию оператора персональных данных. Есть где нормальный материал по тому как это делать? Шифрую информацию в БД по ГОСТ_28147-89

Я точно не помню деталей, но когда мы проходили сертификацию, в основном там были вопросы по ОС. - регулярное обновление - ограничение количества неверных паролей - ограничение доступа к БД по хостам и тп

Вопрос. В Postgres храню персональные данные. Тут появилась задачка от начальства - получить лиценизию оператора персональных данных. Есть где нормальный материал по тому как это делать? Шифрую информацию в БД по ГОСТ_28147-89

Точнее вопрос у боссов стоял так: "У нас какая степень защиты?" Х.з. блин. ? Шифруем информацию

https://google.gik-team.com/?q=%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%82%D0%BE%D1%80+%D0%BF%D0%B5%D1%80%D1%81%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D1%85+%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85

Можешь ссылку еще и на сам ФЗ скинуть, ато ведь я в гугле не сидел до этого сутки

http://infoprotect.net/note/klassy-zashhity-informatsii#1a

Даже такое нашел, но не сильно помогло

бедолага(( Просто в первой же ссылке в вики есть ссылки на статьи и законы

как правило, если есть статья, то в ней же и ее описание.

http://regforum.ru/posts/1913_a_vasha_organizaciya__operator_personalnyh_dannyh/

о боже мой, это же прям туториал

второй ссылкой в гугле

Так, стоп.

Попробую как-то переформулировать ?. Я понял что вы списали на мою невнимательность и ленность ? У нас CRM. Отдельного сервака "в клетке" нет. Арендуем сервер у хостера. CRM написана на питоне. БД Postgres. Шифрование происходит на стороне питона и уже зашифрованные данные уходят в бд "чистым" запросом, обратно так же. Информация дешифруется также на питоне. В БД ничего не происходит. Физически БД находится отдельно от сервера. обмен происходит по ssh Итак: какие еще меры безопасности нужно предпринять чтобы соответсвовать закону. Как это скажется на БД? Что-то нужно переделывать будет или нет?

http://regforum.ru/posts/1913_a_vasha_organizaciya__operator_personalnyh_dannyh/

Его читал и там больше бумажные формальности описаны. Нет там параллелей. Например не говорится "Технический паспорт информационных систем персональных данных" и хостинг как могут быть вместе? Как я понимаю сервер должен быть изолирован и к нему должны иметь доступ ограниченные лица чуть ли не по журналу

Попробую как-то переформулировать ?. Я понял что вы списали на мою невнимательность и ленность ? У нас CRM. Отдельного сервака "в клетке" нет. Арендуем сервер у хостера. CRM написана на питоне. БД Postgres. Шифрование происходит на стороне питона и уже зашифрованные данные уходят в бд "чистым" запросом, обратно так же. Информация дешифруется также на питоне. В БД ничего не происходит. Физически БД находится отдельно от сервера. обмен происходит по ssh Итак: какие еще меры безопасности нужно предпринять чтобы соответсвовать закону. Как это скажется на БД? Что-то нужно переделывать будет или нет?

ну а что смысла шифровать если на стороне приложения ключ лежит

Попробую как-то переформулировать ?. Я понял что вы списали на мою невнимательность и ленность ? У нас CRM. Отдельного сервака "в клетке" нет. Арендуем сервер у хостера. CRM написана на питоне. БД Postgres. Шифрование происходит на стороне питона и уже зашифрованные данные уходят в бд "чистым" запросом, обратно так же. Информация дешифруется также на питоне. В БД ничего не происходит. Физически БД находится отдельно от сервера. обмен происходит по ssh Итак: какие еще меры безопасности нужно предпринять чтобы соответсвовать закону. Как это скажется на БД? Что-то нужно переделывать будет или нет?

Как это потом проверять будут? придут и я им на питоне код покажу и скажу потом: вот 30 этапов шифрования и вот запрос на запись/обновление" а вот считывание аналогично. Тоесть при краже (полном дампе или снятии образа жесткого диска) БД - ничего считать не смогут.

ну а что смысла шифровать если на стороне приложения ключ лежит

бэк и бд на разных серверах

бэк и бд на разных серверах

но у одного хостера?

ну а что смысла шифровать если на стороне приложения ключ лежит

А иначе как? Приложение серверное. Оно же отвечает за распределние прав доступа к персональным данным. то есть исходный код не доступен обычному пользователю

но у одного хостера?

да ?

Как это потом проверять будут? придут и я им на питоне код покажу и скажу потом: вот 30 этапов шифрования и вот запрос на запись/обновление" а вот считывание аналогично. Тоесть при краже (полном дампе или снятии образа жесткого диска) БД - ничего считать не смогут.

ну вообще-то если смогли до БД дотянутся, то и до ключа на приложении тоже смогут

А иначе как? Приложение серверное. Оно же отвечает за распределние прав доступа к персональным данным. то есть исходный код не доступен обычному пользователю

Теоретически можно шифровать данные пользователя ключом самого пользователя, который становится доступен через средства авторизации (условно говоря, который нельзя использовать без введения пароля).

Теоретически можно шифровать данные пользователя ключом самого пользователя, который становится доступен через средства авторизации (условно говоря, который нельзя использовать без введения пароля).

но тогда только сам пользователь сможет видеть свои данные, я так понимаю

но тогда только сам пользователь сможет видеть свои данные, я так понимаю

Верно. Менеджерам клиентская база тогда не доступна будет. ?

Работа с перс-данными это больше оранизационная работа нежели шифрование.

но тогда только сам пользователь сможет видеть свои данные, я так понимаю

Около того. Можно сделать ключ доступа к некоторому домену, зашифровать его с помощью пароля первого пользователя и исходный вариант удалить. После этого первый пользователь может расшифровать ключ и аналогичным образом дать к нему доступ еще кому-нибудь.

Около того. Можно сделать ключ доступа к некоторому домену, зашифровать его с помощью пароля первого пользователя и исходный вариант удалить. После этого первый пользователь может расшифровать ключ и аналогичным образом дать к нему доступ еще кому-нибудь.

костыли всё это

Почему?

Не нужно придумывать сложную схему защиты, нужно сначало описать список угроз и требований законодательства, и потом уже потом конструировать систему. Иначе будет уродец который ничего не защищает, но зато он есть в списке разрешённого софта у ФСБ и т.п. организаций, но зато оно не работает. (Это я о СекретНет и т.п. говнософте)

Ну, я сейчас не про государственные стандарты, я про то, как обойти хранение секрета для дешифрации в открытом виде в том же месте, где сохраняются данные.

у PRO версии Postgeres есть какой-то комлпекс защит, который можно просто внедрить, или это всё чушь?

Ну я понимаю что это аппаратно программный комплекс и в описании там много чего написано (и мандатные защиты реализованы и всякие другие радости). Кто нибудь опыт имеет?

у PRO версии Postgeres есть какой-то комлпекс защит, который можно просто внедрить, или это всё чушь?

У нас есть сертифицированная ФСТЭК версия с доработками соответствующими требованиям по обработке ПД всех типов. Но ее надо правильно ставить на соответствующие ОС. Если не путаю весь комплекс все равно надо аттестовать

У нас есть сертифицированная ФСТЭК версия с доработками соответствующими требованиям по обработке ПД всех типов. Но ее надо правильно ставить на соответствующие ОС. Если не путаю весь комплекс все равно надо аттестовать

Есть вопрос по защите ПД от доступа DBA, например. Такое есть?

Есть вопрос по защите ПД от доступа DBA, например. Такое есть?

Насколько знаю, защиты данных от DBA нет

Теоретически можно шифровать данные пользователя ключом самого пользователя, который становится доступен через средства авторизации (условно говоря, который нельзя использовать без введения пароля).

Тогда с точки зрения безопасности побеждает этот вариант ).

Теоретически можно шифровать данные пользователя ключом самого пользователя, который становится доступен через средства авторизации (условно говоря, который нельзя использовать без введения пароля).

Искать по ним потом как?

Какой поиск по данным, к которым нужно ограничить доступ?