а без этого начинаются всякие кворумы, выяснения, кто с самыми актуальными данными и ужас)

жаль я не могу выложить доки по катастрофоустойчивости

я думаю анекдоты бы все перестали читать на пару лет

я думаю анекдоты бы все перестали читать на пару лет

поверьте, кто работает в медицине уже ни над чем не смеется

жаль я не могу выложить доки по катастрофоустойчивости

У нас требования попроще - в случае катасрофы допускается простой до 8 часов. Но да - без потери данных.

У нас требования попроще - в случае катасрофы допускается простой до 8 часов. Но да - без потери данных.

ну походу будет как в егаисе, по 3-4 суток идти продажа, ток лекарств и обуви

Проблема только в том, что у системы интегрированы с сотнями других систем, и интеграции должны продолжить работать. Учитывая всякие защищенные vipnet'ом сети - это несколько проблематично

Проблема только в том, что у системы интегрированы с сотнями других систем, и интеграции должны продолжить работать. Учитывая всякие защищенные vipnet'ом сети - это несколько проблематично

самое весёлое это крипто-про и криптуха с по госту

самое весёлое это крипто-про и криптуха с по госту

Есть у меня и такое )

И даже TLS с гост шифрованием

сочувствую

Кстати - та еще задача. Учитывая, что ГОСТ можно использовать только с TLS 1.1 - а некоторые припиетарные решения захардкодили в себе TLS 1.2.

Привет всем, хэлп, есть дамп в SQL, при восстановлении падает с invalid \n, внутри есть COPY, как его восстановить?:( может сталкивался кто?

Можно конечно извратиться скриптом распилить на файлы чтобы copy отдельно COPY , но странно что штатный бэкап не может сам и раскатить

есть таблица patcard.info, в ней - jsonb колонка fullname, содержащая ключ hints с массивом integer[]. создаю обычный gin индекс на fullname через create index info_gin_idx on patcard.info using gin (fullname);но он не используется на запросе вида select * from patcard.info where fullname #> '{hints}' <@ '[58407, 73952, 17666, 1]'::jsonb;что я делаю не так?

Нужен план)

https://pastebin.com/xNr0QaDS

скучный секскан...

я попробовал пересоздать индекс под ключ hints, теперь индекс используется, но только при проверке вложения в ненужную мне сторону... https://pastebin.com/kmgryn7B

Gin индексы насколько мне известно не умеют оператор <@

?ну фнс не гугл

случаем не московский тот что на ул. лёчика Бабушкина? :)

грустно, хотя если задуматься как устроен gin - это возможно. а как обходится эта проблема?

jsonb_path_ops поддерживает индексацию только для оператора @>

грустно, хотя если задуматься как устроен gin - это возможно. а как обходится эта проблема?

самое интересное, ElasticSearch это по сути gin индекс и куча обвяза вокруг него

Если у вас hints часто используется то можно сделать частичный индекс.

jsonb_path_ops поддерживает индексацию только для оператора @>

к слову хорошее место где надо улучшить документацию... а то по сути в двух разных местах нужная инфа находится (а то и в исходниках)

самое интересное, ElasticSearch это по сути gin индекс и куча обвяза вокруг него

думаю, там главная разница в том, что будучи версионником pg хранит массив вида key:[tuples], которые нужно речекать с хипе. а эластик, наверняка, key:[id]

Если у вас hints часто используется то можно сделать частичный индекс.

если я сделаю частичный gin индекс, разве это мне поможет с оператором <@ ?

Не, gin не поможет. А вот gist - возможно

Только придется изменить запрос)

думаю, там главная разница в том, что будучи версионником pg хранит массив вида key:[tuples], которые нужно речекать с хипе. а эластик, наверняка, key:[id]

внутри эластика лежит apache lucene, есть к слову реализация на С++ и там частичная консистенция т.е. по факту они почти ничего не блокируют и ничего не версионируют

думаю, там главная разница в том, что будучи версионником pg хранит массив вида key:[tuples], которые нужно речекать с хипе. а эластик, наверняка, key:[id]

скорее всего да, так как без индекса "схемы" оно не работает

я не увидел, чтобы gist мог работать с jsonb. думаю передаелать все на tsvector/tsquery и навешать rum с rum_tsquery_ops. возможно, это меня спасет

я не увидел, чтобы gist мог работать с jsonb. думаю передаелать все на tsvector/tsquery и навешать rum с rum_tsquery_ops. возможно, это меня спасет

да, не умеет. Нужно работать с обычным массивом. Еще можно посмотреть в сторону https://github.com/postgrespro/jsquery. Но я активно не использовал, тут @aekorotkov я думаю вам может подсказать намного больше)

я правильно помню, что там нужно собирать из сорцов pg поддержкой jsquery? то есть это не отдельное расширение?

фигню написал, сам увидел)

не, обычное расширение $ git clone https://github.com/postgrespro/jsquery.git $ cd jsquery $ make USE_PGXS=1 $ sudo make USE_PGXS=1 install $ make USE_PGXS=1 installcheck $ psql DB -c "CREATE EXTENSION jsquery;"

наксколько мне известно нет такого стандарта) но есть множество style guide. Как пример http://www.sqlstyle.guide

Спасибо, пара ценных идей есть, но этот river стиль имхо нечитабельно, особенно для вложенных запросов. Мне бы что-нибудь с кучей переводов строк

Ещё теоретический вопрос. Есть таблица с pkey text по которому нужна пагинация и, скажем, text[] по которому нужно выбирать записи (слово есть в массиве/слова нет в массиве). Возможна ситуация при которой pg перейдёт на нужный pkey используя игдекс, а дальше будет seqscan выбирающий записи до limit?

Связанный вопрос - умеет ли pg использовать сортированность materialized view?

Спасибо, пара ценных идей есть, но этот river стиль имхо нечитабельно, особенно для вложенных запросов. Мне бы что-нибудь с кучей переводов строк

в datagrip настраивается. у нас кодстиль с lowercase и кучей переносов как раз :)

Не пасибо, ide мне не нужно. Мне бы запросы просто оформить красиво. Или хотя бы посмотреть как оформляют

Ещё теоретический вопрос. Есть таблица с pkey text по которому нужна пагинация и, скажем, text[] по которому нужно выбирать записи (слово есть в массиве/слова нет в массиве). Возможна ситуация при которой pg перейдёт на нужный pkey используя игдекс, а дальше будет seqscan выбирающий записи до limit?

через вложенные запросы и cte можно зафорсить что угодно. только нужно иметь в виду, что seq scan - это как бог на душу положит

Не пасибо, ide мне не нужно. Мне бы запросы просто оформить красиво. Или хотя бы посмотреть как оформляют

посмотреть, например, https://github.com/gojuno/lostgis/blob/master/sql/types/type_tpv.sql

В каком смысле бог на душу? Сортиранный matview может прочитаться не послндовательно?

Кстати - та еще задача. Учитывая, что ГОСТ можно использовать только с TLS 1.1 - а некоторые припиетарные решения захардкодили в себе TLS 1.2.

Вроде ребятя для 1.2 переложили GOST опять в отдельный engine

В каком смысле бог на душу? Сортиранный matview может прочитаться не послндовательно?

место начала скана у seq scan не определено из-за synchronized seq scan, и при распараллеливании они могут заgaterиться как повезёт

Вроде ребятя для 1.2 переложили GOST опять в отдельный engine

Это в openssl 1.1 просто гост в отдельном engine. Для TLS 1.2 реализации пока нет (ну или я уже упустил что-то)

посмотреть, например, https://github.com/gojuno/lostgis/blob/master/sql/types/type_tpv.sql

Это просто. Мне-то больше интересно как union и join красиво сделать

место начала скана у seq scan не определено из-за synchronized seq scan, и при распараллеливании они могут заgaterиться как повезёт

А, вот это я и хотел услышать, спасибо

Это в openssl 1.1 просто гост в отдельном engine. Для TLS 1.2 реализации пока нет (ну или я уже упустил что-то)

Ну, российский TLS представляет собой что-то странное в плане версии. Но TLS 1.0-1.2 он вполне может поддержать в каком-то объёме.

Если нужно ююниксовое решение, сертифицированное и совместимое с КриптоПро - то www.cryptocom.ru

Доброго времени всем

использую Postgtres как основную БД... Пожалуй достаточно

Только как самый крайний случай - хотелось бы все же решить проблему средствами postgresql.

не знаю видел ли, есть интеграция pg и elastic: https://www.zombodb.com/

Не пасибо, ide мне не нужно. Мне бы запросы просто оформить красиво. Или хотя бы посмотреть как оформляют

можно попробовать такой pgFormatter, написан на Perl, онлайн версия: http://sqlformat.darold.net/

ES требует несколько нод для нормальной работы, кучу оперативки и ещё куча подводных камней с этими их индексами

Он абсолютно нормально относится к работе на одной ноде. И версионирование там внутри на самом деле примерно как в постгресе, удаленные документы никуда не деваются, пока фоновый процесс не соберет - MVCC как такового нет, но, опять же, документы не удаляются, просто шард помечает, что по ним искать не надо и надо собрать во время мерджа. В целом все верно, просто мимо этих мелких деталей сложно пройти )

можно попробовать такой pgFormatter, написан на Perl, онлайн версия: http://sqlformat.darold.net/

Во, спасибо, посмотрю

Он абсолютно нормально относится к работе на одной ноде. И версионирование там внутри на самом деле примерно как в постгресе, удаленные документы никуда не деваются, пока фоновый процесс не соберет - MVCC как такового нет, но, опять же, документы не удаляются, просто шард помечает, что по ним искать не надо и надо собрать во время мерджа. В целом все верно, просто мимо этих мелких деталей сложно пройти )

1. если на одной ноде то состояние кластера у него "жёлтое" 2. и всё же совсем не как в PG. в ES можно видеть промежуточные данные во время транзакции. (атомарно с точностью до документа как я понял), а если вы про VACUUM то да, COW он везде таков

1. если на одной ноде то состояние кластера у него "жёлтое" 2. и всё же совсем не как в PG. в ES можно видеть промежуточные данные во время транзакции. (атомарно с точностью до документа как я понял), а если вы про VACUUM то да, COW он везде таков

не состояние желтое, а шардам вы указали дефолтный репликейшен фактор = 2, и он не может найти вторую ноду для размещения

создадите индекс без репликации - все будет зеленым

создадите индекс без репликации - все будет зеленым

спасибо :) ну я пока на проде это не юзало, больше как разработчик гоняю

В чем может быть проблема? Выполняется ОК: SELECT pg_size_pretty(pg_table_size('t')) AS ts; Выдает ошибку ERROR: function pg_size_pretty(bigint) does not exist: SELECT current_setting('shared_buffers') AS shared_buffers, pg_size_pretty(pg_table_size('t')) AS ts;

В чем может быть проблема? Выполняется ОК: SELECT pg_size_pretty(pg_table_size('t')) AS ts; Выдает ошибку ERROR: function pg_size_pretty(bigint) does not exist: SELECT current_setting('shared_buffers') AS shared_buffers, pg_size_pretty(pg_table_size('t')) AS ts;

Тем же самым юзером?

Да... в общем оказалось всё просто - копипаста с PDF не прошла

@darthunix, выложил то что есть по vgram https://github.com/akorotkov/vgram

Сейчас постараюсь вспомнить что там к чему...

?

не знаю видел ли, есть интеграция pg и elastic: https://www.zombodb.com/

Не видел, но как минимум для общего развития посмотрю.

@darthunix, выложил то что есть по vgram https://github.com/akorotkov/vgram

Спасибо огромное! На выходных опробую!

Не за что! Коротенькое readme написал, так что – экспериментируйте https://github.com/akorotkov/vgram/blob/master/README.md

пацаны, есть вопрос

как работает hostssl

где там и как CA и cert

вот просто psql подключаюсь без заморочек

https://cdn.discordapp.com/attachments/356773946789724165/363340471583375370/12.png

а вот проге надо и CA и сертификаты

чот я не оч понял

почему psql сам ходит по ssl, а сторонней проге надо всё дать руками

pgadmin, кстати, тоже не спрашивает про CA и сертификаты

я ниче не понимаю (((

Во что играешь?

вот просто psql подключаюсь без заморочек

а psql точно по SSL ?

нууу.... да

"ну" или "да"? Чем докажете?

"ну" или "да"? Чем докажете?

да оно же пишет при подключении

CA и cert для клиентской программы?! Это что-то новенькое.

и потом, у меня для world wide подклбчения только hostssl запись

я бы тупо не подключился

Это настраивается на стороне сервера. По крайней мере, я с иным не сталкивался.

Это настраивается на стороне сервера. По крайней мере, я с иным не сталкивался.

ну да, я нашел доку по ssl для постгрес и там есть и CA и клиентские сертификаты