Коллеги, подскажите плз, хотим хранить большие тексты в базе, вероятнее всего хмл ( поле типа text ) есть ли смысл хранить это в cp1251 - будет ли экономия места?

Там преимущественно кириллица?

да

Хотя, лучше так не делать, имхо.

большие тексты и так пожмутся toast'ом, так что ради человечества, пользуйтесь везде utf-8

большие тексты и так пожмутся toast'ом, так что ради человечества, пользуйтесь везде utf-8

спасибище ! :)

большие тексты и так пожмутся toast'ом, так что ради человечества, пользуйтесь везде utf-8

а что за алгоритм компрессии там?

zlib/deflate?

Вот тут Robert Haas объясняет https://www.postgresql.org/message-id/CA%2BTgmoYk9vdMHJw0O8OC-ZRo%3Dk3YwwpHr73enQU%2B-N8XKMPziw%40mail.gmail.com

Он объясняет из каких соображений выводится сообщение, однако все равно не защита работает и какой эффект оказывает на систему. Это выглядит как какой-то баг фикс который может быть включен или выключен (… что уже странно применительно к багфиксу). Значит оно может оказывать какое-то влияние на систему. Вот непонятно какое. Положительное, отрицательное и нужно ли на что-то в связи с этим оглядываться.

Вам оглядываться не нужно, это информационное сообщение и ни хуже ни лучше ваш сервер в связи с этим работать не будет, если интересно, то вы можете почитать/поизучать проблему врапэраунда у постгреса

спасибо, почитаю.

Ext3 можно легко сконвертить в ext4 не повреждая данных. B320i - это софтрейд. Если вы фанат HP, то берите Pxxx контроллеры. Но! Не забудьте дозаказать модуль кеш-памяти (внезапно, оно умеет работать без кеш-памяти, но крайне медленно) и BBU. И не пользуйтесь их модной технологией оптимизированной под SSD, она дает втрое меньшее кол-во iops на P420, чем традиционный режим кеша. Она, к сожалению, включится по умолчанию, как только контроллер увидит, что это SSD. Надо руками потом перенастраивать.

У меня с дисками другая проблема. PG _очень_ любит ходить в "холодные" области базы, поэтому без SSD мы просто вешались.

Поэтому ни 12-24GB shared_buffers, ни какие-либо еще тюнинги не помогали, пока ему не дали SSD.

Ну и вообще, MVCC паттерн заполнения таблиц внезапно высокофрагментирован by design

Особенно когда у вас много таблиц и UPDATE

Ну и чекпоинтер диски хорошо прикладывает.

размер - 1ТБ, нагрузка - порядка 1k ins/sec + 1k upd/sec

Нагрузка детская, индексы, партиционирование - все есть, но диски дубасит даже при Fsync = off

MySQL на такой нагрузке живет без проблем на самых дешевых дисках без тормозов в сравнении с тормозами постгри. Единственная причина, по которой нам нужен постгри - более высокие гарантии консистентности данных.

Потому что MySQL 5.6 на двух параллельных инсертах в innodb табличке с автоинкрементом второму инсерту внезапно выплевывает под нагрузкой duplicate key и инсерт проваливается.

Поэтому ни 12-24GB shared_buffers, ни какие-либо еще тюнинги не помогали, пока ему не дали SSD.

а сколько всего памяти в железке было?

Ну и чекпоинтер диски хорошо прикладывает.

ну так это лечится контроллером с кешем и bbu.

Нагрузка детская, индексы, партиционирование - все есть, но диски дубасит даже при Fsync = off

и что говорит iotop/iostat и как там выглядит это всё на iowatcher?

> ну так это лечится контроллером с кешем и bbu Не вылечило. Был P420 с 1GB кеш-модуля. Ушли с него на SSD.

На железке - 64, но для этой приложухи (по имени постгри) мы запланировали предел потребления 32GB и танцуем от него

> ну так это лечится контроллером с кешем и bbu Не вылечило. Был P420 с 1GB кеш-модуля. Ушли с него на SSD.

что-то как-то не верится от слова совсем. у нас не самая свежая areca arc-1680 с 2Гб памяти и со включенным кешем записи оно вот прямо пуля. кстати, вы барьеры на фс выключали?

Да, само собой, выключал.

http://joxi.ru/ZrJpPOnS1VO3K2.jpg вот тут некоторое понимание того ада, который pg вытворяет с дисковой системой

на верхнем зеленое - это SSD, красное - шпиндели

как-то неинформативно =(

http://joxi.ru/ZrJpPOnS1VO3K2.jpg вот тут некоторое понимание того ада, который pg вытворяет с дисковой системой

у меня такое же ))

50 % iowait

iowait с помощью SSD уже победили http://dl2.joxi.net/drive/2016/09/09/0007/2721/490145/45/8573d07062.jpg

тоже думаем перевести на SSD

Правда, это не спасает от того треша который PG вытворяет с диском.

iowait с помощью SSD уже победили http://dl2.joxi.net/drive/2016/09/09/0007/2721/490145/45/8573d07062.jpg

чем победили?

С помощью SSD

С помощью SSD

facepalm.jpg

50 % iowait

а можешь iostat показать?

а можешь iostat показать?

Пока на обеде

facepalm.jpg

Хороший ssd может заменить до 3 DBA

хороший оракле может заменить 10 постгресов ))))

ща помидоры полетят )) но не удержался

Хороший ssd может заменить до 3 DBA

all flash storage может вообще заменить всё ))

говорят, хороший DBA может и Oracle на Postgres заменить )

Где дба взять хоть какого

;)

Где дба взять хоть какого

Купи ssd же, ну

Купи ssd же, ну

Смишно

говорят, если нет своего то можно обратиться в https://postgrespro.ru/ / http://postgresql-consulting.com/ там помогут/научат/объяснят, не бесплатно, конечно, но все же )

а можешь iostat показать?

http://i.imgur.com/cL3AdHB.png iostat http://i.imgur.com/JOW8r57.png cpu utilization

база в 300+ ГБ память 32 ГБ

пользователи 5000+

ахаха, все как у нас во времена без SSD

Разве что контроллер был аппаратным и иопсов давили больше

кто знает можно ли заглянуть внурь коммита?

pg_stat_activity показывает только COMMIT

ребят а как сделать автоматический бекап бд средствами windows?

норкоман штоле ?

Ребят... Всем добрый вечер. Подскажите по JSONB запросу. select data::jsonb from user_events where data @> '{"tуpe": "invite"}'; Ничего не выводит. Мне нужно получить все строки из таблицы, где в объекте поля data есть поле type со значением invite. Не пойму в чём проблема

Это "голый" вывод

select * from user_events

норкоман штоле ?

вай

я тут накатил просто 1с сервер на постгришу чёт изи зашло

ну берешь power shell и пишешь скрипт под pg_basebackup

подозреваю

в чем проблема то ?

я не оч просто шарю чё да как

щас на серваке тр бд

многовато както

Ребят... Всем добрый вечер. Подскажите по JSONB запросу. select data::jsonb from user_events where data @> '{"tуpe": "invite"}'; Ничего не выводит. Мне нужно получить все строки из таблицы, где в объекте поля data есть поле type со значением invite. Не пойму в чём проблема

Недавно решал эту проблему select * from user_events where (data::jsonb->type)::string = 'invite' Это неточный запрос, скорее всего нерабочий, но дает направление куда рыть. Суть в том что можно в WHERE достать нужную строку и работать как со строкой. Сам мучался долго.

select * from user_events where (data->'type')::text = 'invite'

Ребят... Всем добрый вечер. Подскажите по JSONB запросу. select data::jsonb from user_events where data @> '{"tуpe": "invite"}'; Ничего не выводит. Мне нужно получить все строки из таблицы, где в объекте поля data есть поле type со значением invite. Не пойму в чём проблема

Попробуй так.

Тааак..... Что-то хрень какая-то :)

ой у меня же нода есть

все вопрос отменяется

Сейчас скину

Тааак..... Что-то хрень какая-то :)

Хрень?

Не то что ты написал :)

А что у меня

Я в том плане что за хрень.

Я просто сам с jsonb игрался, мол круто и то и се, а потом меня спросили как сделать конкретные юзкейсы, и пришлось думать как сделать.

Верхний рабочий вариант, нижний нет

Не могу найти опечатку

select * from user_events where data->'type' ? 'invite'

Это если не нужно превращать в строку и использовать обычные операторы для строк.

я просто тоже сначала конструкцию как у тебя городил.

Да, мне хочется тоже простоты :)

У меня голова раскалывается от JSON запросов в PG

пробуй последний вариант

Рабочий

Я походу у себя мог опечатся и y или e на кирилице написать

ой у меня же нода есть

хипстер наркоман это что-то новое

Занимательно тут

расскажите, как вообще принято цеплять удалённые ноды по ненадёжному каналу? :) у меня есть raspberry pi, которая пишет в mysql-базу температуру и влажность. интернет там по gprs, электричество ненадёжно. как в принципе может выглядеть репликация этого счастья наружу? :) была мысль прицепить mysql_fdw и таскать таблицу по крону, но пока что не очень хочется возиться с пробрасыванием портов и туннелей :)