Это вот как раз может быть одной из причин не очень хорошей производительности: . Они на вставку/обновление совсем не быстрые, да и размер приличный. . Что неприятно, никакой адекватной статистики (для планировщика) про JSONb не собирается, поэтому планы запросов будут строиться в стиле "да ладно, повезёт!". Т.е. PostgreSQL будет использовать этот индекс, даже если это на самом деле в N раз медленнее (хотя для атрибутов это, к счастью, редко бывает).

Спасибо за советы. Думаю что надо попробовать. ))))

А писал-то я о другом, о функциональных индесах / индексах по выражению. CREATE INDEX ON ... ((column—>attribute)).

За одно опыт получить работы с jsonb

А писал-то я о другом, о функциональных индесах / индексах по выражению. CREATE INDEX ON ... ((column—>attribute)).

А

Yaroslav читал что с версии 9.5 можно какой то ключ только обновить

А обновится-то на диске всё равно вся запись! :)

А обновится-то на диске всё равно вся запись! :)

К нас не будет кучи товаров. Там товаров не более 5 тыс уникальных. А то и меньше.

Т.е. будет создан row version "целиком", никуда Вы от этого не денетесь (разве что в TOAST попадёт). И, кстати, при обновлении других полей в той же таблице... см. выше. :(

И нагрузки высокой не планируется

И нагрузки высокой не планируется

Тогда всё, что сзязано с производительностью, для Вас действительно неважно. :) Остаётся только корректность... а про неё я основное уже, вроде, написал. Ну и удобство написания запросов, но это зависит от нужных запросов.

Тогда всё, что сзязано с производительностью, для Вас действительно неважно. :) Остаётся только корректность... а про неё я основное уже, вроде, написал. Ну и удобство написания запросов, но это зависит от нужных запросов.

Спасибо ещё раз за советы. Будем пробовать )

Тавой-то. Поле V в EAV таблице какого типа?

Какого надо. Какого атрибут , такого и типа поле

Спасибо ещё раз за советы. Будем пробовать )

Да не за что... К тому же, и советовал-то я в другом направлении. ;) Если будет возможность, поделитесь здесь впечатлениями после какого-то времени эксплуатации?

Да не за что... К тому же, и советовал-то я в другом направлении. ;) Если будет возможность, поделитесь здесь впечатлениями после какого-то времени эксплуатации?

Обязательно!

Какого надо. Какого атрибут , такого и типа поле

Так вот реляционная модель такого не допускает, такие дела. Мелочь, казалось бы... но на том и конец. ;)

Ну я подумал что буду валидировать с помощью таблицы метаданных. Мне в eav не нравится то что значение это строка

Просто у тебя неправильный EAV. Вот такой да, Антипаттерн. Но кто тебя заставляет все атрибуты в строках хранить?

Так вот реляционная модель такого не допускает, такие дела. Мелочь, казалось бы... но на том и конец. ;)

Все она допускает, если делать правильно

Просто у тебя неправильный EAV. Вот такой да, Антипаттерн. Но кто тебя заставляет все атрибуты в строках хранить?

Не имеет это значения, в данном случае. Имеются в виду домены, в понимании реляционной теории.

И чё, домены,и чего с ними?

Все она допускает, если делать правильно

А бумага всё стерпит, да. Только не всё, что можно написать на бумаге с помощью математических символов, является выражением. Тут точно та же проблема, т.е. EAV вот очень похожа на множество отношений... но нет.

Ты можешь в EAV делать хоть по таблице на тип атрибута, и все будет ок. Ну, таблиц будет больше на 2-3 десятка...

И чё, домены,и чего с ними?

Всё то же. У поля "V" нет никакого конкретного домена. Для проверки, FK с него Вы никуда не сделаете.

Ты можешь в EAV делать хоть по таблице на тип атрибута, и все будет ок. Ну, таблиц будет больше на 2-3 десятка...

Мы всё ещё про EAV говорим? ;) Когда по таблице на атрибут, в виде: (id_товара, время_высыхания) (id_товара, напряжение) Это уже совсем даже не EAV.

Это EAV

Мы всё ещё про EAV говорим? ;) Когда по таблице на атрибут, в виде: (id_товара, время_высыхания) (id_товара, напряжение) Это уже совсем даже не EAV.

Можно так, можно по таблице на тип атрибута, тот самый твой домен...

Кто мешает?

https://pbs.twimg.com/media/DlIDzZqXsAEwtnS.jpg

мой блог недостаточно популярен

Это EAV

Нет. Где тут E-A-V?

Можно так, можно по таблице на тип атрибута, тот самый твой домен...

Никто, только это совсем другая (и уже реляционная) модель. :)

почему у Ярослава еще нет админской должности

камон

Я тоже за flat table

Всем привет! 20 сентября мы устраиваем митап по лучшей open-source реализации шардированного postgres'а - массивно-параллельной СУБД Greenplum. Если вы задумывались: - как растянуть вашу БД на десятки и сотни серверов (сохранив полную совместимость с PostgreSQL) - как хранить сотни ТБ реляционных данных - как выполнять на таких объёмах сложные аналитические запросы Приходите на митап и узнайте всё из первых рук! Митап будет проходить на территории самого крупного пользователя Greenplum в России - Tinkoff.ru

https://meetup.tinkoff.ru/events/greenplum-meetup

А в онлайне никак не посмотреть? -_-

Трансляцию в этот раз увы не получается сделать( Но будут записи после

а то те, кто живут далеко-далеко тоже интересны такие вещи =)

Попробую ещё раз выбить трансляцию, ок)

Попробую ещё раз выбить трансляцию, ок)

спасибо. Если что объявление же здесь будет?

Да, я ещё сделаю несколько анонсов ближе к дате и тогда уточню что с трансляцией

> The site at https://postgres.ru/ has experienced a network protocol violation that cannot be repaired. Если это кому-то интересно. ;)

https://www.endpoint.com/blog/2016/09/19/pghealer-repairing-postgres-problems "оо, да какой клевый проект... а черт.... умер 2 года назад..."

@tempik будет жить. Поприветствуем!

wal’oв еще на несколько дней вперед, до достижения этой точки обработка занимала 10-15 сек, после - 2-3 мин

куда копать?

Кто авито сломал ? )

кто-то допарсился :D

А похоже по LSN что consistent state - это точка в которой закончился backup?

Жесть, попробую воспроизвести.

Какая версия PG?

Какая версия PG?

Может до точки backup-end оно просто сравнивает md5 блоков и ей в основниом ничего с ними делать не надо?

А потом хочешь-не-хочешь всё что в WAL надо творчески переосмыслить и вылить на диск?

Может до точки backup-end оно просто сравнивает md5 блоков и ей в основниом ничего с ними делать не надо?

Такого он не умеет, этож надо хранить в вале чексумму блока

ОК. Сравнить блок в WAL от full_page_writes с блоком с диска. Убедиться что они идентичны и ничего в диск не писать?

Опять же если full-page-writes то md5 должно приезжать вместе с блоком в WALе?

ОК. Сравнить блок в WAL от full_page_writes с блоком с диска. Убедиться что они идентичны и ничего в диск не писать?

Такого он вроде не умеет. И если бы умел, не было бы оснований переставать это делать после точки консистености

Такого он вроде не умеет. И если бы умел, не было бы оснований переставать это делать после точки консистености

Эт так. Но после consistent state все блоки на диске гарантировано старые.

Там есть сравнение LSN, если бэкап совершался в момент, когда отсутствовала активная запись, то накат вала до точки консистености будет относительно быстрый за счет этого

Эт так. Но после consistent state все блоки на диске гарантировано старые.

Справедливо

А сравнение LSN чего с чем?

LSN в блоке в датафайле с LSN применяемой записи

Т.е. в header блока есть максимальный LSN с которым были изменения в блоке?

Ага

Ну тем легче

Так последовательные изменения одного и того же блока приведут только к одной финальной записи этого блока.

Какая версия PG?

9.6

общий размер БД 1.1Т

А минорная версия какая?

А минорная версия какая?

postgres (PostgreSQL) 9.6.8

Там есть сравнение LSN, если бэкап совершался в момент, когда отсутствовала активная запись, то накат вала до точки консистености будет относительно быстрый за счет этого

base_backup делался в выходной день, с умеренной нагрузкой на запись

может быть из-за массового DDL в момент, который воспроизводится. shared_buffers какого размера?

может быть из-за массового DDL в момент, который воспроизводится. shared_buffers какого размера?

DDL замедлил бы применение вала и до точки консистентности

DDL замедлил бы применение вала и до точки консистентности

а там его могло и не быть. WALы декодить надо чтобы сказать точно

А тут раз и секунды превращаются в минуты

А тут раз и секунды превращаются в минуты

ну так мыж наблюдали уже такое...

Да, но тут такое началось именно после точки согласованности, мне кажется маловероятным, что сразу после нее в вале попер DDL

ты уверен, что оно завязано на точку консистентности или это просто совпадение? Давайте посмотрим на размер shared_buffers и на потребление проца процессом рекавери

может быть из-за массового DDL в момент, который воспроизводится. shared_buffers какого размера?

8GB (всего 16 Гб)

8GB (всего 16 Гб)

можете натравить pg_xlogdump на сегмент WAL`а ***0D3?

характер потребления ресурсов не изменился , как до точки, так и после нее - postmaster есть одно ядро

сейчас даже меньше

ну с другой стороны и диск загружен

ну с другой стороны и диск загружен

я тоже смотрел сначала на %util , но простейший тест с DD выдает совершенно другие цифры

dd не эмулирует рандомное обращение

я тоже смотрел сначала на %util , но простейший тест с DD выдает совершенно другие цифры

не очень понимаю как сравнивать с dd

dd не эмулирует рандомное обращение

верно. не подскажете, чем тогда лучше замерить?

fio

Иван, ну смотрите, если есть возможность попробовать, то можно на время восстановления попробовать уменьшить shared_buffers (до 256МБ например) и посмотреть как оно или попробовать 9.6.10 (там было исправлено "Improve performance of WAL replay for transactions that drop many relations" https://www.postgresql.org/docs/9.6/static/release-9-6-10.html) может это Ваш случай

Иван, ну смотрите, если есть возможность попробовать, то можно на время восстановления попробовать уменьшить shared_buffers (до 256МБ например) и посмотреть как оно или попробовать 9.6.10 (там было исправлено "Improve performance of WAL replay for transactions that drop many relations" https://www.postgresql.org/docs/9.6/static/release-9-6-10.html) может это Ваш случай

спасибо, shared_buffers попробую поправить, а wal файлы совместимы между минорными версиями?

по умолчанию считаем что совместимы. Но, в случае postgres, нельзя ни в чём быть уверенным, поэтому если решитесь обновляться, то внимательно почитайте release notes (бывает нужны доп действия)

result of fio