я про виртуализацию и постгрю :-\

Какая у вас ос, фс и гипервизор?

я про виртуализацию и постгрю :-\

нужно больше виртаулизации для стабильности :)

если проблемы будут продолжаться - можете обратиться к нам, в PgPro, у нас есть утилита, что проверяет консистентность инстанса. к тому же мы работаем над checksum'ами у clog (в ванильном pg этого нет, к вопросу о включенных чексуммах)

Утилита проверяет опять же с помощью чексум или еще какие-то проверки?

для ваниллы - да

Т.е. виртуализация для постгреса зло?

лишние слои - да, ничего плохого конкретно про vmware не могу сказать, кроме (WRITE SAME failed. Manually zeroing)

для ваниллы - да

Мне ваш коллега уже посоветовал отказаться от виртуализации и lvm. Перейти на голое железо чтобы избегать таких проблем.

Утилита проверяет опять же с помощью чексум или еще какие-то проверки?

Что то у вас странное.

для ваниллы - да

Мне кажется в данном случае, что то ещё. Так как делается востановление из логического бекапа.

народ можете подсказать группу по мускулю

?

или помочь с мускулем

Мне кажется в данном случае, что то ещё. Так как делается востановление из логического бекапа.

Я тоже так считаю :)

Потому и пытаюсь понять в чем дело. Может проблема в конкретной сборке.

А проблема воспроизводится, если развернуть базу из plain sql дампа на другом хосте?

коллеги, извините, я по-быстрому с тупым вопросом

у меня есть pgbouncer с собственными юзерами

они могут логиниться и коннектиться к базам

но не могут запросы делать

как им награнтовать-то?

Какая у вас ос, фс и гипервизор?

Слушайте, а ваш индекс вообще имеет отношение к бд которую вы бекапите?

ещё очень желательно восстанавливаться на свежий инстанс постгреса

Слушайте, а ваш индекс вообще имеет отношение к бд которую вы бекапите?

Да, в логах имя базы к которой относится индекс.

А проблема воспроизводится, если развернуть базу из plain sql дампа на другом хосте?

Вот этого сказать не могу. Не пробовал.

А в какой момент это возникает? Когда клиенты селекты начинают слать или сразу после рестора?

Я выше описал как все происходит по моим наблюдениям. Возникает примерно после одних и тех же действий. Возникает не всегда. Может несколько дней работать, потом рецедив. Но всегда после остановки/запуска сервиса пг. На этом инстансе работаем полторы недели всего.

у меня есть pgbouncer с собственными юзерами

гранты на юзера коннетка в баунсере?

Я выше описал как все происходит по моим наблюдениям. Возникает примерно после одних и тех же действий. Возникает не всегда. Может несколько дней работать, потом рецедив. Но всегда после остановки/запуска сервиса пг. На этом инстансе работаем полторы недели всего.

что значит после?

Я выше описал как все происходит по моим наблюдениям. Возникает примерно после одних и тех же действий. Возникает не всегда. Может несколько дней работать, потом рецедив. Но всегда после остановки/запуска сервиса пг. На этом инстансе работаем полторы недели всего.

очень похоже что у вас умирает диск или виртуалка глючит...

очень похоже что у вас умирает диск или виртуалка глючит...

Вот как это диагностировать и доказать человеку который занимается гипервизором? Ибо на нем же работают другие виртуалки(в основной массе win машины) вполне успешно.по крайней мере я о проблемах не слышал. Сыпалась фс только на одной машин машинке с почтовиком(но больше рецедива не было). Да и на эту виртуалку я перешел одновременно с переходом на новую версию постгреса.

и всё же, что значит "после"?

Значит service postgresql stop, чистка вал архива / start , basebackup, старт службы 1с. 1с начинает крутить свои задания на базах и появляются ошибки в логе.

Значит service postgresql stop, чистка вал архива / start , basebackup, старт службы 1с. 1с начинает крутить свои задания на базах и появляются ошибки в логе.

ну это очень похоже на то что до диска иногда не долетает write, другого объяснения почему внезапно у btree страница оказалась пустой (а точнее pd_upper) я не знаю.

а почему после востановления это происходит - потом оно скорее всего всё в буффер кладётся и с диска чтения нету.

ЗЫ моё мнения как разработчика тут может сильно отличаться от мнения и практик DBA ЗЫ2 тестируйте мой pg_arman: https://github.com/postgrespro/pg_arman

гранты на юзера коннетка в баунсере?

ну у меня userlist.txt, в котором описаны юзеры и в pgbouncer.ini базы с параметрами юзеры приходят в баунсер с креденшлами из userlist.txt попадают к базам но не могут запросы делать

а почему после востановления это происходит - потом оно скорее всего всё в буффер кладётся и с диска чтения нету.

Да, согласен. Что-то не дошло к примеру до диска. Потом мы опять старикам, получаем невалид. Восстанавливаем, реиндексуем все ок какое-то время пока опять не повторяется ситуация. Почему вот только данные до диска не доходят

ну у меня userlist.txt, в котором описаны юзеры и в pgbouncer.ini базы с параметрами юзеры приходят в баунсер с креденшлами из userlist.txt попадают к базам но не могут запросы делать

В pgbouncer.ini же тоже юзер прописан, или нет?

там "настоящий" прописан

с которым баунсер к постгресу идет

Ну вот в постгре гранты прийдется отдавать именно на него. Или отказываться от users.txt

блин, да

чот я затупил

спасибо большое

хороший наброс кала на Оракл. В принципе, все ж так и есть: https://stratechery.com/2016/oracles-cloudy-future/

https://www.citusdata.com/blog/2016/09/22/announcing-citus-mx/

перед тем как набрасывать, сами бы сделали что нибудь уровнем не хуже

перед тем как набрасывать, сами бы сделали что нибудь уровнем не хуже

хуже или лучше можно расматривать только с точки зрения конкретной задачи и с конкретными рессурсами...

сам EDB  рассылает отчет гартнера по базам со следующим слайдом где ТСО у комерческих продуктов не ниже чем у проприетарных

хотя не ) тут наоборот

чем больше тем лучше

то-то мысль закралась что это они антирекламу себе делают :)))

Добрый день. ребята! можете подсказать как мне оптимизировать БД, чтобы запросы поступающие на сервер быстрее отрабатывались? select i.pkey, ci.oldvalue, ci.oldstring from changeitem ci,changegroup cg, jiraissue i, project p, issuelinktype ilt where ci.oldvalue is not null and ci.newvalue is null and ci.field='Link' and ci.fieldtype='jira' and ci.groupid=cg.id and cg.issueid = i.id and i.project=p.id and p.pkey in ('ENG', 'SERV') and cg.created>'2016-09-23 11:04:00.818' order by cg.created

БАЗА используется для jira. размеры таблиц jiraissue - 1GB,

changeitem = 2.1 GB

changegroup = 800 MB

project - 35 KB

issuelink = 29 MB

у всех btree индексы по первичным ключам

Я думаю, что без структур таблиц со ВСЕМИ индексами мало кто чего скажет.

я сейчас вот собираюсь скинуть

для начала стоит explain приложить

ERROR: S client not available

у всех btree индексы по первичным ключам

составные индексы сделай, по полям которые в запросе

EXPLAIN (ANALYZE,BUFFERS)

с первого взгляда рисуются условные where ci.oldvalue is not null and ci.newvalue is null

насчёт составных - надо более другие запросы смотреть.

на них нет индексок

это таблица chageitem

условный, это вот так: create index ci_fieldtype_idx on changeitem (fieldtype) where changeitem.oldvalue is not null and changeitem.newvalue is null;

результат explain

Но это, опять же - зависит от более других запросов.

условный, это вот так: create index ci_fieldtype_idx on changeitem (fieldtype) where changeitem.oldvalue is not null and changeitem.newvalue is null;

Спасибо. но как быть с другими запросами. Хотя за неделю мониторинга, мне только эти подобные запросы начали сыпаться

С другими запросами - надо их смотреть и думать.

Универсальной кнопки "Сделать все замечательно" в работе с БД нет и не будет в оборзимом будующем

Спасибо! =) Тогда вопрос следующий как искать мертвые индексы?

В смысле ненужные

у меня в psqlrc такое нашлось — 4 helpful queries from radek http://radek.cc/2009/08/15/psqlrc-tricks-table-sizes/ \set trashindexes '( select s.schemaname as sch, s.relname as rel, s.indexrelname as idx, s.idx_scan as scans, pg_size_pretty(pg_relation_size(s.relid)) as ts, pg_size_pretty(pg_relation_size(s.indexrelid)) as "is" from pg_stat_user_indexes s join pg_index i on i.indexrelid=s.indexrelid left join pg_constraint c on i.indrelid=c.conrelid and array_to_string(i.indkey, '' '') = array_to_string(c.conkey, '' '') where i.indisunique is false and pg_relation_size(s.relid) > 1000000 and s.idx_scan < 100000 and c.confrelid is null order by s.idx_scan asc, pg_relation_size(s.relid) desc )' \set missingindexes '( select src_table, dst_table, fk_name, pg_size_pretty(s_size) as s_size, pg_size_pretty(d_size) as d_size, d from ( select distinct on (1,2,3,4,5) textin(regclassout(c.conrelid)) as src_table, textin(regclassout(c.confrelid)) as dst_table, c.conname as fk_name, pg_relation_size(c.conrelid) as s_size, pg_relation_size(c.confrelid) as d_size, array_upper(di.indkey::int[], 1) + 1 - array_upper(c.conkey::int[], 1) as d from pg_constraint c left join pg_index di on di.indrelid = c.conrelid and array_to_string(di.indkey, '' '') ~ (''^'' || array_to_string(c.conkey, '' '') || ''( |$)'') join pg_stat_user_tables st on st.relid = c.conrelid where c.contype = ''f'' order by 1,2,3,4,5,6 asc) mfk where mfk.d is distinct from 0 and mfk.s_size > 1000000 order by mfk.s_size desc, mfk.d desc )' \set rtsize '(select c.oid, table_schema, table_name, pg_relation_size( quote_ident( table_schema ) || \'.\' || quote_ident( table_name ) ) as size, pg_total_relation_size( quote_ident( table_schema ) || \'.\' || quote_ident( table_name ) ) as total_size from information_schema.tables i join pg_class c on (c.relname = i.table_name) where table_type = \'BASE TABLE\' and table_schema not in (\'information_schema\', \'pg_catalog\') order by pg_relation_size( quote_ident( table_schema ) || \'.\' || quote_ident( table_name ) ) desc, table_schema, table_name)' \set tsize '(select table_schema, table_name, pg_size_pretty(size) as size, pg_size_pretty(total_size), pg_catalog.obj_description(oid, 'pg_class') as total_size from (:rtsize) x order by x.size desc, x.total_size desc, table_schema, table_name)'

https://wiki.postgresql.org/wiki/Index_Maintenance

Ооо, спасибо!=)

а есть у кого что рассказать про Citus MX?

https://www.citusdata.com/blog/2016/09/22/announcing-citus-mx/

шалом

тут помогают по ПГ?)

есть задача вывести ddl всех индексов в БД

как написать скриптик?

или только вариант pg_dump вместе с —schema-only?

в смысле ddl? имена всех индексов?

или скрипт создания этих индексов?

pg_get_indexdef()