привычка подвела

блин вот у орокла все эти груп и каунт как нож по маслу

Кровавый ынтырпрайз, что ты хотел-то. Тут инищий опенсорс.

блин вот у орокла все эти груп и каунт как нож по маслу

сначала субд настрой =)

Хотя оракл лучше, да

Да простят меня в этом чате, но https://lookaside.fbsbx.com/file/understanding-indexing-webinar-deck.pdf?token=AWwYiAySaromHnivOgbQDP0XnmrkfRnfoIx6aUArtiYwXTHUNuSr7MGJf_PVOxSYZtz3v9HTDSURwPoOd95tWaHjc8tZtBRLCCddCqHnQbR7ADmA0ycWmEX_HcPZY3UZMWhW9M3yeQeAZ4M-L6mgzmgJ_QXqXoiFcqNnAxvik79h8w

Я думаю там столько костылей в оракле за бабки кастомеров, что не счесть

тотал рантайм побыстрее стал на 40%

после чего ?

после конфига

Да простят меня в этом чате, но https://lookaside.fbsbx.com/file/understanding-indexing-webinar-deck.pdf?token=AWwYiAySaromHnivOgbQDP0XnmrkfRnfoIx6aUArtiYwXTHUNuSr7MGJf_PVOxSYZtz3v9HTDSURwPoOd95tWaHjc8tZtBRLCCddCqHnQbR7ADmA0ycWmEX_HcPZY3UZMWhW9M3yeQeAZ4M-L6mgzmgJ_QXqXoiFcqNnAxvik79h8w

Это мне посыл был?)

тотал рантайм побыстрее стал на 40%

индексы тебя спасут...

вероятно

@dezconnect : см. слайд 56 и далее

Rule 3: Avoid Sorting

да я в курсе про это

А вот еще был кейс, что нам надо было NULLS LAST делать. А в постгресе NULLS FIRST подефолту. В итоге приходилось добавлять ORDER BY ну и кароч финиш тут. Seq scan.

Как такое лечить?

Это чуть чуть пересекается с моим предыдущим вопросом.

Ой, я @korotovskii имел в виду. @dezconnect , а в PostgreSQL это не работает?

да почему работает, мыж рассуждаем про сферичный запрос в вакууме

поэтому и советы такие =)

не типа данных не разряженности ничего

? Кстати, на NULLS FIRST/LAST наш любимый Олег Бартунов как минимум на HighLoad++ уже обращал внимание.

Не видел. А о чем там речь была?

Причем кесов в конкретно нашем приложении с этим долбаным NULLS LAST просто тьма. Есть товары с ценой, у некоторых цена NULL. И их надо в конец. Ну вы поняли короче как все на самом деле.

Мы пока захерачили хак цена -1.

Так и живем.

Формально Олег не рассказал ничего особого для тех, кто хорошо читает и понимает документацию.

А для остальных звучало, как хорошее напоминание.

http://www.slideshare.net/profyclub_ru/o-lt?ref=http://www.highload.ru/2013/abstracts/1170.html

https://vimeo.com/105424016

Я видимо кривой.

Кстати, @ultranoise, посмотрите, наверное, сначала видеозапись выступления Олега Бартунова и Александра Короткова, а потом (да простит меня наш чат) как раз Understanding Indexing Without Needing to Understand Data Structures от Tokutek, слайды которой я скинул выше. Кажется, вы не конца понимаете искусство использования индексов.

Спасибо! Я как раз читаю какой то фак и думаю что нельзя бездумно на поле вешать индекс а тем более индексировать что попало

Кстати, @ultranoise, посмотрите, наверное, сначала видеозапись выступления Олега Бартунова и Александра Короткова, а потом (да простит меня наш чат) как раз Understanding Indexing Without Needing to Understand Data Structures от Tokutek, слайды которой я скинул выше. Кажется, вы не конца понимаете искусство использования индексов.

А по поводу NULLS FIRST/LAST наводку не дадите?

Или вы про это? https://www.postgresql.org/docs/current/static/indexes-ordering.html

Если да, то вроде я это пробовал и в нашем конкретном кейсе это не помогло. Ну либо, опять же, я кривой.

Да, про это. Значит, вам не ваш случай, или ошиблись где-то.

Просто при переходе с MySQL многие не забывают, что по историческим причинам PostgreSQL btree по умолчанию по возрастанию и nulls first, а в MySQL наоборот.

*** забывают (без НЕ)

Надо будет еще раз попробовать значит. Может где то ошибся, хотя это вполне возможно, потому что тот ад, который возник всвязи с Seq Scan надо было быстро убрать, для чего и было запилено -1 ?

*** забывают (без НЕ)

Сообщения можно редактировать

Сообщения можно редактировать

Из вэба нельзя.

Кстати, кто еще не видел, в pg-utils есть удобный готовый генератор отчетов нагрузки на базу: http://highload.guide/blog/uploads/images_performance/performance_postgresql_3.jpg

Удачная обертка над pg_stat_statements )))))))

Я что-то пропустил или ultranoise так запрос и не привел ?

запрос Select count(*) as c, blablabla from table where and and and and group by order by limit

Без подробностей, но привел.

HashAggregate (cost=127535.73..127535.74 rows=1 width=2) (actual time=7007.313..7007.314 rows=2 loops=1) -> Seq Scan on logs (cost=0.00..127532.54 rows=638 width=2) (actual time=7001.479..7007.265 rows=32 loops=1) Rows Removed by Filter: 1520815 Total runtime: 7007.538 ms

А вот ссылка на его план

У нас есть много информации на wiki.postgresql.org, в частности, на русском языке https://wiki.postgresql.org/wiki/Russian

И там есть ссылка на https://wiki.postgresql.org/wiki/Slow_Query_Questions/ru

И там есть ссылка на https://wiki.postgresql.org/wiki/Slow_Query_Questions/ru

туда бы sql-запросы написать которые вытянут ответы на некоторые вопросы о метаданных таблиц в запросе, я уж не говорю о том чтоб засунуть какую-нибудь help/troubleshooting функцию ( fn(table1, table2 ... ) ) в системные для получения данной информации )

Это все в наших силах, можете сами его дополнить или конкретно написать хотелку. Тут наверняка найдутся ребята, которые смогут помочь.

На сколько я знаю у PostgreSQL-Consulting есть достаточно наработок в виде pg-utils, вопрос: а не возникало ли желание все это "причасать" и продвигать в контриб, что-то вроде performance schema у mysql ? Я, пока, не сильно компетентен чтоб такие штуки задвигать )

Хотя вещь интересная и в процессе постижения мной постгреса возможно тоже что-то появится

У нас почти все это есть, читаем https://www.postgresql.org/docs/9.5/static/monitoring-stats.html и wiki

да, я видел, частью даже пользуюсь, спасибо

а вот в виуи https://wiki.postgresql.org/wiki/Index_Maintenance

Попробуйте собрать себе такую preformance schema и предложите народу. Действительно, всем будет полезно.

как минимум, на вики разместить на русском языке ваш опыт.

Спасибо, с continuous integration для PL/pgSQL закончу и займусь )

Коллеги, что делать если чекпоинтер запускается раз в 5 минут и кладет базу на две минуты?

генерит избыточное кол-во синков чем и прикладывает пару саташек.

размазать его по времени

ставил 15 минут, кладет на 6 минут базу

ERROR: S client not available

т.е. время тупняка пропорционально интервалу сна чекпоинтера

checkpoint_completion_target - сколько "тянуть" будет

http://pix.my/kBDB9GvY?1464355455

стоит 0.5

мне тут рекомендуют 0.7

еще checkpoint_timeout можно / нужно увеличить. А он у вас по времени срабатывает или по количеству сегментов/размеру ?

64 сегмента

по расписанию - каждые 15 минут

сделайте час, что его каждые 15 минут дергать если диски не тянут

это в смысле запускать раз в час?

да, таймаут час и checkpoint_completion_target поднимите чтоб запись размазал

Спасибо

ещепотом смотрите на что срабатывает время/сегменты, можно сегменты "поднять" чтоб только по времени работало (если место позволяет)

Опять этот спамер

призываю Oleg

или @pasha_golub

или @pasha_golub

Слушаю

предлагали же просто найти и морду набить чтобы неповадно было )

Слушаю

спамеры опять прорываются)

Заблокировал. Спасибо за внимание ?

и тебе спасибо)

Done

Восхитительная база этот постгрес. Мечта хипстора. Пошел отговаривать коллег от него.

Не надо

Попробуйте собрать себе такую preformance schema и предложите народу. Действительно, всем будет полезно.

Хорошо

Спасибо, с continuous integration для PL/pgSQL закончу и займусь )

Поделиться надо бы

Поделиться надо бы

UI http://185.143.172.56/ логин/пароль demo/demo Код + фреймворк для тестов https://github.com/postgres-ci Можно сказать уже "бета") инструкцию по сборке после выходных отпишу, там все достаточно просто, но нужен docker и, внезапно, постгрес 9.5 )

Не удержался сменить пароль для демо пользователя. ?

demo/demo1 )

именно для таких случаев там в хранимке только return оставлен

как знал )