а некоторые недоумевают: "и зачем нам эти stored procedures?". а вот затем

ребята, кто-то из вас по-серьезному использовал хеш индексы?) http://rhaas.blogspot.ru/2017/09/postgresqls-hash-indexes-are-now-cool.html?m=1

ребята, кто-то из вас по-серьезному использовал хеш индексы?) http://rhaas.blogspot.ru/2017/09/postgresqls-hash-indexes-are-now-cool.html?m=1

использовали в одном из проектов: мало того что он не работал с репликой, так еще был поломаный и возвращал неверные данные, ну тоесть поиск через index не возвращал данные, а через seq scan - возвращал. ну почему разработчики решили выбрать его в качестве индекса по email не спрашивайте меня

а вообще вся ситуация с hash-индексами в pg - это пример того что "ненужно" превратилось в "кто-то допилил" и теперь "нужно" и "cool"

а вообще вся ситуация с hash-индексами в pg - это пример того что "ненужно" превратилось в "кто-то допилил" и теперь "нужно" и "cool"

сильное заявление, а пруфы есть воспроизводимые насчет не возвращал данные?

ну че как маленький, просто если индекс занимает >= 2 сегмента по гигабайту - удали последний сегмент и получишь это на любом индексе :)

сильное заявление, а пруфы есть воспроизводимые насчет не возвращал данные?

PvP или засал?

PvP или засал?

+1

PvP или засал?

ща с основы перезайду

Товарищи, а если скопировать содержимое папки postgresql и перебросить его на идентичный сервер (та же версия ОС и postgreSQL), то он заведется?

Да, я понимаю, что это не самый лучший способ делать восстановление, но как быть, если бекапов нет? ?

Товарищи, а если скопировать содержимое папки postgresql и перебросить его на идентичный сервер (та же версия ОС и postgreSQL), то он заведется?

а что у вас в этой папке? Если имеете в виду data, то заведется

Да, там data

Товарищи, а если скопировать содержимое папки postgresql и перебросить его на идентичный сервер (та же версия ОС и postgreSQL), то он заведется?

В целом да, но могут быть ньюансы, если разные версии glibc.

Хорошо, спасибо. Вскоре узнаю правильный ответ

@ParadoxTelegram, пробовал майрокс?

@vadvmkn спасибо за информацию

@ParadoxTelegram, пробовал майрокс?

неа, поленился и так и не провел тесты пока что)

использовали в одном из проектов: мало того что он не работал с репликой, так еще был поломаный и возвращал неверные данные, ну тоесть поиск через index не возвращал данные, а через seq scan - возвращал. ну почему разработчики решили выбрать его в качестве индекса по email не спрашивайте меня

В 10ке хэш индекс сделали логируемым, так что с репликой будет работать нормально. "Поломка" думаю тоже была связана с логированием. У вас случались "падения" сервера по питанию или кернел паникой? В это случае хэш индекс конечно мог побиться. В десятке он будет таким же надёжным, как и btree.

Привлекает тот факт, что хеш индекс по определению вставляет за O(1)

Подскажите пожалуйста по pgconf в Москве 5го мастерклассы 6-7го доклады?

Подскажите пожалуйста по pgconf в Москве 5го мастерклассы 6-7го доклады?

мастерклассы в последний день — см. вчера статья на хабре

7 мастер-классы.

Привлекает тот факт, что хеш индекс по определению вставляет за O(1)

По какому определению? Worst case по-прежнему O(N).

По какому определению? Worst case по-прежнему O(N).

по определению average ?

по определению average ?

Это _амортизированное_ среднее. Т.е. на практике "константа" в "реальном" среднем O(1) может тихо "плыть" в сторону увеличения (на Ваших данных). ;)

смотрел бенчмарки по вставке по сравнению с btree и выглядят они неплохо тем не менее, в ближайшее время так и не нашел хорошего применения hash index в своей работе

смотрел бенчмарки по вставке по сравнению с btree и выглядят они неплохо тем не менее, в ближайшее время так и не нашел хорошего применения hash index в своей работе

Simulations are like miniskirts, they show a lot and hide the essentials. — Hubert Kirrman ;)

:)

А если найду?

Сначала найдете URL

лайк

пацанские сайтики ...

? мутная схема

с Ильёй помучали только что Брюса вопросами. На его родном языке, так что сорри что без перевода. Но вышло интересно, про то, куда постгрес движется и как он видит текущие вызовы https://www.youtube.com/watch?v=YMlP_Qgebck

с Ильёй помучали только что Брюса вопросами. На его родном языке, так что сорри что без перевода. Но вышло интересно, про то, куда постгрес движется и как он видит текущие вызовы https://www.youtube.com/watch?v=YMlP_Qgebck

Спасибо！Было интересно.

спасибо за отзыв. А я как обычно забыл в конце сказать "подписывайтесь на наш канал", так что тут говорю -- подписывайтесь https://www.youtube.com/playlist?list=PL6sRAkPwcKNnwScnpKomNXechZQ3WZe1j Ближайший ивент — с Максом Богуком. Это будет нечто. Австралия-Калифорния-Германия-Россия. Я уже подписался на то чтобы делать это в полночь по калифорнийскому времени, так что заранее сорри если буду засыпать, хотя Макс обычно такое рассказывает про продвинутый SQL, что вряд ли уснёшь ? https://www.meetup.com/postgresqlrussia/events/246602821/

Может кто подскажет, как в jsonb заменить key при условии что он вложен в другой и что есть другие key с таким же названием но их менять не надо. Например: {a:{b:value, c:value}, k{c:value, h:value}} Мне надо чтобы 'с' в первом случае стало 'p'.

Есть replace с regex но осталось только регулярку придумать а с этим не так хорошо

Есть replace с regex но осталось только регулярку придумать а с этим не так хорошо

Регулярка плохой вариант здесь. Это разово надо сделать? Напишите процедуру на plpython.

Регулярка плохой вариант здесь. Это разово надо сделать? Напишите процедуру на plpython.

Да, разово. До этого момента думал на шарпе консольное приложение сделать. Теперь думаю стоит разобраться с plpython, не знал чтл такое есть. Можете пример показать?

create or replace function update_json(s json) as $$ import json data = json.loads(s) data['a']['c'] = 'p' return json.dumps(data) $$ languagle plpythonu;

Потом делаете update table set foo = update_json(foo);

Функцию я не проверял. написал на скорую руку, но принцип, я думаю, ясен.

Есть метод jsonb_set -стандартный

https://www.postgresql.org/docs/9.6/static/functions-json.html курить тут

Можно, кстати и средствами jsonb обновить: https://stackoverflow.com/questions/18209625/how-do-i-modify-fields-inside-the-new-postgresql-json-datatype

спасибо огромное)

всем привет! подскажите, а есть какой-то метод понять, страницы памяти какого процесса linux вытеснены в swap?

всем привет! подскажите, а есть какой-то метод понять, страницы памяти какого процесса linux вытеснены в swap?

/proc/pid/{smaps,status,stat} и smem

всем привет! подскажите, а есть какой-то метод понять, страницы памяти какого процесса linux вытеснены в swap?

Помню гуглил скрипт для этого на баше

https://www.cyberciti.biz/faq/linux-which-process-is-using-swap/

своп маст дай

https://www.cyberciti.biz/faq/linux-which-process-is-using-swap/

спасибо?

своп маст дай

OOM killer must have?

всем привет! подскажите, а есть какой-то метод понять, страницы памяти какого процесса linux вытеснены в swap?

только в этом особого смысла нет по-моему

OOM killer must have?

ну я недавно прошелся по киллеру (или он по мне). ничего страшного, поправил конфиг и дальше лопатить данные отправился

надо сказать что это конечно не продакшен а так

в продакшене конечно разное бывает но имнхо своп там тем более стоит перекрывать ОЗУ

своп нужен, он позволяет убрать хлам из памяти и разгрузить её для кеша

своп нужен, он позволяет убрать хлам из памяти и разгрузить её для кеша

+

только в этом особого смысла нет по-моему

мне надо было посмотреть, какие процессы постгреса залазят в свап... сегодня была таинственная история с дисковой утилизацией под 100% и я бы хотел видеть кто и насколько в нем сидит.

мне надо было посмотреть, какие процессы постгреса залазят в свап... сегодня была таинственная история с дисковой утилизацией под 100% и я бы хотел видеть кто и насколько в нем сидит.

если процессу выделяется память из свопа, не всегда виноват этот процесс

если процессу выделяется память из свопа, не всегда виноват этот процесс

я понимаю

сопоставление графиков загрузки с логами выполнения = никакой таинственности

мне надо было посмотреть, какие процессы постгреса залазят в свап... сегодня была таинственная история с дисковой утилизацией под 100% и я бы хотел видеть кто и насколько в нем сидит.

А что в это время своп тоже был забит?

мне надо было посмотреть, какие процессы постгреса залазят в свап... сегодня была таинственная история с дисковой утилизацией под 100% и я бы хотел видеть кто и насколько в нем сидит.

Вангую - не своп виноват. Бэкапы или снапшоты

проблема в том, что есть маленькая база на 5 гб. вчера вечером она увеличилась на 10% и сегодня утром началась дисковая утилизация под 100%. статистика была собрана нормально, планы были корректны и бодро использовали индексы... при этом один и тот же запрос мог выполняться 2 секунды, а мог и 120 сек. при этом у него были абсолютно одинаковые попугаи в explain (analyze, buffers) и даже количество чтений с дисков было одно и то же. я просмотрел самые ходовые запросы из pg_stat_statemnets по total_time, прикладывал их к графикам mamonsu и...ничего не понял. просто периодически дисковая утилизация 100 и все стоит колом

А временные файлы не писались?

я уже подумал, возможно у меня часть страниц из памяти ушла в своп и там сидит - поэтому планировщик ожидает быстрого досупа, а получает доступ с диска. но понять по свопу не смог - его как-то давно полностью попользовал сервер на отчете, и соответственно в htop он был полностью съеден (но не факт, что использоваался)

А временные файлы не писались?

немного, но ничего выдающегося на фоне остальных дней

проблема в том, что есть маленькая база на 5 гб. вчера вечером она увеличилась на 10% и сегодня утром началась дисковая утилизация под 100%. статистика была собрана нормально, планы были корректны и бодро использовали индексы... при этом один и тот же запрос мог выполняться 2 секунды, а мог и 120 сек. при этом у него были абсолютно одинаковые попугаи в explain (analyze, buffers) и даже количество чтений с дисков было одно и то же. я просмотрел самые ходовые запросы из pg_stat_statemnets по total_time, прикладывал их к графикам mamonsu и...ничего не понял. просто периодически дисковая утилизация 100 и все стоит колом

Виртуалка? Проверь хост на котором она стоит, у меня было так что соседние машины СХД забивали, и текущая тоже показывала 100% утилизации.

есть нюанс - эта база живет на виртуалке с общим дисковым пулом от ibm, но опять же - общая загрузка диска хоста была невысокой - в лимитах дисковой подсистемы бился постгрес в виртуализированной системе

я уже подумал, возможно у меня часть страниц из памяти ушла в своп и там сидит - поэтому планировщик ожидает быстрого досупа, а получает доступ с диска. но понять по свопу не смог - его как-то давно полностью попользовал сервер на отчете, и соответственно в htop он был полностью съеден (но не факт, что использоваался)

освободи своп тогда и посмотри как будет

освободи своп тогда и посмотри как будет

так и сделал, поправил один запрос, добавил немного оперативки, узнал от вас про smem - жду завтра))

есть нюанс - эта база живет на виртуалке с общим дисковым пулом от ibm, но опять же - общая загрузка диска хоста была невысокой - в лимитах дисковой подсистемы бился постгрес в виртуализированной системе

Ну понятно что постгрес будет, это же наверное сервер БД, там больше некому на диск ходить.