Default city засыпает, просыпается восток страны

я хочу попросить помощи в воспроизведении бага btree_gist. у меня при выполнении последовательности команд все заканчивается сегфолтом постгреса. тестировал на нескольких убунтах. хотелось бы узнать, что у остальных (ос/есть-нет)

Том Лейн отписался по багу в btree_gist https://www.postgresql.org/message-id/flat/7893.1493908562%40sss.pgh.pa.us#7893.1493908562@sss.pgh.pa.us

вопрос по рестору. -t, —table=NAME restore named table тут можно использовать регулярки типа table_*? я хочу восстановить все таблицы, кроме некоторых

блин, неделю работал скрипт загрузки pgloader, и ночью сервер сдох без объяснений. Можно как-нибудь найти на какой линии pgloader остановился? Он там довольно часто ошибки кидал, думаю можно просто skip lines указать

блин, неделю работал скрипт загрузки pgloader, и ночью сервер сдох без объяснений. Можно как-нибудь найти на какой линии pgloader остановился? Он там довольно часто ошибки кидал, думаю можно просто skip lines указать

Я не работал с ним, но есть соображение. Скорее всего, pgloader просто последовательно заполняет страницу за страницей в таблице на низком уровне в обход транзакций. Можно взять pageinspect, если он умеет показать количество страниц - узнать номер последней. И считать содержимое последней страницы, увидеть последний идентификатор и по нему в исходной базу найти номер строки

pgloader - это обчный copy

транзакционный

Denis твой запрос складывает 9.6.1 на Heroku на две минуты :)

Denis твой запрос складывает 9.6.1 на Heroku на две минуты :)

Я создал оружие, трепещите?

Всем добрый день! Прошу прощения, если немного не в тему чатика, но возник вопрос. 1) У меня есть полнотекстовый поиск (сделан как тут http://qualcode.ru/article/postgresql-full-text-search/ , словари тоже оттуда), качество поиска просто ниже плинтуса. Может есть словари получше и это поможет моему делу? 2) Решал ли кто-то задачу с помощью Postgresql по определению насколько 2 текста похожи. У меня стоит задача только ранжирования. ts_rank'ом просто матчить один текст к другому понравилось не сильно. Сталкивался ли кто-то с такой задачей? Или стоит просто забить и начать копать elasticsearch?

@kardanovir http://obartunov.livejournal.com/195950.html

Всем добрый день! Прошу прощения, если немного не в тему чатика, но возник вопрос. 1) У меня есть полнотекстовый поиск (сделан как тут http://qualcode.ru/article/postgresql-full-text-search/ , словари тоже оттуда), качество поиска просто ниже плинтуса. Может есть словари получше и это поможет моему делу? 2) Решал ли кто-то задачу с помощью Postgresql по определению насколько 2 текста похожи. У меня стоит задача только ранжирования. ts_rank'ом просто матчить один текст к другому понравилось не сильно. Сталкивался ли кто-то с такой задачей? Или стоит просто забить и начать копать elasticsearch?

1 - попробуйте этот словарь https://github.com/postgrespro/hunspell_dicts/tree/master/hunspell_ru_ru 2 - pg_trgm не пробовали?

хммм, а у Олега есть интересного по тегу fts: http://obartunov.livejournal.com/tag/fts

Я не работал с ним, но есть соображение. Скорее всего, pgloader просто последовательно заполняет страницу за страницей в таблице на низком уровне в обход транзакций. Можно взять pageinspect, если он умеет показать количество страниц - узнать номер последней. И считать содержимое последней страницы, увидеть последний идентификатор и по нему в исходной базу найти номер строки

эх, сделал truncate и запустил с нуля

Всем добрый день! Прошу прощения, если немного не в тему чатика, но возник вопрос. 1) У меня есть полнотекстовый поиск (сделан как тут http://qualcode.ru/article/postgresql-full-text-search/ , словари тоже оттуда), качество поиска просто ниже плинтуса. Может есть словари получше и это поможет моему делу? 2) Решал ли кто-то задачу с помощью Postgresql по определению насколько 2 текста похожи. У меня стоит задача только ранжирования. ts_rank'ом просто матчить один текст к другому понравилось не сильно. Сталкивался ли кто-то с такой задачей? Или стоит просто забить и начать копать elasticsearch?

Я решал задачу парсинга строковых адресов людей на город в регионе, улицу и дом/квартиру по справочнику ФОМСа, похожего на КЛАДР на полнотекстовом поиске. Могу сказать, что распознание очень хорошее и похоже на магию) скорость - около сотни адресов в секунду. По поводу ранжирования - это было самое сложное и метрики я придумывал эмпирически на базе ts_rank, ts_rank_cd и некоторых неявных параметров из таблиц

Спасибо за интересные ссылки и идеи! Пойду копать)

посоны, а кто-нибудь знает как правильно работать с таймзонами в бд? Типа если мне нужно рисовать графики в таймзоне юзера, а в бд они в UTC

лучше всего не работать с таймзонами в БД

по возможности всё перевести в абсолютный unix time и в нём и оперировать

по возможности всё перевести в абсолютный unix time и в нём и оперировать

Почему?

по возможности всё перевести в абсолютный unix time и в нём и оперировать

ну а что делать, если юзер запрашивает данные в своей таймзоне, а мне твой unix time потом надо раскидать по day/month/year?

Почему?

таймзоны ездят и неоднозначны

пусть они будут в unix time, я не спорю что так норм

но другое дело как потом с этим работать в таймзоне юзера

Как раз потому что они ездят, я их и использую. Иначе как определить локальное время события после того, как таймзона пользователя изменилась?

at time zone 'user_timezone' вполне нормально работает

ну мб другой какой-то хитрый вариант есть

или гайды

типа данные я запрашиваю в utc, а потом date_trunc уже в AT TIME ZONE?

=> select NOW(), NOW() at time zone 'Europe/Berlin'; now | timezone -------------------------------+---------------------------- 2017-05-05 14:12:22.016835+03 | 2017-05-05 13:12:22.016835 (1 row)

ну если графики рисовать надо - то всякие графаны так и передают диапазон unix ts, между которыми надо график нарисовать

а если не графаны, а highcharts им подавай unixtimestamp * 1000

а дальше лейблы уже на клиенте локализуются

Вообще я не согласен с Дарафеем, мы храним в timestamp without time zone (что тоже неправильно), в timestamptz просто запарно хранить, но верно (имхо), особенно если проект интернациональный. В unixtimestamp хранить это непонятно ни человеку, ни базе, разве что для приложения норм.

мы храним в timestamptz, но везде по протоколам ходит unix timestamp

а чем запарно в timestamptz? он же ничем наощупь не отличается от timestamp в простых кейсах

У нас были мускульные базы, в которых лежали unix, при миграции на постргрес переехали as is, потом добавляли колонки новые without time zone – конвертили unix туда и как то было не до зон, особенно мы попали в те года, когда время двигали туда-сюда и мы соответсвенно это деллали аврально, чтобы данные не забиллились в одно и то же время за следующий час. Если бы начинали новый проект – сделали бы timestamptz. А щас уже западло переносить.

Хранить не запарно, запарно переписать запросы выборок, биллинги и т.д. потому что их много.

Не подскажете, где искать мощных DBA?

Уже не один нужен

В канале дба?)

Так нужен DBA по postgreSQL

postgresql-conculting рекомендую

В этот раз от уровня и потребностей кандидатов отталкиваться будем)

У них вилок нет вроде

Сколько хочешь проси)

Не, если ты рассматирваешь 200+, мы готовы тебя собеседовать)

Мало видимо

А сколько разумно для тебя?)

От 300 нетто хочет наверное

?

Так нужен DBA по postgreSQL

Поясните вкратце чем DBA за 200+ (рублей?) занимается? Следит за здоровьем кластера, чтоб делались рабочие бекапы, добавляет и меняет железо, следит за юзерами?

Хочешь в DBA пойти, пусть меня научат?))

Поясните вкратце чем DBA за 200+ (рублей?) занимается? Следит за здоровьем кластера, чтоб делались рабочие бекапы, добавляет и меняет железо, следит за юзерами?

а причем тут юзеры и железо?

Не, работу не ищу, просто интересно. Например при каких объемах данных и оборотах имеет смысл нанимать отдельного DBA а то и двух?

на удалёнку джуном возьмите в дба )

мне, кстати, тоже интересно :)

Поясните вкратце чем DBA за 200+ (рублей?) занимается? Следит за здоровьем кластера, чтоб делались рабочие бекапы, добавляет и меняет железо, следит за юзерами?

Будет заниматься как архитектурой, так и базовой слежкой за состоянием, юзерами, репликами, миграциями. Консультировать наших ребят. По желанию даже лекции читать))

а причем тут юзеры и железо?

Да просто предположил. Почему бы и нет?

Ну вот наши ДБА занимаются тем, что @RunOver написал. Еще ночью реагируют, если базе поплохело. Разворачивают, конфигурируют, обновляют.

ERROR: S client not available

Будет заниматься как архитектурой, так и базовой слежкой за состоянием, юзерами, репликами, миграциями. Консультировать наших ребят. По желанию даже лекции читать))

А объемы данных у вас какие и насколько высокая нагрузка? Железо свое наверное?

ребутнуть надо? а то всё равно в то же место тычется [root@scw-ae7500 init.d]# /usr/pgsql-9.6/bin/postgresql96-setup initdb Initializing database ... touch: cannot touch ‘/var/lib/pgsql/9.6/initdb.log’: No such file or directory failed, see /var/lib/pgsql/9.6/initdb.log еще и издевается )

а было вот что: я удалил под корень дефолтный кластер прям вместе с папкой 9.6. но оказывается где-то в скриптах гвоздями прибит путь к /var/lib/pgsql/9.6/initdb.log. вернул папку 9.6 и пошло как по маслу!

а было вот что: я удалил под корень дефолтный кластер прям вместе с папкой 9.6. но оказывается где-то в скриптах гвоздями прибит путь к /var/lib/pgsql/9.6/initdb.log. вернул папку 9.6 и пошло как по маслу!

угу, это в /etc/postgresql/ пишется

А объемы данных у вас какие и насколько высокая нагрузка? Железо свое наверное?

Нагрузка не особо высокая сейчас, примерно 20 тысяч записей в секунду, но скоро на китай выходим. Будет веселье.

А объемы данных у вас какие и насколько высокая нагрузка? Железо свое наверное?

Все железо арендуем

всем бы в китай ?

всем бы в китай ?

Мм?

угу, это в /etc/postgresql/ пишется

вот бы параметр запуска найти

Мм?

ну намёк на то что вы не одни такие )

Ну вот наши ДБА занимаются тем, что @RunOver написал. Еще ночью реагируют, если базе поплохело. Разворачивают, конфигурируют, обновляют.

А где вас посмотреть можно?

:D

Нагрузка не особо высокая сейчас, примерно 20 тысяч записей в секунду, но скоро на китай выходим. Будет веселье.

а что доминирует из 20тыс, инсерты или апсерты?

инсерты

Нас не посмотреть, потому что я не ДБА) Мы пользуемся услугами http://dataegret.ru

У нас хайлоад и все дела

инсерты

а какой примерно размер данных на дисках?

Мм?

мне вот в эти выхи на крутой сервак в прод разворачивать планету. и хоть бы завалящего дба, который подскажет что в конфиг сервера выставить, как потоки распределить по ядрам... не, всё самому придётся угадывать. и да, речь про азию тоже в том числе

а какой примерно размер данных на дисках?

Размер базы?

мне вот в эти выхи на крутой сервак в прод разворачивать планету. и хоть бы завалящего дба, который подскажет что в конфиг сервера выставить, как потоки распределить по ядрам... не, всё самому придётся угадывать. и да, речь про азию тоже в том числе

да все просто ? если SSD, то random_page_cost: 1, кластер инициализировать с чексуммами, ну и memory limits побольше

Размер базы?

угу, в ГБ/ТБ

~4тб

@blkmrkt ты свою базу так и не поднял?

~4тб

хех, у меня точно так же, записей столько же, и тысяч 10 апсертов в сек

@blkmrkt ты свою базу так и не поднял?

вот последний релейшн залил, но ночью в ДЦ пропало электричество. Сейчас дропнул ее, делаю vacuum full и начну заново. Неделю заливалось

всем спасибо и спокойной ночи. завтра продолжим )

в общем так. для того чтобы в центось7 создать кластер в другом, отличном от дефолтного, месте достаточно изменить строку Environment=PGDATA=/var/lib/pgsql/9.6/data/ в /lib/systemd/system/postgresql-9.6.service

в общем так. для того чтобы в центось7 создать кластер в другом, отличном от дефолтного, месте достаточно изменить строку Environment=PGDATA=/var/lib/pgsql/9.6/data/ в /lib/systemd/system/postgresql-9.6.service

Не, лучше параметр передать pg_createcluster

в общем так. для того чтобы в центось7 создать кластер в другом, отличном от дефолтного, месте достаточно изменить строку Environment=PGDATA=/var/lib/pgsql/9.6/data/ в /lib/systemd/system/postgresql-9.6.service

я так не мучился, просто создавал по дефолту, потом переносил в нужно место и делал симлинк

так-то да, systemctl restart postgresql-9.6

и вот в чем вопрос. в случае единственного кластера сервис еще не запущен, а вот если один кластер уже существует (например по стандартному пути) и вдобавок создаётся еще в другом месте, то рестарт сервиса (с изменённой строкой) не выкинет ли первый в даун?

Не, лучше параметр передать pg_createcluster

наверно как раз мой случай, спасибо почитаю