fsync тут не виноват ))

проблема в настройке рейда

или есть проблемные диски в нем

а fsync это же ф-я ос, которая удостоверяется в том, что данные действительно записаны, не? И если в raid контроллере батарейка и данные попали в кеш, то fsync сразу сделает return

@blkmrkt fsync отвечает за то, чтобы данные попали в диск, да

только диском считается контоллер диска с батарейкой в твоём случае

и туда ничего без него не попадёт

проблема в настройке рейда

raid контроллер от хостера у меня, странно что из ОС он никак не виден, и нигде нельзя ни статус его посмотреть, ни настроить

и останется в оперативной памяти

@blkmrkt fsync=on, synchronuous_commit=off

и туда ничего без него не попадёт

стоп, это без fsync постгрес будет в readonly режиме что ли работать?

причём тут readonly?

причём тут readonly?

наверное я неправильно понял @Komzpa

без fsync у тебя при крахе процесса postgres нет уверенности что БД сможет вернуться в нормальное состояние, а так конечно нагрузка на диск меньше при выключенном fsync. Но выключать можно лишь на БД которые не жалко потерять и можно отресторить из бекапа.

без fsync у тебя при крахе процесса postgres нет уверенности что БД сможет вернуться в нормальное состояние, а так конечно нагрузка на диск меньше при выключенном fsync. Но выключать можно лишь на БД которые не жалко потерять и можно отресторить из бекапа.

я читал что без fsync можно лишь потерять часть данных, а вот если трогать настройки wal, то выше шанс получить БД в inconsistent state, которая вообще не запустится

Нет. Из документации - If this parameter is on, the PostgreSQL server will try to make sure that updates are physically written to disk, by issuing fsync() system calls or various equivalent methods (see wal_sync_method). This ensures that the database cluster can recover to a consistent state after an operating system or hardware crash.

последнее предложение

fsync отключил, wal_writer_delay был 10сек

огонь!

Нет. Из документации - If this parameter is on, the PostgreSQL server will try to make sure that updates are physically written to disk, by issuing fsync() system calls or various equivalent methods (see wal_sync_method). This ensures that the database cluster can recover to a consistent state after an operating system or hardware crash.

понятно ? нужно потратиться на pcie диски наверное или ssd

понятно ? нужно потратиться на pcie диски наверное или ssd

=) походу это сильвербуллит для PG

ораклина на похожих нагрузках все в лет пережевывает ) тут вот лаг наката на стендбай получили =(

а на мастере всё нормально?

просто я думаю такие же нагрузки на wal и мастере должны быть

да, всю читающую нагрузку со слейвов на мастер перенесли, к удивлению он все вытянул

хотя он на ссд вроде ))))

ораклина на похожих нагрузках все в лет пережевывает ) тут вот лаг наката на стендбай получили =(

ну и железо железу рознь тоже, у моего прошлого хостера ssd были с помойки, и раз в месяц один из них меняли на другой помойный диск, после чего raid восстанавливался неделю. зато дешево

коллеги ) тут все сурьезно, вылетевшие винты меняют оперативно

@blkmrkt без fsync можно получить из базы фарш

имел дело с pcie во времена OCZ RevoDrive 3

логически он торчал как sata-контроллер с двумя воткнутыми в него дисками

когда начал сыпаться, они в dmesg из него просто выдернулись

чё там Ильнар?

по смс порталу

нужно хранить массив данных UUID, и искать по набору соответствия этих гуидов, какую структуру данных лучше использовать jsonb или UUID[]

с jsonb все получается, когда индексирую поле, ч UUID[] не нашел информации как создать индекс на массив, и как сделать запрос на несколько UUID

Пример CREATE TABLE json_test ( id INTEGER PRIMARY KEY NOT NULL, data JSONB ); CREATE INDEX json_test_expr_idx ON json_test ("?");

https://postgrespro.ru/docs/postgresql/9.5/functions-array.html

thanks

с массивами более производительней?

ясно, использовать оператор @>, а как с индексацией - можно наложить индекс на массив?

все как всегда: create index using gin )

Кирилл, а как написать запрос, найти вхождение элементов 2 3 и 5

так не получается:

select * from arr_test WHERE data @ > array[5,2];

получилось, спасибо

что-то с индексом create index idx_arr on arr_test using GIN(data);

[42704] ERROR: data type uuid[] has no default operator class for access method "gin" Подсказка: You must specify an operator class for the index or define a default operator class for the data type.

btree попробуйте (т.е. просто уберите gin), он должен сработать при поиске на вхождение

стоит привести к строке?

нет, uuid оставит и построить btree индекс

можете свой operator class создать: CREATE OPERATOR CLASS _uuid_ops DEFAULT FOR TYPE _uuid USING gin AS OPERATOR 1 &&(anyarray, anyarray), OPERATOR 2 @?anyarray, anyarray), OPERATOR 3 <@(anyarray, anyarray), OPERATOR 4 =(anyarray, anyarray), FUNCTION 1 uuid_cmp(uuid, uuid), FUNCTION 2 ginarrayextract(anyarray, internal, internal), FUNCTION 3 ginqueryarrayextract(anyarray, internal, smallint, internal, internal, internal, internal), FUNCTION 4 ginarrayconsistent(internal, smallint, anyarray, integer, internal, internal, internal, internal), STORAGE uuid;

:)

там вместо смайлика "OPERATOR 2 @> (anyarray, anyarray)"

Доброго дня! Сразу прошу прощения за, возможно, глупый вопрос. Но вот сходу порыввшить в сети не смог сформировать для себя уверенного представления, как нужно сделать, чтобы все было хорошо. Собственно вопрос просто, что указывать в качестве русской локали при инициализации кластера под windows? В наличии есть только 1251, C и POSIX. А хочется родной ru_RU.UTF-8. Администраторы со стороны заказчика говорят, что это нормально для windows, и никак дополнительно в ОС они локали сконфигурировать не могут, отправляя разбираться с СУБД. Здесь http://stackoverflow.com/questions/6579621/lc-collate-and-lc-ctype-suport-for-utf-8-in-postgresql предлагают в таких случаях выбирать C, однако, как я понимаю, в этом случае могут возникнуть проблемы подобные этой http://www.sql.ru/forum/784071/smena-lokali-v-postgresql

спасибо

Доброго дня! Сразу прошу прощения за, возможно, глупый вопрос. Но вот сходу порыввшить в сети не смог сформировать для себя уверенного представления, как нужно сделать, чтобы все было хорошо. Собственно вопрос просто, что указывать в качестве русской локали при инициализации кластера под windows? В наличии есть только 1251, C и POSIX. А хочется родной ru_RU.UTF-8. Администраторы со стороны заказчика говорят, что это нормально для windows, и никак дополнительно в ОС они локали сконфигурировать не могут, отправляя разбираться с СУБД. Здесь http://stackoverflow.com/questions/6579621/lc-collate-and-lc-ctype-suport-for-utf-8-in-postgresql предлагают в таких случаях выбирать C, однако, как я понимаю, в этом случае могут возникнуть проблемы подобные этой http://www.sql.ru/forum/784071/smena-lokali-v-postgresql

а че ru_RU.UTF8 не получается указать?

Доброго дня! Сразу прошу прощения за, возможно, глупый вопрос. Но вот сходу порыввшить в сети не смог сформировать для себя уверенного представления, как нужно сделать, чтобы все было хорошо. Собственно вопрос просто, что указывать в качестве русской локали при инициализации кластера под windows? В наличии есть только 1251, C и POSIX. А хочется родной ru_RU.UTF-8. Администраторы со стороны заказчика говорят, что это нормально для windows, и никак дополнительно в ОС они локали сконфигурировать не могут, отправляя разбираться с СУБД. Здесь http://stackoverflow.com/questions/6579621/lc-collate-and-lc-ctype-suport-for-utf-8-in-postgresql предлагают в таких случаях выбирать C, однако, как я понимаю, в этом случае могут возникнуть проблемы подобные этой http://www.sql.ru/forum/784071/smena-lokali-v-postgresql

Пробовали with template=template0 ?

Какой минимальный уровень привилегий необходим, чтобы опрашивать селектами pg_stat_* и читать параметры репликации?

LOGIN REPLICATION не дает читать select client_addr, pg_xlog_location_diff(pg_current_xlog_location(), replay_location) from pg_stat_replication;

v9.4.9 если что

всем привет у меня нубовский вопрос: session (s)1: update table set count = count + 1 where max > count returning id, count, max; s2 (cuncurrent): update table set count = count + 1 where max > count returning id, count, max; если s1 завершится первой в s2 будет инкремент и возврат строк удовлетворяющих условию ?

update ставит локи на обновляемые строки, поэтому я думаю, что результат будет такой, как если бы они выполнялись последовательно

Смущает пример в доке "Команда DELETE не сделает ничего, даже несмотря на то, что строка с website.hits = 10 была в таблице и до, и после выполнения UPDATE. Это происходит потому, что строка со значением 9 до изменения пропускается, а когда команда UPDATE завершается и DELETE получает освободившуюся блокировку, строка с 10 теперь содержит 11, а это значение уже не соответствует условию." https://postgrespro.ru/docs/postgrespro/9.5/transaction-iso или это только относится к связке UPDATE - DELETE

Все, разобрался, проверил: открыл 2 сесии и проверил

> если s1 завершится первой в s2 будет инкремент и возврат строк удовлетворяющих условию ? да отдаст удовлетворяющие условию строки

поменяйте уровень изоляции и не мучайтесь

Все, разобрался, проверил: открыл 2 сесии и проверил

вопросы консистентности данных однократным тестом не проверяются

вопросы консистентности данных однократным тестом не проверяются

от многократных тестов транзакции в постгресе как-то иначе начнут работать ?

статистика

а че ru_RU.UTF8 не получается указать?

нет к сожалению, пишет, что не может такой локали найти

Ура! https://git.openstreetmap.org/chef.git/commitdiff/e3cf43a

от многократных тестов транзакции в постгресе как-то иначе начнут работать ?

Нет, просто успешное однократное поведение не гарантирует повторяемость этого поведения. Я перечитал это дело по диагонали и не знаю, какой IL применяется, просто этот тест не говорит ни о чем.

теперь-то заживем

а что не так с мозиллой-то было?

у кугиса юзер-агент Mozilla/5.0 QGIS/2.17.0

ааа

IMHO под WIN при initdb надо отдельно указывать codepage и locale

initdb --encoding=UTF-8 --locale=Russia_Russian

Кажется так

initdb --encoding=UTF-8 --locale=Russia_Russian

спасибо, попробуем

Нет, просто успешное однократное поведение не гарантирует повторяемость этого поведения. Я перечитал это дело по диагонали и не знаю, какой IL применяется, просто этот тест не говорит ни о чем.

ну, там без разницы какой уровень изоляции, вроде бы как, а вот как раз повторяемость и должен постгрес обеспечивать, понятно что в нем самом могут быть ошибки никто от этого не застрахован )

я очень плохо помню всю кухню с уровнями, но, насколько понимаю, на "позволительных" это превращается в банальный race condition, где постгрес сам по себе уже ничего не может сделать.

Это не совсем так, там выше очень правильная ссылка https://postgrespro.ru/docs/postgrespro/9.5/transaction-iso ;)

Какие воркеры кроме SQL, bgwriter, checkpointer, autovacuum могут еще писать буфферы на диск?

Тут https://postgrespro.ru/docs/postgrespro/9.5/monitoring-stats.html#PG-STAT-BGWRITER-VIEW в таблице "27-7. Представление pg_stat_bgwriter" говорится: buffers_backend bigint Количество буферов, записанных самим серверным процессом buffers_backend_fsync bigint Сколько раз серверному процессу пришлось выполнить fsync самостоятельно (обычно фоновый процесс записи сам обрабатывает эти вызовы, даже когда серверный процесс выполняет запись самостоятельно) В этих текстах непонятно какой серверный воркер упомянут

У меня получается идиотская ситуация, что синхронно с началом работы чекпоинтера, появляется какой-то параллельный воркер который пишет буфферы на диск ровно то же время, которое пишет их чекпоинтер на диск, причем в начале он сильно больше кидает буфферов, а потом поток в несколкьо раз меньше чем у чекпоинтера, и я пытаюсь понять, почему так: http://pix.my/kGAfPn1a

Есть checkpoint, есть bgwriter который тащит из шаред буфера на диск. Упомянутый серверный процес это процесс обрабатывающий соединение с клиентом, он тоже может сбрасывать грязные страницы если в буфере нет свободных, но это не очень хорошо, вполне себе должен справлятся brwriter

все постгресовые процессы есть тут https://github.com/postgres/postgres/tree/master/src/backend/postmaster

https://www.youtube.com/watch?v=iODeKnTD1kA&list=PLaFqU3KCWw6JgufXBiW4dEB2-tDpmOXPH&index=1