Г-ди, что ж за фигня то. Запустил pg_dump с zero_damaged_pages = on, все равно он прерывается на pg_dump: Error message from server: ERROR: missing chunk number 0 for toast value 38645199 in pg_toast_16455 Сейчас запущу скрипт для перебора туплов с select * как @Aytuar предложил

Добрый день. Может кто-нибудь просветить относительно механизма checksum. Предположим кластер инициализирован с ними. В какой момент и при каких операциях идет сверка? При каждом запросе на получение данных, в запросах на изменения или может вообще проверка осуществляется только при старте сервера? При работе утилиты pg_dump происходит контроль?

думаю что сверка делается при поднимании странички с диска в шаред буфер. А меняется при изменении данных страницы.

Я так же предполагал, но хотелось бы более конкретного понимания. При работе с некоторыми командами (copy), насколько я знаю, в шаред буфере создаются отдельные структуры. Все ли они выполняют эти проверки.

в доке ни чего не нашел. Тут либо спросить разработчиков, либо изучть исходник.

Хм, может кто подкинуть доку как правильно развернуть бекап сделанный под линуксом на базу на windows? А то сейчас он жалуется на ковычки.

O_o

чо то все как-то совсем плохо

А програмки разные не помогают?)

зачем же адреса не замазал? ))

да фиг с ними

Хм, может кто подкинуть доку как правильно развернуть бекап сделанный под линуксом на базу на windows? А то сейчас он жалуется на ковычки.

А есть разница между бэкапами?

ну если не считать того, что он сделан под линуксом, а разворачиваю под виндой - нет.

?

такое чувство, будто под виндой не та кодировка стоит

Да там по умолчанию разные кодировки

Коллеги, подскажите какие есть альтернативы дблинку, надо 2 базы в рамках одного хоста подружить ( дать возможность читать\менять данные )

помно что-то было еще, но что конктретно не могу загуглить :) помогите плз

postgres_fdw

postgres_fdw dml умеет ?

хотя почитаю пока )

до 9.6 только insert

Вадим, спасибо !

не за что

Г-ди, что ж за фигня то. Запустил pg_dump с zero_damaged_pages = on, все равно он прерывается на pg_dump: Error message from server: ERROR: missing chunk number 0 for toast value 38645199 in pg_toast_16455 Сейчас запущу скрипт для перебора туплов с select * как @Aytuar предложил

Блин ну и фигня с этими тостами. Снова прошелся этим скриптом по записям в табице, запустил pg?dump, и та же ошибка missing value for pg_toast_N. Ночью нашел этот же скрипт для отбора битых записей, только на питоне: https://github.com/pgexperts/find-bad-toast/blob/master/find_bad_toast Он за 9 часов перебрал всего 2,7 миллиона записей из 450 миллионов. Что делать то, а?

zero_damaged_pages никак не повлиял на эксепшон при дампе pg_dump, я проверял что он включен в SHOW ALL

Блин ну и фигня с этими тостами. Снова прошелся этим скриптом по записям в табице, запустил pg?dump, и та же ошибка missing value for pg_toast_N. Ночью нашел этот же скрипт для отбора битых записей, только на питоне: https://github.com/pgexperts/find-bad-toast/blob/master/find_bad_toast Он за 9 часов перебрал всего 2,7 миллиона записей из 450 миллионов. Что делать то, а?

привет, покажи ошибку

у pg есть особенность - можно сделать dd if=/dev/zero bs=8k на relation

и тогда это будет валидный блок

скорее всего у тебя не поврежденный блок, а транкейтнутый файл (0 размера)

привет, покажи ошибку

Мигрирую бд на новый сервер, и вот с такой ошибкой отваливается pg_dump через 6 часрв: pg_dump: Dumping the contents of table "profiles" failed: PQgetResult() failed. pg_dump: Error message from server: ERROR: missing chunk number 0 for toast value 38645199 in pg_toast_16455 Я скриптом SELECTил все записи в таблице, и на эксепшонах создавал список невалидных id, которые потом сделал DELETE FROM profiles WHERE id in (1, 2, 3, ...), но все равно pg_dump отваливается

ну да, у тебя файл от релейшена pg_toast_16455 транкейтнутый

xfs?

ext4

Xfs же от такого вылечили тыщу лет назад, не?

осадочек остался :D

бывают бородатые centos

ох я не разбираюсь в этом. Последний раз про фс линукса читал про ReiserFS в журнале Хакер, автор еще в тюрячке сидит вроде до сих пор

Ну да, я тоже попадался на такое, но лет 6-7 назад

у меня типичный Debian 8 и хардвар RAID с магнитными дисками, сейчас мигрирую на ssd c софтверным raid6

А не, вру, какую-легаси файлопомойку пару лет назад спасал от xfs

ну да, у тебя файл от релейшена pg_toast_16455 транкейтнутый

а можно его как-то вылечить?

select pg_relation_filenode('pg_toast_16455'::oid);

помоему так

а можно его как-то вылечить?

^^ давай посмотрим что на диске, дай результат комманды

select pg_relation_filenode('pg_toast_16455'::oid);

ERROR: invalid input syntax for type oid: "pg_toast_16455" LINE 1: select pg_relation_filenode('pg_toast_16455'::oid)

pg_relation_filenode(relation regclass)

https://www.postgresql.org/docs/current/static/functions-admin.html

select pg_relation_filepath('pg_toast_16455'::regclass);

может сразу файлик? pg_relation_filepath

у меня типичный Debian 8 и хардвар RAID с магнитными дисками, сейчас мигрирую на ssd c софтверным raid6

RAID6 вы выбрали зря

select pg_relation_filepath('pg_toast_16455'::regclass);

хммм: ERROR: relation "pg_toast_16455" does not exist LINE 1: select pg_relation_filepath('pg_toast_16455'::regclass)

у меня типичный Debian 8 и хардвар RAID с магнитными дисками, сейчас мигрирую на ssd c софтверным raid6

у ссд в рейде с записью плохо

RAID6 вы выбрали зря

а какой лучше? Пока не поздно наверное можно реконфигурировать его

у меня типичный Debian 8 и хардвар RAID с магнитными дисками, сейчас мигрирую на ssd c софтверным raid6

raid6? зачем?

а какой лучше? Пока не поздно наверное можно реконфигурировать его

10

или просто зеркало

реконфигурировать нельзя - только удалить и заново создать

raid6? зачем?

ну я открыл вики, RAID6: посыпаться могут 2 диска, а данные не потеряются, ну и ок

а с RAID10 места мало

а с raid6 медленно

10 тоже не быстро))

ох, не знал. я потестил пока что, вроде бы прекрасно по сравнению с физ. диском

ну 6ка сильнее просаживается

ну я открыл вики, RAID6: посыпаться могут 2 диска, а данные не потеряются, ну и ок

проблема в том, что они могут начать осыпаться равномерно. Когда диск вылетит - вы его поменяте, начнется ребилд и рейд рассыпется из-за отказа диска в момент ребилда

проблема в том, что они могут начать осыпаться равномерно. Когда диск вылетит - вы его поменяте, начнется ребилд и рейд рассыпется из-за отказа диска в момент ребилда

ну ничего, мне лишь бы запуститься, а там и отдельную серверную стойку можно арендовать

Не говоря о том, что ссд в рейде медленный

Ну для ссд максимум что можно использовать это raid1 и то хз, нужен он или нет

ну еще будет время оптимизировать, сейчас бы бд на новый сервер перенести...

Знатоки подскажите, 500 таблиц в SQL это нормально?

Знатоки подскажите, 500 таблиц в SQL это нормально?

подозреваю, что зависит от задачи. Я видел больше и это было оправдано

подозреваю, что зависит от задачи. Я видел больше и это было оправдано

например?

например?

полное управление технологическими цепочками огромного завода. В этой базе было все - от отчетов станков до финансовой аналитики.

Oracle + Sun E25K

В данном случае имеет место быть CRM система vTiger

>Знатоки подскажите, 500 таблиц в SQL это нормально? Работал я как-то на банковской системе которой больше 20 лет, так там было около 500 таблиц, при том что она поддерживала реализацию SWIFT, разные виды платежей, аналитику, антифрод систему и еще хереву тучу функционала. А деплоилась как .WAR на WebLogic....

В данном случае имеет место быть CRM система vTiger

для CRM, ИМХО, многовато. Но я так понимаю - решение коробочное, и деваться вам некуда

У нее скорее всего говенная архитектура

>Знатоки подскажите, 500 таблиц в SQL это нормально? Работал я как-то на банковской системе которой больше 20 лет, так там было около 500 таблиц, при том что она поддерживала реализацию SWIFT, разные виды платежей, аналитику, антифрод систему и еще хереву тучу функционала. А деплоилась как .WAR на WebLogic....

да, тоже норм пример

>Знатоки подскажите, 500 таблиц в SQL это нормально? Работал я как-то на банковской системе которой больше 20 лет, так там было около 500 таблиц, при том что она поддерживала реализацию SWIFT, разные виды платежей, аналитику, антифрод систему и еще хереву тучу функционала. А деплоилась как .WAR на WebLogic....

есть же reply?

обычно большое количество таблиц живет в аналитических системах - данные разрозненные, потом их в OLAP-куб клеют

У нее скорее всего говенная архитектура

Вот у меня подозрение похожее

Как они это пишут?

Скорее всего для кастомных обьектов создаются отдельные таблицы

Как они это пишут?

тяп-ляп и в продакшн, как обычно. Качество архитектур в закрытых системах часто хромает

от того, что плодит в базе 1с - хочется рвать волосы на себе

по кол-ву таблиц определили гавеность архитектуры?)

> Знатоки подскажите, 500 таблиц в SQL это нормально? Странный критерий оценки нормальности.

500 таблиц норм, а вот 500 схем это уже не очень

500 таблиц норм, а вот 500 схем это уже не очень

А поподробнее? Как раз мой случай теоретически ;)

На stackoverflow читал что до 10000 схем держит нормально

pgsql может и держит нормально

а погромист не оч :D

Я слышал о случае, когда по схемам распихивали кастомеров - каждый клиент в своей схеме. Удобно, когда надо удалить или перенести на отдельную ноду все данные по конкретному клиенту, но неудобно выполнять DDL.