там после номера страницы за запятой идет еще цифра

Ну тысяча твоих строк вряд ли поместятся в страницу

ааа, цифра это номер строки просто?

На сколько помню, это версия

select ctid, * from comments where ctid = '(92804,51)'; вот это максимальная строка которую вручную подобрал, она читается

а как селектнуть все записи из страницы?

Надо доку читать, не хочу наврать, но если ты в страницу только записывал, то с большой вероятностью там строки

dd сколько в среднем строк показывало? Вот проверь чуть больше

вот такую квери запустил: select ctid, * from comments where (ctid::text::point)[0]::bigint = 92804;

оно видимо полным перебором идет

Когда получишь результат и 92804 окажется исправной, проверь чисткой 92805 испортит это 92804 или нет. А то по последовательности твоих чисток складывается ощущение, что там еще предыдущая страница захватывается

Когда получишь результат и 92804 окажется исправной, проверь чисткой 92805 испортит это 92804 или нет. А то по последовательности твоих чисток складывается ощущение, что там еще предыдущая страница захватывается

да, она исправна) 51 rows

омг

Посмотри dd, сравни до и после чистки предыдущей

Может там чуток конец затирается, придется сдвинуть затирку

я последнюю чистку такой командой делал: dd if=/dev/zero of=/var/lib/postgresql/9.5/main/base/16385/16443 bs=8192 seek=92806 count=1 conv=notrunc

Затри 92805 только сперва сохрани 92804

а ок

а это норма что у меня файл 16443 состоит из 111 частей сорта 16443.1 16443.2 ...?

У нас и из тысяч есть

только почему-то мы теребим с dd основной файл, а не его куски

это всё один файл

это фишка линукса?

Потому что страница у тебя из первого файла

он просто порезан на кусочки, чтобы fat32 и другие файловые системы могли с ним работать

это фишка постгреса

1гб файл, страницы по 8кб

Потому что страница у тебя из первого файла

странно что битые страницы с первого файла начались

канал последние пару недель прям иллюстрация пользы бэкапов

возможно, они во всех, просто на первом уже начались :)

Обычно не во всех))

канал последние пару недель прям иллюстрация пользы бэкапов

не представляю как эти знания передать другим, пока те тоже когда-нибудь не потеряют данные

Бэкапить тоже не всегда получается, когда базы очень большие. Приходится другими методами обеспечивать надежность

Ну так как? Затерлась предыдущая страница?

это насколько большие?

Бэкапить тоже не всегда получается, когда базы очень большие. Приходится другими методами обеспечивать надежность

я после краша загрузил образы каждого диска в google datastore, стоит копейки. а просто дамп в custom format еще меньше должен занимать

мне кажется этот случай не такой )

Ну так как? Затерлась предыдущая страница?

да я бекап перезаписал тем что затер. ctrl+c ctrl+v с ньюлайном

я после краша загрузил образы каждого диска в google datastore, стоит копейки. а просто дамп в custom format еще меньше должен занимать

Сколько стоит ПБ? И сколько он туда будет бэкапиться?

сейчас следующаю попробую

Сколько стоит ПБ? И сколько он туда будет бэкапиться?

ПБ эт что? бекапились образы наверное пару суток, но если разобраться с инкрементальным бекапом, то наверное нормально будет. $72 в мес в nearline за 5ТБ

Петабайт

если у вас пб база то есть парочка своих датацентров )

куда и бэкапить

если у вас пб база то есть парочка своих датацентров )

да уж, если такая база, то только отдельный сервер

таак, вот теперь 92804 не читается. делаю бекап 92803 и обнуляю 92804?

Это немного, пара стоек

Ты сохранил до этого 92804?

Ведь до этого он читался у тебя

Она испортилась

Ты сохранил до этого 92804?

да, но перезаписал

угу

таак, вот теперь 92804 не читается. делаю бекап 92803 и обнуляю 92804?

Видимо смещение - вначале файла служебная инфа?

Посмотри теперь чем отличается, на сколько сдвинуть может затирку

Видимо смещение - вначале файла служебная инфа?

Видимо, но у меня такого не было почему то

То ли не помню

Посмотри теперь чем отличается, на сколько сдвинуть может затирку

а нет точного способа узнать нужное смещение? это я думаю если утилиту писать, то не помешает знать

Не первый файл был?

Не первый файл был?

да, первый

dd if=/dev/zero of=/var/lib/postgresql/9.5/main/base/16385/16443 bs=8192 seek=92805 count=1 conv=notrunc

У вас то да, а у Петра.

Первый

dd if=/dev/zero of=/var/lib/postgresql/9.5/main/base/16385/16443 bs=8192 seek=92805 count=1 conv=notrunc

вот эта команда что-то сделала с пейджем 92804

Тогда надо разобраться со смещением и вернуть правильный файл и начинать сначала (надеюсь ты сделал копию)

Можно сравнить для 2х разных таблиц первые файлы - на предмет схожести

Тогда надо разобраться со смещением и вернуть правильный файл и начинать сначала (надеюсь ты сделал копию)

не, я буду продолжать, тк данные в этой таблице не страшно потерять

ERROR: S client not available

Хотя бы первых пару десятков килобайт

Я просил тебя сохранить страницу 92804

не, я буду продолжать, тк данные в этой таблице не страшно потерять

Так ты до начала файла 0ми дойдешь

Сравни с тем , что сейчас там

Так ты до начала файла 0ми дойдешь

я имею ввиду что восстанавливать то что уже попортил не буду)

Возможно конец затёрт нулями

но я ж бегаю по файлу и обнуляю его средствами dd seek, он ведь покажет кусок 92804 в с тем же неправильным смещением, если оно неправильно

Ты затираешь по 8192, вот сравни их до и после

Ну или попробуй прочитать самое начало файла, посмотри, что там, может будет понятно что к чему Мне лень комп включать, да и с телефона писать не очень

a ok

Если допустить, что смещение 8k?

То стирался предыдущий блок

Я для примера поглядел несколько файлов - у всех первые 8к выглядят одинаково

В первом файле

В остальных файлах *.1 *.2 и тп - первый блок различается

вы прям как будто какой оракл реверс инженерите есть же исходники

Соответственно первый блок первого файла таблицы под данные не пользуется

вы прям как будто какой оракл реверс инженерите есть же исходники

? только не исходники!

вы прям как будто какой оракл реверс инженерите есть же исходники

Надо для этого в коде ориентироваться

На больших проектах - та еще задача

я обнулил страницы: 92816 92814 92813 92812 92811 92812 92810 92809 92808 92807 92806 92805 но почему-то 92804 из-за этого захерилась

ну без заглядывания в исходники это все выглядит как карго-культ случайным образом делаются случайные действия а данные почему-то не восстанавливаются

ну без заглядывания в исходники это все выглядит как карго-культ случайным образом делаются случайные действия а данные почему-то не восстанавливаются

ну у меня данных много и потерять часть допустимо, да и все ближе и ближе к решению проблемы - сдампить то что есть и перезалить все обратно

вроде нормально заканчивается а до обнуления есть?

вроде нормально заканчивается а до обнуления есть?

неа.. щас со следующей страницей попробую

я обнулил страницы: 92816 92814 92813 92812 92811 92812 92810 92809 92808 92807 92806 92805 но почему-то 92804 из-за этого захерилась

Ну на 1 блок смещение

@blkmrkt , напиши хоть блог пост об этом всем чтобы что-то полезное для людей было )

@blkmrkt , напиши хоть блог пост об этом всем чтобы что-то полезное для людей было )

http://dba.stackexchange.com/questions/157533/postgresql-delete-from-fails-with-error-attempted-to-delete-invisible-tuple вот тут потом еще одну простынь накатаю

попробуй сместить, как Аггей говорит

@blkmrkt , ?