там внешний медленный хард на 8ТБ подключен, вот думаю может создать на нем новую бд с такой же структурой, и скриптом SELECT * FROM table OFFSET 0 LIMIT 20000; перенести все что получится в нее?

это будет медленно, но можно попробовать в несколько потоков

это будет медленно, но можно попробовать в несколько потоков

не, там segfault на некоторых записях из других таблиц, наверное все-таки лучше в 1 поток и ждать если постгре крашится

уже и так скоро месяц сервер оффлайн, не страшно ?

а этот запрос у тебя не падает?

CREATE TABLESPACE slowdisk '/backups/pgdata'; CREATE DATABASE vwbackup TABLESPACE slowdisk; вот так вот наверное

просто если это у тебя упадет, то при следующем запуске ты можешь снова те же самые записи вытащить, LIMIT возвращает непредсказуемые подмножества

а этот запрос у тебя не падает?

не, просто invalid timestamp

просто если это у тебя упадет, то при следующем запуске ты можешь снова те же самые записи вытащить, LIMIT возвращает непредсказуемые подмножества

это ж только если там что-то пишется, не? сервер ничего другого не делает

просто если это у тебя упадет, то при следующем запуске ты можешь снова те же самые записи вытащить, LIMIT возвращает непредсказуемые подмножества

просто двигаться оффсетом по таблице, пока квери не вернет 0 rows

давай, попробуй, к этому времени этим образом вытащил бы уже наверное)

только на битых страницах нужно будет еще вытащить все, что можно

только на битых страницах нужно будет еще вытащить все, что можно

не, не обязательно. накатаю на хаскеле сейчас утилиту, положу на гитхаб, может кому пригодится

все равно лимит + офсет возвращает непредсказуемые подмножества

все равно лимит + офсет возвращает непредсказуемые подмножества

ну это так в документации наверное написано, мы то знаем что они идут по ctid снизу вверх, да?

врать не буду, не знаю каким образом он там идет

надо в исходники смотреть

Вакумом прошелся - ctid слетают, как я понял

Вакумом прошелся - ctid слетают, как я понял

только полный вакум

напишу об этом в README

Вакумом прошелся - ctid слетают, как я понял

они просто меняются

.

они просто меняются

Я это и имел в виду. Вопрос остается ли последовательность такой же

Я это и имел в виду. Вопрос остается ли последовательность такой же

скорее всего нет нет, тк насколько я понимаю, полный вакум переносит пейджи с конца в пустые места в начале файла таблицы, освобождая место с конца

у меня наверное поэтому в первом файле таблицы и оказались битые туплы, тк сервер начал полный вакум когда ос повисла

Полный вакуум исходные файлы же не трогает

Он создает рядом файл в котороый копирует только занятые места

Полный вакуум исходные файлы же не трогает

аа, он новый базовый файл создает и его куски вроде 16443.1?

точно, отсюда и требование чтоб в фс было место для копии всех данных сразу

тогда можно через alter table сделать тоже самое копирование только с exclusive lock

тогда можно через alter table сделать тоже самое копирование только с exclusive lock

ээ это как?

create table s (id int); alter table s alter column id int;

та же самая таблица при alter Только перезаписанная аккуратно с заполнение page по установленному тарифу

vacumm full еще и индексы чистит

vacumm full еще и индексы чистит

Пересоздает

Поэтому как раз maintaince_work_mem влияет на скорость вакуума

create table s (id int); alter table s alter column id int;

что тут alter делает?

alter это версия vacuum без вакума индексов

Ночи чат

Как можно оптимизировать селект в постгре?

медитации помогают

хорошая музыка

explain помогает, изредка

ну и vacuum analyze

иногда помогает explain analyze. если запроса в принципе получается дождаться.

Спасибо, не знал, уже читаю, то что надо

ну и в копилку - работать с postgres удобно через pgcli

О!

Не знал что есть такое

Спасибо

Всем привет! Ни кто не знает насколько реально триггер написать в постгресе, который кодировку входных данных менять будет?

Всем привет! Ни кто не знает насколько реально триггер написать в постгресе, который кодировку входных данных менять будет?

А не лучше ли это сделать на стороне приложения.

У меня нет возможности менять приложение, могу ковырять только базу

У меня нет возможности менять приложение, могу ковырять только базу

Заставить тех кто писал приложение. )

Я бы с радостью =)

ковыряю тут осмовский osmosis

он написан на java, и не умеет коннектиться к постгресу по локальному сокету

в трекере у него есть ишью про это, но там написано (и по интернету в целом), что постгресовый jdbc драйвер не умеет локальный сокет

куда про это можно написать, чтобы помогло? :)

вообще jvm из коробки не умеет unixsocketы

но какой-то путь должен существовать? :)

ну, то есть, гугление показывает, что по гитхабу есть имплементации юникссокетов на java

вообще jvm из коробки не умеет unixsocketы

Непортабельно

ну, то есть, гугление показывает, что по гитхабу есть имплементации юникссокетов на java

есть. jnr-unixsocket

Хотя, af_unix во много раз лучше tcp loopback

ERROR: S client not available

ну вот отсюда и вопрос

я привык многогиговые дампы просовывать по юникс-сокету, на ноуте других способов достучаться до базы и не настроено, а вдруг нельзя

я просто не могу найти никакого ишью-трекера или контакта, куда про это можно написать :)

вообще jvm из коробки не умеет unixsocketы

Реально ? Я прост не умею в джаву

Или это про постгрес ?

Всем привет

Реально ? Я прост не умею в джаву

реально

как правильно выше заметили, потому что непортабельно

как правильно выше заметили, потому что непортабельно

К сожалению, это на 50% было сарказмом

К сожалению, это на 50% было сарказмом

а есть другие причины? я просто сам не джавист

а есть способ заставить xmlelement писать "Каменная горка" вместо "Каменная Горка"?

заставить кого ?

postgres

да

gis=> select xmlelement(name tag, xmlattributes('name' as k, 'Каменная горка' as v)); xmlelement —---------------------------------------------------------------------------------------------------------------- <tag k="name" v="&#x41A;&#x430;&#x43C;&#x435;&#x43D;&#x43D;&#x430;&#x44F; &#x433;&#x43E;&#x440;&#x43A;&#x430;"/> (1 row)

хочется, соответственно, <tag k="name" v="Каменная горка"/>

http://www.sql.ru/forum/1004323/kak-izbavitsya-ot-xml-escape

это тред 13 года

хотя это вполне номальный вывод с точки зрения спецификации xml

если открыть в браузере то все нормально отобразится

да, но у меня есть референсная имплементация :)

и вывод не сходится

соответственно, если он продолжит несходиться, придётся делать куда больше телодвижений по доказыванию того, что они идентичны, но не совпадают

по идее нужно (но не обязательно) перевести в ascii если символы не ascii

owasp сильно рекомендует делать это для xml документов

ты себе не можешь представить, сколько скриптов в этом мире завязаны на то, что osm api 0.6 отбивает теги \n и минимально эскейпит энтити :)

ну это не только в osm api проблема

я как писал в мэйлинг лист мне ответитли что типа реализация парсера должна понимать entity characters а если не понимает то меняйте реализацию

это тоже проблема например для подписанных soap сообщений в бинарном виде код разный, а символный одинаковый

HASH начинает не сходится

вот чувак функцию под себя написал http://stackoverflow.com/questions/14961992/postgresql-replace-html-entities-function/14985946#14985946