они явно никак не относятся ни к дампам постгреса ни к постгресу.

на правах шутки :)

А что они вам не нравятся?

У нас тут все на соплях

Тем не менее, Вам придётся найти/написать (или нанять кого-то, чтобы написали) конвертор/загрузчик этого неведомого формата для PostgreSQL.

подскажите пожалуйста как посмотреть текущие запросы в базе и почему они блокируются к примеру в mssql такую картину отображает процедура sp_whoIsActive

подскажите пожалуйста как посмотреть текущие запросы в базе и почему они блокируются к примеру в mssql такую картину отображает процедура sp_whoIsActive

https://wiki.postgresql.org/wiki/Lock_Monitoring

https://wiki.postgresql.org/wiki/Lock_Monitoring

??

Поменяй // на -- — может поможет ;)

Да прошло.

Поменяй // на -- — может поможет ;)

Какие эквиваленты можно попробовать для FAMILY, RECORD, KEY, MIT, CHA, END?

Теперь на них ругается

Паскаль какойто

Паскаль какойто

Турбину ему в задницу

Тем не менее, Вам придётся найти/написать (или нанять кого-то, чтобы написали) конвертор/загрузчик этого неведомого формата для PostgreSQL.

Просто в sql хватит

Что почитать?

Не пойму куда копать

Вроде все просто

Что почитать?

Яндекс))

Не пойму куда копать

Я Вам уже ответил.

Что почитать?

Тут не только и не столько читать надо, сколько, пялясь в данные, пытаться понять, что почём.

Тут не только и не столько читать надо, сколько, пялясь в данные, пытаться понять, что почём.

А где взять схему бд PostgreSQL какой-нибудь, чтоб эквиваленты подобрать. Схему любой бд в ddl можно выгрузить?

Или PostgreSQL так не работает?

А где взять схему бд PostgreSQL какой-нибудь, чтоб эквиваленты подобрать. Схему любой бд в ddl можно выгрузить?

https://postgrespro.ru/docs/postgresql/10/ddl

Или PostgreSQL так не работает?

Как "так"? Если, так сказать, вернуться на шаг назад: зачем Вам вообще нужно это всё делать?

Похоже мне проще в pandas все это разобрать и собрать to_sql

@hyper_0 у вас данные от какой-то другой БД, возможно самописной. Почему вы считаете что постгрес должен понять как это интерпретировать ?

Как "так"? Если, так сказать, вернуться на шаг назад: зачем Вам вообще нужно это всё делать?

А что нужно?

А что нужно?

для начала выяснить что это за формат.

А что нужно?

Это я Вам задал вопрос. Зачем Вы вообще хотите загрузить это в PostgreSQL?

@hyper_0 у вас данные от какой-то другой БД, возможно самописной. Почему вы считаете что постгрес должен понять как это интерпретировать ?

Ну я б ему помог

Это я Вам задал вопрос. Зачем Вы вообще хотите загрузить это в PostgreSQL?

А куда? Той системы нет, а 22 гб данных осталось

А куда? Той системы нет, а 22 гб данных осталось

у вас есть 22гб мусора.

у вас есть 22гб мусора.

Нет же

у вас есть 22гб мусора.

Нет, там данные оч хорошо структурированы.

Нет же

без реверс инжиниринга - 22Гб мусора

Кароче есть возможность эти данные программно прочитать?

А куда? Той системы нет, а 22 гб данных осталось

В /dev/null, например. Ещё раз, зачем Вам грузить их куда-то вообще?

Кароче есть возможность эти данные программно прочитать?

есть, написать программу которая их прочитает

есть, написать программу которая их прочитает

Ну придется реверсить формат базы и в текстовый sql конвертить. Это в постгрнс зальешь

В /dev/null, например. Ещё раз, зачем Вам грузить их куда-то вообще?

Ну там наверно миллионов 100 строк. Мне их надо в xgboost засунуть

А зачем тогда pg?

Я выше кидал статью на Хабре, где чувак на go старую базу реверсил

Я выше кидал статью на Хабре, где чувак на go старую базу реверсил

от нас то вы чего хотите ? по скрину чтобы нагадали ?

Эт не мне вопрос

Нет, там данные оч хорошо структурированы.

Кстати яндекс что-то про аэрологические данные пытается рассказать

А зачем тогда pg?

Да может и незачем, если им слету не обработать эту ерунду.

Слету не обработать, 100%

Да может и незачем, если им слету не обработать эту ерунду.

А че мозги морочите тогда?

Тут думают, что вы базу сменить хотите

Пиши парселку, пихай признаки в модель

А че мозги морочите тогда?

Че вы нападаете! Понял уже, что надо python юзать. Не охота эти таблицы в датафреймах ворочать. Их там горы.

А го я не знаю

Фейспалм кароче

Вы не понимаете, чего просите

Да может и незачем, если им слету не обработать эту ерунду.

Я, просмотрев описание xgboost, не понял, зачем тут вообще какая-то база данных...

Че вы нападаете! Понял уже, что надо python юзать. Не охота эти таблицы в датафреймах ворочать. Их там горы.

Бери hadoop ;)

Бери hadoop ;)

Ну нет. Но без sql тут, думаю, не обойтись

https://habr.com/post/351658/ возможно вам поможет

почитал статейку, интересно в целом, реверсинг фала. Но у автора очень странное мышление, совсем. придумал какую-то 256ричную систему исчислания А теперь включаем немного магии и переводим значения из байтов в целое число: 6 * 256 + 9 = 1545 да у тебя просто 16ричное число записаное в двух байтах. Зачем магию придумывать))

Спасибо! Умеете, могете. Я все осознал. Больше так не буду

До следующего раза

Байт заполняется до 255, затем обнуляется, а в следующий байт добавляется 1 и т.д. забавно) чудеса

Ага, now() не даёт паралелить запрос. А вот если заменить его на transaction_timestamp() , то думаю тоде будет выбран paralel seqscan

https://www.postgresql.org/message-id/6406dbd2-5d37-4cb6-6eb2-9c44172c7e7c%40postgrespro.ru Я вижу, Вы написали в -hackers, спасибо!

@jdmpnn будет жить. Поприветствуем!

ещё бы! годы жизни убитые под влиянием одной ублюдской фразы: "не пихайте бизнес логику в БД"

но теперь наконец-то с переходом на постгрес можно жить по человечески))

а есть какие-нить толковые паттерны по работе с процедурами в пг? чтобы их линтить, в гите хранить и т.д.

https://github.com/jhunt/pglint

Чтобы хранить в git достаточно git add, честно не знаю что тут ещё добавить :)

Elena Bondareva будет жить. Поприветствуем!

Reuven Starodubski будет жить. Поприветствуем!

@Eshkolnik будет жить. Поприветствуем!

Чтобы хранить в git достаточно git add, честно не знаю что тут ещё добавить :)

Думаю вопрос про то, как накатывать миграции.

https://www.postgresql.org/message-id/6406dbd2-5d37-4cb6-6eb2-9c44172c7e7c%40postgrespro.ru Я вижу, Вы написали в -hackers, спасибо!

о жесть там какая...

Привет всем =) Скажите, в чем может быть проблема: настроил недавно логическую реплику, есть два пг мастер и слейв, иногда что-то непонятно происходит и на мастере начинает расти pg_wal до невероятных размеров, съедает весь диск и обваливает мастера, после чего слейв теряет коннект с мастером и пишет( сорян логическая репликация невозможна, мастер не жив) Репликейшен слот 1, активный, судя по запросам, слейв активно читает из него.

после рестарта мастера, слейв переконнекчивается и pg_wal уменьшается до нулевых размеров

Привет всем =) Скажите, в чем может быть проблема: настроил недавно логическую реплику, есть два пг мастер и слейв, иногда что-то непонятно происходит и на мастере начинает расти pg_wal до невероятных размеров, съедает весь диск и обваливает мастера, после чего слейв теряет коннект с мастером и пишет( сорян логическая репликация невозможна, мастер не жив) Репликейшен слот 1, активный, судя по запросам, слейв активно читает из него.

Обрати внимание на эту опцию

https://postgrespro.ru/docs/postgresql/9.6/runtime-config-replication#guc-hot-standby-feedback

Обрати внимание на эту опцию

Спасибо, завтра посмотрю, но написано, что по дефолту офф, а я ничего лишнего не включал, насколько помню

Спасибо, завтра посмотрю, но написано, что по дефолту офф, а я ничего лишнего не включал, насколько помню

архивация wal логов настроена? если да, обрати внимание на то, что она выполняется корректно. А вообще надо бы в лог постгреса смотреть

архивация wal логов настроена? если да, обрати внимание на то, что она выполняется корректно. А вообще надо бы в лог постгреса смотреть

Архивация не настроена, до подключения реплики таких проблем не наблюдалось, в логе все вроде бы хорошо, а потом батс память кончилась и все упало, а на другой стороне падает после этого репликация

Спасибо за наводки, завтра уже буду разбираться

Раз в https://t.me/postgis молчат то можно я спрошу сюда) Один и тот же запрос с разными параметрами дает то индекс скан, то битмап, то вообще секскан. Каким параметром конфига можно на это повлиять?

посмотрите плиз https://explain.depesz.com/s/bih vs. https://explain.depesz.com/s/3PH у второго bbox в 8 раза меньше, но имхо это не повод так себя вести

правда в первом ббокс пересекает гринвич. это могло повлиять?

отлолжил примерно такой же как первый но без пересечения гринвича и вообще секскан получил ( https://explain.depesz.com/s/pnwF

На поле висит гист-индекс

запрос самый простой(: SELECT ST_AsBinary("way") AS geom,"name","name:en", place AS "type", z_order, population FROM planet_osm_point WHERE place in ('country', 'state', 'city', 'town', 'village', 'hamlet', 'suburb', 'neighbourhood', 'locality') and "way" && ST_SetSRID('BOX3D(624935 5011821, 1889525 6266615)'::box3d, 3857) ORDER BY population DESC NULLS LAST;

set work_mem = '32 GB'; требуется ли при этом рестарт пг? 9.6