А, ну инсерт... Используйте COPY

а есть индексы в чужих таблицах на те колонки, что fk?

fk на pk

А, ну инсерт... Используйте COPY

я вставлю через copy денормализоанные данные, а потом выясняю их нормальную форму и вставляю из одной таблицы в целевую сс помощью insert from select. Разве можно вставлять данные из одной таблицы в другую в помощью COPY?

COPY — копировать данные между файлом и таблицей

ну, вне текущего контекста - можно, и это пока что, например, единственный способ получить таблицу через parallel seq scan

но вообще insert into ... select должен шустро работать

хорошо, а вот та таблицу куда я ссылаюсь, назову ее справочник, при вставке в нее, постгрес будет же проверять в таблицах что на нее ссылаются, только не пойму что вставка же

@Komzpa пошто из https://t.me/ruosm ливнул? Кроме тебя никто ответить не сможет наверно на мой вопрос ?

@Komzpa пошто из https://t.me/ruosm ливнул? Кроме тебя никто ответить не сможет наверно на мой вопрос ?

примерно оттого и ливнул. а так - планета меньше суток на адекватном железе грузится, параллелить машинами там нет смысла - можно взять какой imposm, он ещё быстрее втягивает.

Но если нет адекватного железа а есть несколько так себе что делать?

продать и купить адекватное. на хетцнере адекватное для домашнего применения стоит 40 евр в месяц.

Да если бы домашнего

всем привет... не ставиться на 7 сентос 9.6 с postgrespro точнее ставиться, но не запускается ... в логах ошибка юнита postgres

блин не туда .. ;) надо на линукс ...

блин не туда .. ;) надо на линукс ...

А там тебе посоветуют сменить дистр

ошибку покажите

да не ... дистр я менять не буду ... именно 9.6 хотел попробовать ... ладно вернусь на 9.5

всем привет... не ставиться на 7 сентос 9.6 с postgrespro точнее ставиться, но не запускается ... в логах ошибка юнита postgres

Я таки присоединюсь к просьбе показать ошибку.

блин не туда .. ;) надо на линукс ...

Туда, туда. :)

Как для postgres написать это? UPDATE mods_estateaddress , mods_estateaddress_arguments SET mods_estateaddress.tth_architect_type='1' WHERE mods_estateaddress_arguments.name = 'tth_architect_type' AND mods_estateaddress.id = mods_estateaddress_arguments.sub AND mods_estateaddress_arguments.value = '1'

Сорри, кажется понял UPDATE ... SET ... FROM ... WHERE ....

id ~E'^\\d+$' Я как понимаю это не регулярка? И что это тогда?

Хотя беру свои слова обратно я работал с PRCE регулярками - а это POSIX

Я таки присоединюсь к просьбе показать ошибку.

да я бы с удовольствием. токма снес уже и поставил более старую версию (9.4 с постгреспро)... но, если реально хотите помочь, опять поставлю ;))

А что сейчас есть из софта для управления кластером/репликацией постгреса ?

а во нашел repmgr

corosync+pacemaker)

#статистика Postgres: обновление одного поля в ~500 000 записей c получением данных из другой таблицы с ~10 000 000 записей запросом UPDATE table_main SET column_main=table_arguments.value FROM table_arguments WHERE table_arguments.name = column_arguments AND table_main.id = table_arguments.sub Происходит ~30 минут А с запросом UPDATE table_main SET column_main=CASE WHEN table_arguments.value ~E'^\\d+$' THEN CAST(table_arguments.value AS INTEGER) ELSE null END FROM table_arguments WHERE table_arguments.name = column_arguments AND table_main.id = table_arguments.sub Происходит ~45 минут

а план?

а план?

какой план?

план запроса

из одной таблицы забрать данные и поместить в другую, чтобы убрать оттуда потом эти данные

Статистику скинул для информации. Вряд ли кто упорется и будет так делать просто эксперимента ради

план покажи, explain (analyze, verbose, buffers)

ну или хотя бы без analyze

:) ну только не сейчас чуть позже

если можно как-то налету анализировать, тогда я сделаю

autoexplain?

нет, типа show processlist, но в направлении анализа

Если такое есть, я могу выполнить запрос и скинуть скрин результата

Есть еще вариант подождать паручасов и я спецом выполню один такой запрос, чтобы показать анализ

нет, типа show processlist, но в направлении анализа

https://github.com/postgrespro/pg_query_state

пропатчить правда посгрес придётся

ну, на explain без analyse можно и так посмотреть же ж?

ну, на explain без analyse можно и так посмотреть же ж?

как?

а, сорри, не так прочитал

https://github.com/postgrespro/pg_query_state

Хороший вариант, но сейчас его не применить. Предлагаю подождать всетаки выполнения процедуры и потом сделаю и эксплейн и анализ

нет, типа show processlist, но в направлении анализа

Жаль что в pg нет до сих пор поля state

http://prntscr.com/ear4py

http://prntscr.com/ear4py

это откуда пример?

живой пример.

http://prntscr.com/ear5sm

https://dev.mysql.com/doc/refman/5.7/en/general-thread-states.html

может липит для эксплейна поставить?

чтобы не ждать 30 минут

@Komzpa чего скажешь?

сделай эксплейн без ничего

Чего здесь, хоть расскажите.

Ато для меня это вообще каша :)

А раз выложил, тоже интересно :)

это всегда так интересно, когда люди проводят замеры, не понимая, что они, собственно, замеряли

)))

https://explain.depesz.com/

чтобы читать не понимая что снял :)

там будет разными цветами подсвечиваться для самых маленькых

ну то есть получается что на апдейт и мёрдж тратится больше времни чем на остальное. Ну как бы это логично. Или бывает иначе?

В общем я статистику скинул. Если кроме полезна инормация и поможет при планировании времени на аналогичные алгоритмы (ну чтобы самим не проверять), я очень рад

Чего здесь, хоть расскажите.

https://robots.thoughtbot.com/reading-an-explain-analyze-query-plan

В закладки забросил, чтобы коллегам тоже дать почитать

закладки не заменяют мозг

это нужно прочитать и осознать, чтобы не тратить часы на ненужные замеры

ну то есть получается что на апдейт и мёрдж тратится больше времни чем на остальное. Ну как бы это логично. Или бывает иначе?

не пробовали апдейтить небольшими кусками а не целым батчем в 500К строк? У вас в плане запрос над таблицами, отличными от тех что в запросе

мне пока что кажется, что индекс по btree (sub) where name='address' по второй таблице сделал бы из мержа seq scan на апдейт + index scan, и это было бы, возможно, быстрее мержа

а так там даже work_mem на sort не хватает

@Archeebald work_mem не 4 мб часом? :)

Появился один вопрос по постгресу. И так имеем два запроса: ... ORDER BY A <-> B LIMIT 620 и ... ORDER BY A <-> B LIMIT 630 Первый работает классно: быстро и по индексу Второй работает плохо: оч. долго и вручную сортирует все. В принципе я выяснил что knn индекс так и должен работать. Непонятен вопрос, как ограничен лимит? Есть какие-то ссылки по теме?

...покажи план? :)

@Komzpa с анестетиков сразу на план присел =)

Появился один вопрос по постгресу. И так имеем два запроса: ... ORDER BY A <-> B LIMIT 620 и ... ORDER BY A <-> B LIMIT 630 Первый работает классно: быстро и по индексу Второй работает плохо: оч. долго и вручную сортирует все. В принципе я выяснил что knn индекс так и должен работать. Непонятен вопрос, как ограничен лимит? Есть какие-то ссылки по теме?

в общем, смотреть в планы и решать, почему второй вариант заэстимировался иначе

https://explain.depesz.com/s/Hx7 https://explain.depesz.com/s/p0a

http://www.slideshare.net/jkatz05/knn-39127023 - нашел это. 22 слайд

Sort Method: external merge Disk: 1896kB

и у тебя work_mem в 4 мб? :)

Я на микроволновку поставил

Чтобы проблемы на меньших объемах вылезали

ну, основная проблема - это всё-таки '+proj=hammer'::text, ибо hammer - equal-area, а меряшь ты distance :)

@den1970 show work_mem

дефолтнй воркмем

проекция в принципе любая дает один результат

если любая, то почему в 4326 не оставишь? :)

Даже нативный POINT() <-> POINT() дает такой же результат

в общем, ты хотел, чтобы оно стреляло раньше - оно стреляет раньше. сильно раньше. :)

Ну это то понятно. Просто непонятно от чего зависит предел LIMIT