Прямое выполнение кода выше дает все равно ERROR: relation "temp_organization_ratings" does not exist

select нужно делать из pg_tables

проверил, да, так не работает

create or replace function tor_get() returns table(score float) as $$ begin return query select t.score::float from temp_organization_ratings as t, view_organizations as v where t.organization_id = v.id; exception when undefined_table then return query select 0::float; end $$ language plpgsql stable;

Сделайте функцию, которая проверяет наличие временной таблицы и возвращает либо пусой кортеж, либо содержимое временной таблицы. Соответственно в запросе обращаетесь к функции вместо временной таблицы

Сделайте функцию, которая проверяет наличие временной таблицы и возвращает либо пусой кортеж, либо содержимое временной таблицы. Соответственно в запросе обращаетесь к функции вместо временной таблицы

Я выше именно это и написал:)

Привет! Подскажите пожалуйста, какой вариант лучше использовать для автоматического переключения в схеме мастер/слейв репликации? Так понимаю pgpool2 есть вариант, так же Pacemaker. Поделитесь опытом.

Привет! Подскажите пожалуйста, какой вариант лучше использовать для автоматического переключения в схеме мастер/слейв репликации? Так понимаю pgpool2 есть вариант, так же Pacemaker. Поделитесь опытом.

repmgr посмотри в эту сторону, но это решение имеет тоже свои недостатки

repmgr посмотри в эту сторону, но это решение имеет тоже свои недостатки

а pgbouncer + haproxy + keepalived?

после того как хост станет активный repmgr его сможет сам подключить слейвом?

сам ? автоматом ?

сам ? автоматом ?

да

нет, руками надо

а pgbouncer + haproxy + keepalived?

а вы сами пробовали данное решение ? как оно у вас работает ?

а вы сами пробовали данное решение ? как оно у вас работает ?

нет, пока только разбираюсь, пробовал pgpool в тесте, про pacemaker смотрю, вроде упавшую ноду потом подключает слейвом

а pgbouncer + haproxy + keepalived?

что произойдет если у вас оборвалась связь со всеми серверами и когда она была восстановлена ?

самое страшное это получить split-brain

create or replace function tor_get() returns table(score float) as $$ begin return query select t.score::float from temp_organization_ratings as t, view_organizations as v where t.organization_id = v.id; exception when undefined_table then return query select 0::float; end $$ language plpgsql stable;

Всем спасибо Повозившись с EXECUTE и прочими прелестями в итоге сделал так. Спасибо!

что произойдет если у вас оборвалась связь со всеми серверами и когда она была восстановлена ?

так понимаю keepalived должент оставить айпишник на одной ноде, вот как будет вести дальше надо разбираться

Блина, сейчас будет нубовский слегка вопрос

Есть таблица, в ней 2 млн записей Есть запрос на SELECT в эту таблицу с JOIN этой же таблицы...

iqrealty=# EXPLAIN SELECT a.aoid, b.ao_guid FROM base_fias_item_entity a JOIN base_fias_item_entity b ON a.parent_guid = b.ao_guid; QUERY PLAN ------------------------------------------------------------------------------------------------------------------------------------- Merge Join (cost=343911.75..5237828.12 rows=309983329 width=32) Merge Cond: (a.parent_guid = b.ao_guid) -> Index Scan using fias_parent_search_parent_guid_aoid on base_fias_item_entity a (cost=0.43..266984.98 rows=2293371 width=32) -> Materialize (cost=343839.83..355306.68 rows=2293371 width=16) -> Sort (cost=343839.83..349573.26 rows=2293371 width=16) Sort Key: b.ao_guid -> Seq Scan on base_fias_item_entity b (cost=0.00..62359.71 rows=2293371 width=16)

Или, если удобнее, картинкой

Индекс есть по которому ищет

а что именно тебя не устраивает?

но! :с я даже не дождаться не могу пока запрос выполнится

Или, если удобнее, картинкой

Дарю вам ссылку: https://explain.depesz.com/ )

больше минуты точно занимает

Дарю вам ссылку: https://explain.depesz.com/ )

Опа, она парсит этот формат EXPLAIN?

Опа, она парсит этот формат EXPLAIN?

Да.

Вот это круть! СпасибО!

https://explain.depesz.com/s/Wnvq

два миллиона строк, посортировать, добыть им пару из индекса, выплюнуть

чего ты в принципе от него хочешь - ему минимум четыре раза твою таблицу обойти целиком

Ну просто туда еще больше данных сейчас загрузить надо, каждый раз походу индекс пересчитывается и каждый раз получается чуть медленнее инсерт происходит

какую задачу ты решаешь?

Сейчас просто есть скрипты, которые в несколько потоков заполняют базу данных эту

А зачем вам все данные каждый раз читать из этих таблиц? Ограничить выборку нельзя никак?

зачем на вставке что-то выбирать?

Ну надо найти, не вставлено ли это было до этого, INSERT IGNORE INTO?

Блин, вот делаю SELECT a.aoid, b.ao_guid FROM base_fias_item_entity a JOIN base_fias_item_entity b ON a.parent_guid = b.ao_guid;

И он мне убил процесс вообще psql

Ubuntu убила*

что такое insert ignore into?

Ну надо найти, не вставлено ли это было до этого, INSERT IGNORE INTO?

а не стоит ли подобный контроль организовывать через уникальные ключи\поля (средствами правильной структуры таблиц), т.е. если кто-то помимо тебя инсертит "те же" данные, то инсерт просто не пройдет в следствии уникальности...

я правильно понимаю, что ты эмулируешь на приложении insert into... on conflict(id) ignore?

Скрипт парсит определенные данные и загружает их, в случае, если данные уже были вставлены - он их должен обновить, т.е. уже UPDATE запрос. Тем не менее, проверка "если данные уже были вставлены" - это выборка по индексу, потому что запросы на запись\обновление отправляются пачками, если за транзакцию (пачка запросов) будет ошибка нарушения уникальности - програмно не получится целый этот батч запросов (транзакцию) заново отправить, а insert по одной записи делать - там очень много данных, чтобы так поступать.

Не, у нас INSERT INTO выполняется чистый в таблицу. Просто за раз там транзакция из 100 инсертов.

И там же могут быть апдейты.

Скрипт парсит определенные данные и загружает их, в случае, если данные уже были вставлены - он их должен обновить, т.е. уже UPDATE запрос. Тем не менее, проверка "если данные уже были вставлены" - это выборка по индексу, потому что запросы на запись\обновление отправляются пачками, если за транзакцию (пачка запросов) будет ошибка нарушения уникальности - програмно не получится целый этот батч запросов (транзакцию) заново отправить, а insert по одной записи делать - там очень много данных, чтобы так поступать.

делай пачки поменьше и ставь метки (внутри транзакции это можно) и откатывайся на сохрененную метку если такие данные уже "есть", то меняй инсерт на апдейт, потом комить транзакцию

а, ты делаешь insert on conflict (id) do update?

on conflict нету, чтобы не было никаких конфликтов я делаю select до insert\update и уже программно там обрабатываю. просто селект по-сути не такой затратный вроде, находит он по таблице достаточно быстро, а вот инсерт 100 новых записей может вообще от 20 секунд идти.

делай пачки поменьше и ставь метки (внутри транзакции это можно) и откатывайся на сохрененную метку если такие данные уже "есть", то меняй инсерт на апдейт, потом комить транзакцию

Слишком долго, там много ORM, мало Native SQL, чтобы такие вещи обрабатывать адекватно

Слишком долго, там много ORM, мало Native SQL, чтобы такие вещи обрабатывать адекватно

Да, в таком случае моя мысль мимо! )))

Я вот думаю, может INSERT долгий, потому что там есть блокировки какие-то? Есть 5 воркеров, которые пишут в эту таблицу и заполняют её. Конфигом волшебным тут не решить каким-нибудь?

on conflict нету, чтобы не было никаких конфликтов я делаю select до insert\update и уже программно там обрабатываю. просто селект по-сути не такой затратный вроде, находит он по таблице достаточно быстро, а вот инсерт 100 новых записей может вообще от 20 секунд идти.

Как это вообще возможно на таблице в 2кк?

Т.е.?

Инсерт?

Да, 100 записей за 20 секунд

Это много или мало?

Индексы в таблице

Мне кажется их че то много

И каждый пересчитывается после того как происходит INSERT же

Мало от слова "очень" даже с учётом индексов. У вас их не 20

ERROR: S client not available

А можно по человечески? :с

Я ща просто одновременно и про записи и про индексы сказал

И кого там мало\много? :с

on conflict нету, чтобы не было никаких конфликтов я делаю select до insert\update и уже программно там обрабатываю. просто селект по-сути не такой затратный вроде, находит он по таблице достаточно быстро, а вот инсерт 100 новых записей может вообще от 20 секунд идти.

А почему нет on conflict?

смотрите. у вас пять индексов на таблицу в 2кк записей. Вставка не может идти с такой низкой скоростью, если только ваш сервер не умирает от нагрузки на дисковую подсистему в момент вставки.

А почему нет on conflict?

От ORM надо будет отходить, это намного дороже по деньгам выйдет сейчас

смотрите. у вас пять индексов на таблицу в 2кк записей. Вставка не может идти с такой низкой скоростью, если только ваш сервер не умирает от нагрузки на дисковую подсистему в момент вставки.

хм

Втяните все в память и выплюньте в одну csv в copy

Это же фиас, он не бесконечный

Так, если в сторону железа нюхать Я кстати на scaleway сижу, 6 ядер, но процессор ARM 6 гб оперативной памяти LSSD диск

А там случаем не много FK?

Втяните все в память и выплюньте в одну csv в copy

А до посгреса как дойдет?

Если ты на каждые 100 записей вставки достаешь два миллиона, чтобы проверить дубликаты и отказываешься перейти на on conflict, то дело не в железе

А до посгреса как дойдет?

Copy from

а что за orm если не секрет?

Doctrine..

кстати, есть еще один грязный хак из времен, когда on conflict еще не было. каждый insert оборачивали в транзакцию, а если стреляло duplicate key, то глушилась ошибка и процесс шел дальше по трассе

А нельзя сделать так: insert ... select ... where not exists (select ...)?

Если ты на каждые 100 записей вставки достаешь два миллиона, чтобы проверить дубликаты и отказываешься перейти на on conflict, то дело не в железе

Находит быстро, а вот записывает долго - профилировали уже

Селект по индексу, там все быстро

ну показывал-то ты селект, который "тормозит"

explain (analyze, verbose, buffers) от инсерта в студию :)

?

От ORM надо будет отходить, это намного дороже по деньгам выйдет сейчас

Можно триггер сделать. Важно понять под каким соусом это orm скормить.

Ребята, обсуждали или нет вопрос, что будем делать, если телеграм прикроют? Будем куда-то перебазироваться?

ходи через сокс5-прокси или впн. )))

ssh -D <port> -N my-cool-server

на телефоне сложновато будет, но изучу вопрос

ssh -D <port> -N my-cool-server

Это же без авторизации будет

почему

Ну вот так, открывается порт на сервере, ходи куда хочешь кто хочешь. Через часик через этот прокси начнут ходить еще боты всякие незнакомые.