@bonecolll я ходил, mongodump вполне дампит всю монгу, дальше сед и пайп в psql

звучит как много приседаний

ну и это всё в while true; do ... &; sleep 1 &; wait; done завёрнуто и в скрине крутится

правда, недавно этот костыль таки переписали в цельный микросервис

оно того реально стоит?

мне кажется большой оверхед по времени

кто и чего?

ради того, чтобы уйти от питона

все приседания вот эти

по сути можно на питоне сдампить все, что нужно без гемороя

в том месте питона и не было

если я правильно понимаю, данные с монги дергались для того, чтобы потом залить в постгрес?

я за питон3!

а в чём глобальная разница в cat | psql copy и copy from '/...'?

Например в потреблении ОЗУ при большом кол-ве операций.

если я правильно понимаю, данные с монги дергались для того, чтобы потом залить в постгрес?

для того, чтобы потом постгисом обработать и сложить в json на fs под nginx

Например в потреблении ОЗУ при большом кол-ве операций.

copy from я так понимаю будет производительнее

Например в потреблении ОЗУ при большом кол-ве операций.

окей, кто складывает данные в файлы и почему не может складывать не в файлы, а в базу?

Alibek вы это хотите сделать не костылём, а постоянным элементом системы, что ли? :)

Да это предполагается сделать постоянным элементом системы.

Да это предполагается сделать постоянным элементом системы.

не надо так

В базу не хочется складывать т.к. тоже куча накладных расходов (запись в wal запись в реплику и т.д. и т.п.). Суть с COPY поднять данные из файла ondemand в tmp табличку (связать промежуточно с запрашиваемыми данными) и спустя время дронуть её.

то есть вы собираетесь рутинно создавать и дропать табличку, и наступить на те же грабли, что и 1С? :)

вы можете писать в unlogged таблицу, она не поедет на реплику

насчет copy изнутри процедуры мне решений из коробки не известно, увы

плюс данные которые читаем, писаться должны распределённо.

ну решение-то есть - дать права на superuser, это хоть и несколько менее секьюрно, но приемлемо. Однако по этому поводу возник вопрос и предложение, а почему бы не запилить что-то типа allow copy from

а у вас на чем загрузка в базу?

сейчас это c++ в oracle - и от второго хочется избавиться, и по имеющемуся опыту не хочется это тащить в другую субд.

В базу не хочется складывать т.к. тоже куча накладных расходов (запись в wal запись в реплику и т.д. и т.п.). Суть с COPY поднять данные из файла ondemand в tmp табличку (связать промежуточно с запрашиваемыми данными) и спустя время дронуть её.

а попробуйте plsh.

это тоже допрасходы на ОЗУ при большом кол-ве операций в сравнении с plpgsql...

то есть вы собираетесь рутинно создавать и дропать табличку, и наступить на те же грабли, что и 1С? :)

о каких граблях идёт речь?

они любят создавать-дропать темповые таблицы, и в какой-то момент постгресу становится плохо

Что за момент и почему плохо?

Ссылка есть на почитать?

Создавать-tuncate'ить и НЕ дропать.

Где-то после 300000 таблиц становится мало полезной работы и много обслуживания этого треша

а COPY сайты может открывать? :) а т давайте url передадим :)

у амазоновского постгреса, который RedShift, можно с s3:// copy сделать

о ужаз! )

Создавать-tuncate'ить и НЕ дропать.

Почему не дропать?

Я не разработчик 1С но думаю резоны такие:

1. Если сессия отсоединится - temp tables всё равно дропнутся. Зачем делать лишние вызовы?

2. А теперь у нас есть 1С-сервер, который держит пул соединений.

1. не про нас - сессия может месяцами жить и изредка отсоединяется т.к. backend. 2. пул в любом случае будет, т.к. несколько backend'ов.

вопрос такой есть, и проблема, в оракле null и '' пустая строка это одно и то же , а в постгресе нет, как-нибудь можно обойти это и сделать такое же поведение как в оракле?

@Cloud66 с какой целью и в каком выражении?

во всех выражениях, для конвертации нужно,чтобы код минимально переделывать

select '' || 'name' select null || 'name'

допустим разный результат возвращают в постгресе, а в оракле одинаковый

coalesce, view с coalesce, alter operator || в не-strict функцию

мы не знаем что именно приходит, и не знаем во что заменять, как оператор работать не знаю, надо понять

просто null непонятно, во что превращать - тебе надо менять поведение операторов с нулл-инпутом

они по умолчанию strict, и выдают null, если на входе есть хоть один null

ага

их поведение можно менять значит

у нас ситуация, приходит либо '' либо null, неизвестно, и определить что пришло, нельзя

coalesce(null,'') на входе всё-таки лучше

потому что когда поведение базы отличается от документации базы, разработчики начинают сходить с ума

coalesce(null,'') на входе всё-таки лучше

не подходит такой способ

мы не знаем что у нас приходит, null или '', поэтому любой вход нельзя интерпретировать, то есть либо всегда приходит null, либо всегда приходит ''

потому что ораклу всегда приходит ''

coalesce(вход, '') сделает тебе всегда хотя бы ''

и не null

тогда мы не сможем сделать insert values (null)

а в таблице '' и null, разные значения

хотя с виду одинаковые пустые строчки)

на входе в запрос, в смысле

все запросы переписывать затратно, хотелось бы на уровне бд изменить поведение

ну сделай тогда view :)

ERROR: S client not available

create temporary table tttt(t text); insert into tttt values (''),(null); select * from tttt where t=''; select * from tttt where t='' or t is null;

не понял пока как вью, на каждый запрос?

а, тебе ещё null='' надо?

видимо это так звучит, я другими словами сказал, надо было так проще

null и '' должно быть одно и тоже как в оракле

тогда как ты их отличишь вставкой в таблицу?

ну вот пример привел, отличаются же, а не должны

тогда мы не сможем сделать insert values (null)

обновите все таблицы, запишите туда '' where is null; повесьте триггер на обновление поля, записывайте '' вместо null

это без переделки кода приложения

ну и поставить условие not null на необходимые поля, отслеживайте error log

а конкатенацию строк как делать?

select null || 'name'

после этого действия у тебя не останется нуллов в таблицах

или ты прямо пишешь null || 'name' в запросе?

нет, это переменные связывания конечно

bind

а конкатенацию строк как делать?

А в чем проблема? select field || 'name' from table; больше никогда не вернет null

если переделаем встро null в '' конечно да,но тогда запросы where is null будут возвращать неправильный результат

то есть все-таки есть ситуации где надо отличать явно is null или ''?

так дело в том что в постгрес они отличаются

в оракле то нет, и не нужно было различать

в выборке тоже не отличаются в оракле?

серьезно?

серьезно. null и пустая строка '' там одно и то же

да

может наконец будет понятно в чем проблема

null и '' должно быть одно и тоже как в оракле

а

был у нас такой же кейс, когда редмайн на оракл сажали

как раз вроде триггерами и обошлись

for i in $(grep -nRi "is null" -l --include *.php); do echo sed -e "s/is null/''/g" -i $i; done

lol

for i in $(grep -nRi "is null" -l --include *.php| sort|uniq); do sed -e "s/is null/= ''/g" -i $i; done