хочу чтобы был балансинг между нодами на чтение и запись в одну ноду

таки haproxy же просто tcp-balancing делает без определения того что внутри исполняется, нет ?

Верно, что внутри на уровне апликейшена

ок, всем спасибо за ответы

хочу чтобы был балансинг между нодами на чтение и запись в одну ноду

Ну так plproxy же! Одна из задач, им выполняемых - как раз раскидывать выполнение ф-ий по условию. А вот условие вы уже сами рисуете.

Реплики синхронные, внедрение хранимок невозможно

Про внедрение - это вот зря. 1. скорость выполнения запросов не падает, а может увеличиться; 2. балансировка как горизонтальная, так и разбиение на чтение/запись с помощью plproxy без дополнительного рукоблудия с двумя коннекторами в приложении. О разделении нагрузки на чтение и на чтение/запись - это вот первая мысль у меня в своё время была, когда я доку по plproxy читал. Ну и Космодемьяский в своё время рассказывал разное. Только вот я не помню, в кулуарах митапа в Яндексе, сентябрь 2014-го, или где-то в докладах, не спрашивайте.

Получается, лучше использовать MySQL Percona если к задаче это подходит?

Прост я всегда топил за Postgres, не смотря ни на что)

Получается, лучше использовать MySQL Percona если к задаче это подходит?

Инструмент должен соответствовать задаче. Если мускуля хватит на 146%, то почему бы и нет.

Ну так plproxy же! Одна из задач, им выполняемых - как раз раскидывать выполнение ф-ий по условию. А вот условие вы уже сами рисуете.

Ну нереально хранимки внедрить. Точнее по человеко часам это будут дикие затраты

Всем привет. Почему данная функция не хочет работать и ругается на поля с типом char ERROR: column "fam" is of type character[] but expression is of type text LINE 11: substr(upper(md5(random()::char)),1,30), ^ HINT: You will need to rewrite or cast the expression. QUERY: insert into markcontrol.test_table (id, fam, nam, otc, drg, sn, nomer) values (nextval('markcontrol.seq_test'), substr(upper(md5(random()::char)),1,30), substr(upper(md5(random()::char)),1,30), substr(upper(md5(random()::char)),1,30), current_date, substr(upper(md5(random()::char)),1,2), trunc(random()*999999999999))

по моему он русским языком тебе говорит

по моему он русским языком тебе говорит

что текст не может в char преобразовать?

добавь к значению, которые в "fam" попадут ::varchar

добавь к значению, которые в "fam" попадут ::varchar

поле в таблице сделать varchar ? или значение которое пытаюсь воткнуть должно быть varchar?

ну тебе либо в таблице fam надо на text поменять, либо в запросе кастовать

ну тебе либо в таблице fam надо на text поменять, либо в запросе кастовать

varchar - разве не хранит текстовые значения?

character[] - это массив символов, кто его вообще зачем написал?

Разница только в том, что у варчара есть заранее заданное ограничение на длину, а у текста нет.

А как в этом цикле промежуточный комит поставить через каждые 100 записей? begin for i in 1..1000000 loop insert into markcontrol.test_table (id, fam, nam, otc, drg, sn, nomer) values (nextval('markcontrol.seq_test'), substr(upper(md5(random()::text)),1,30), substr(upper(md5(random()::text)),1,30), substr(upper(md5(random()::text)),1,30), current_date, substr(upper(md5(random()::text)),1,2), trunc(random()*999999999999) ); end loop; end;

А как в этом цикле промежуточный комит поставить через каждые 100 записей? begin for i in 1..1000000 loop insert into markcontrol.test_table (id, fam, nam, otc, drg, sn, nomer) values (nextval('markcontrol.seq_test'), substr(upper(md5(random()::text)),1,30), substr(upper(md5(random()::text)),1,30), substr(upper(md5(random()::text)),1,30), current_date, substr(upper(md5(random()::text)),1,2), trunc(random()*999999999999) ); end loop; end;

Никак. Только автономную транзакцию придумать.

Процедуры и анонимные блоки всегда одной транзакцией выполняются, увы.

Процедуры и анонимные блоки всегда одной транзакцией выполняются, увы.

мда... после pl/sql oracle вообще плачу (((

простую тестовую операцию в цикле чтобы написать столько мучаюсь. А как вообще посоветуете нагенерить рандомных записей в 1 миллиард штук?

generate_series?

и create table as, зачем там вообще pl?

Процедуры и анонимные блоки всегда одной транзакцией выполняются, увы.

можно внутри процедуры пачкой обновлять

generate_series?

А как с помощью него текст генерить?

generate_series()::text ?

можно внутри процедуры пачкой обновлять

Обновлять можно что угодно, commit нельзя сделать.

Обновлять можно что угодно, commit нельзя сделать.

Это да

ещё можно не звать руками nextval

generate_series()::text ?

мне нужно сгенерить 30 позиций рандомных букв и цифр в одной строчке и таких строчек должно быть 1млн

колизий по id нет. пользователи регистрируются до определенного момента. потом регистрация закрывается. список скачивается для обработки. потом к текущему списку добавляются новые, из другой базы со следующими по порядку id

Ну если регистрация закрывается то и сиквенсы никто трогать не будет, так? :)

мне нужно сгенерить 30 позиций рандомных букв и цифр в одной строчке и таких строчек должно быть 1млн

md5(generate_series()::text || 'field_name') ?

Обновлять можно что угодно, commit нельзя сделать.

Это еще потому что постгрес не умеет в nested transaction

md5(generate_series()::text || 'field_name') ?

Ругается

Ругается

как и на что?

yf rjk dj fhuevtynjd

на кол-во аргументов

попробуйте прочитать документацию на функции в выражении и решить, каких аргументов не хватает

Ругается

Кстати, на postgresql.org есть документация по всем функциям postgres, с примерами. Ну это я так, на всякий случай.

например, тут: https://www.postgresql.org/docs/10/static/functions-srf.html

Не могу понять теперь как поле даты нагенерить ??? ФИО есть select s, substr(upper(md5(s::text)::text),1,30)fam, substr(upper(md5(s::text)::text),1,30)nam, substr(upper(md5(s::text)::text),1,30)otc, trunc((random()*999999999999)::numeric)nomer from generate_series(1,100) s

подскажите в чем ошибка: я програмно открываю соединение и устанавливаю set search_path to my_schema. все работает как ожидалось, но если начата транзакция и в этот момент идет из другой точки вставка в базу то вставка происходит в public а не в мою схему

Не могу понять теперь как поле даты нагенерить ??? ФИО есть select s, substr(upper(md5(s::text)::text),1,30)fam, substr(upper(md5(s::text)::text),1,30)nam, substr(upper(md5(s::text)::text),1,30)otc, trunc((random()*999999999999)::numeric)nomer from generate_series(1,100) s

нагенери unix time

подскажите в чем ошибка: я програмно открываю соединение и устанавливаю set search_path to my_schema. все работает как ожидалось, но если начата транзакция и в этот момент идет из другой точки вставка в базу то вставка происходит в public а не в мою схему

Если у тебя в базе несколько схем, то указывай схему, это хорошая, на мой взгляд, практика

это тесты(

Не могу понять теперь как поле даты нагенерить ??? ФИО есть select s, substr(upper(md5(s::text)::text),1,30)fam, substr(upper(md5(s::text)::text),1,30)nam, substr(upper(md5(s::text)::text),1,30)otc, trunc((random()*999999999999)::numeric)nomer from generate_series(1,100) s

Например, так: select '2018-01-01'::date + interval '1 day' * (random()*365)::int from generate_series(1, 1000);

то есть я вызываю функции с ормом

Например, так: select '2018-01-01'::date + interval '1 day' * (random()*365)::int from generate_series(1, 1000);

или так select timestamp '2018-01-10 20:00:00' + random() * (timestamp '2018-01-20 20:00:00' - timestamp '2018-01-10 10:00:00')

или так select timestamp '2018-01-10 20:00:00' + random() * (timestamp '2018-01-20 20:00:00' - timestamp '2018-01-10 10:00:00')

а дату без времени как сделать?

а дату без времени как сделать?

скастовать?

ну типо trunc() есть?

подскажите в чем ошибка: я програмно открываю соединение и устанавливаю set search_path to my_schema. все работает как ожидалось, но если начата транзакция и в этот момент идет из другой точки вставка в базу то вставка происходит в public а не в мою схему

> идет из другой точки А что это значит, из какой "точки"?

> идет из другой точки А что это значит, из какой "точки"?

из другой точки кода

ну типо trunc() есть?

dt_col::date

видимо орм если видит начатую транзакцию открывает новую сессию а там дефолт

наверное правильно будет засунуть этот инсерт в транзакцию? как считаете - с точки зрения производительности?

видимо орм если видит начатую транзакцию открывает новую сессию а там дефолт

Ну так это проблема этого ORM, нет? Вообще, search_path можно на разных уровнях настраивать: для кластера, базы, пользователя...

ну типо trunc() есть?

https://www.postgresql.org/docs/current/static/functions-datetime.html

Ну так это проблема этого ORM, нет? Вообще, search_path можно на разных уровнях настраивать: для кластера, базы, пользователя...

ну меня для сессии вполне устраивает (в test scope), и да - это проблема орма

ну точнее не проблема а он так решает задачу производительности - раз есть транзакция то не будем ждать...

ну точнее не проблема а он так решает задачу производительности - раз есть транзакция то не будем ждать...

Звучит как бред, честно говоря... не должен какой-то API/ORM нарушать границы транзакций просто потому, что ему так "захотелось".

простую тестовую операцию в цикле чтобы написать столько мучаюсь. А как вообще посоветуете нагенерить рандомных записей в 1 миллиард штук?

А почему Вы решили, что во всех остальных СУБД должно быть, как в Оракле? И на каком основании Вы считаете, что документацию читать нет необходимости. А судя по Вашим возмущениям, вы таки себя не утруждали хотя бы просмотром документации. Например, вот в этот раздел: https://postgrespro.ru/docs/postgresql/10/sql подраздел "Функции и операторы" вы не заглядывали точно.

Звучит как бред, честно говоря... не должен какой-то API/ORM нарушать границы транзакций просто потому, что ему так "захотелось".

он и не нарушает - просто запускает две конкурентные сессии. если все нормально и запросы в сессиях не пересекаются - то параллелизм, профит

а если в двух сессиях конкурентные транзакции - то опять же это проблема не орма а автора кода

оно и без орма дедлочить будет