@Valentinishe будет жить. Поприветствуем!

"Поменял ФИО сотруднику, ФИО сразу меняется и в таблице платежей." Это реляционное свойство, при чем здесь форинкеи?

Такой момент : wal логи имеют ротацию. Если их архивировать, то ротация в наименовании файлов все равно будет или там будет непрерывный неповторяющийся хеш в названиях? Как долго можно копить wal не делая basebackup?

> wal логи имеют ротацию. Что Вы имеете в виду? > Если их архивировать, то ротация в наименовании файлов все равно будет Этого не понял... > или там будет непрерывный неповторяющийся хеш в названиях? Эээ... какой хеш? > Как долго можно копить wal не делая basebackup? В смысле? Формально, они вообще друг с другом не связаны...

> wal логи имеют ротацию. Что Вы имеете в виду? > Если их архивировать, то ротация в наименовании файлов все равно будет Этого не понял... > или там будет непрерывный неповторяющийся хеш в названиях? Эээ... какой хеш? > Как долго можно копить wal не делая basebackup? В смысле? Формально, они вообще друг с другом не связаны...

Я имею ввиду, что wal записывается в именованные файлы сегментов. Но их ограниченное количество и рано или поздно они могут закончится. И тогда их писать надо на файлы ранее записанные.

Хеш - тут неправильно выразился. Название файла 0000010000000....

Вопрос. Возможно ли как то sql запросом реализовать уникальность значений полей. Но с кое какой оговоркой. Например есть 2 колонки с айдишниками пользователей. Допустим в ней 20 отовых строк. В каждой колонке айдишники могут повторяться. Возьмем 3 строки. userID userID2 (1, 2, 1) (3, 2, 4). Так вот. Мне нужно сделать новую таблицу с одной колонкой userID. и в нее поместить неповторяющиеся поля с первой и второй колонки. Из данного примера должна она заполняться так. 1, 2, 4. Тоесть первые два берутся с первой колонки. А последний берутся со второй, так как с первой идет поворение

Очень специфичная задача

Я имею ввиду, что wal записывается в именованные файлы сегментов. Но их ограниченное количество и рано или поздно они могут закончится. И тогда их писать надо на файлы ранее записанные.

Закончиться они могут только теоретически, после записи 2^64 байт.

"Поменял ФИО сотруднику, ФИО сразу меняется и в таблице платежей." Это реляционное свойство, при чем здесь форинкеи?

Я сомневаюсь, что пользователи будут идентифицироваться в базе по ФИО. И ещё больше сомневаюсь, что разумно хранить ФИО в 2х местах.

ФК даст простую схему - нельзя создать платеж на несуществующего пользователя

Вопрос. Возможно ли как то sql запросом реализовать уникальность значений полей. Но с кое какой оговоркой. Например есть 2 колонки с айдишниками пользователей. Допустим в ней 20 отовых строк. В каждой колонке айдишники могут повторяться. Возьмем 3 строки. userID userID2 (1, 2, 1) (3, 2, 4). Так вот. Мне нужно сделать новую таблицу с одной колонкой userID. и в нее поместить неповторяющиеся поля с первой и второй колонки. Из данного примера должна она заполняться так. 1, 2, 4. Тоесть первые два берутся с первой колонки. А последний берутся со второй, так как с первой идет поворение

можно использовать row_number() over (partition by userid, userid2 order by id) и потом перенести только те записи у когорых row_number = 1

спасибо, попробую

Вопрос. Возможно ли как то sql запросом реализовать уникальность значений полей. Но с кое какой оговоркой. Например есть 2 колонки с айдишниками пользователей. Допустим в ней 20 отовых строк. В каждой колонке айдишники могут повторяться. Возьмем 3 строки. userID userID2 (1, 2, 1) (3, 2, 4). Так вот. Мне нужно сделать новую таблицу с одной колонкой userID. и в нее поместить неповторяющиеся поля с первой и второй колонки. Из данного примера должна она заполняться так. 1, 2, 4. Тоесть первые два берутся с первой колонки. А последний берутся со второй, так как с первой идет поворение

а почему должно получиться 1 2 4, а не 1 3 4? - 2 же повторяется между двумя колонками?

та приоритет идет с первой колонки. Если же уже есть повторение, то берется со второй

закрученая логика. ДЕлаем миграцию

Вопрос. Возможно ли как то sql запросом реализовать уникальность значений полей. Но с кое какой оговоркой. Например есть 2 колонки с айдишниками пользователей. Допустим в ней 20 отовых строк. В каждой колонке айдишники могут повторяться. Возьмем 3 строки. userID userID2 (1, 2, 1) (3, 2, 4). Так вот. Мне нужно сделать новую таблицу с одной колонкой userID. и в нее поместить неповторяющиеся поля с первой и второй колонки. Из данного примера должна она заполняться так. 1, 2, 4. Тоесть первые два берутся с первой колонки. А последний берутся со второй, так как с первой идет поворение

Почему не 1,2,3,4? 3 ведь тоже не повторяется

ну я ведь привел 3 записи. А значит в другой таблице должно быть 3 записи. Все идет последовательно

Хм... теперь поняла. Задачу поняла. В результате должно быть столько же значений, сколько записей. Но ведь row_number и вытаскивание по having row_number =1 вовсе не гарантиует столько значений сколько записей

Вопрос. Возможно ли как то sql запросом реализовать уникальность значений полей. Но с кое какой оговоркой. Например есть 2 колонки с айдишниками пользователей. Допустим в ней 20 отовых строк. В каждой колонке айдишники могут повторяться. Возьмем 3 строки. userID userID2 (1, 2, 1) (3, 2, 4). Так вот. Мне нужно сделать новую таблицу с одной колонкой userID. и в нее поместить неповторяющиеся поля с первой и второй колонки. Из данного примера должна она заполняться так. 1, 2, 4. Тоесть первые два берутся с первой колонки. А последний берутся со второй, так как с первой идет поворение

погоди, а это не select distinct userID from t union select distinct userID2 from t

)))

братиш, если оно, расцелую. Сек

посмотрю

я просто привык, что когда ко мне обращаются по повторениям, то там что то более сложное

не, не правильно работает

оно склеивает много лишних колонок

По моему тут sql запросом не обойтись. Каждое значение результирующего userID зависит от разного количества других записей. При этом количество записей остается неизменным. Кстати, а что если (1, 2, 1, 1)? (4, 3, 4, 4)? Какой результат должен быть?

1 и 4 уже использовал. Как быть с третей записью, где опять 1 и 4 используется?

такого не будет. Данное явление уже отфильтровано.

не, не правильно работает

А как правильно? Пояснили бы Вы ещё, что именно Вам нужно. > Если же уже есть повторение, то берется со второй Здесь какой-то порядок подразумевается? Или нет?

привет! а кто может поделиться инфой про upgrade "ванильной" версий postgresql на aws?

привет! а кто может поделиться инфой про upgrade "ванильной" версий postgresql на aws?

неаврорного rds?

угу

кнопочка в админке

это понятно, просто сколько времени она может занять? :)

даунтайма :)

здесь есть на несколько tb база и хочется все таки понять сколько времени это будет занимать. понятно что pg_upgrade- быстрая утилита, но именно со спецификой aws

можешь отцепить реплику и заапгрейдить реплику

гигов 50 апгрейдилось в пределах 5 минут

гигов 50 апгрейдилось в пределах 5 минут

спасибо за конкретные цифры

https://paste.fedoraproject.org/paste/Kx232taXGCZl7M06Z~0agQ кто подскажет на что обратить внимание? отрабатывает долго каунты отжирвает основное время, ну и групировка немного

оно склеивает много лишних колонок

Не совсем понятно, но не оно? with cte as ( select 1 id, 1 u1, 3 u2 union all select 2, 2 u1, 2 u2 union all select 3, 1 u1, 4 u2 ) select case when rn = 1 then u1 else u2 end userID from ( select u1, u2, ROW_NUMBER() over(partition by u1 order by id) rn from cte ) t

https://paste.fedoraproject.org/paste/Kx232taXGCZl7M06Z~0agQ кто подскажет на что обратить внимание? отрабатывает долго каунты отжирвает основное время, ну и групировка немного

SeqScan + HashJoin = нет индекса

SeqScan + HashJoin = нет индекса

users.email, users.name, users.id есть такой

missed_images.user_id нету

positions_images.user_id видимо тоже

спасибо.. действительно

https://paste.fedoraproject.org/paste/Kx232taXGCZl7M06Z~0agQ кто подскажет на что обратить внимание? отрабатывает долго каунты отжирвает основное время, ну и групировка немного

А может, запрос переписать, отталкиваясь от требуемого результата (если возможно)?

спасибо.. действительно

А Вы, кстати, уверены, что сам запрос правильный? А то это как-то не очевидно. ;)

не уверен на счет count(distinct ..)

А Вы, кстати, уверены, что сам запрос правильный? А то это как-то не очевидно. ;)

очевидно что если джойн двух таблиц вываливается в SeqScan HashJoin, то на одной из таблиц нет индекса по джойн полю ) (ну или статистика поехала)

очевидно что если джойн двух таблиц вываливается в SeqScan HashJoin, то на одной из таблиц нет индекса по джойн полю ) (ну или статистика поехала)

Да я про корректность результата. Что толку оптимизировать неправильный запрос? ;)

не уверен на счет count(distinct ..)

сделай explain(analyze, buffers)

не уверен на счет count(distinct ..)

А сколько у Вас может быть записей в missed_images по данному user_id из users (при missed_images"."stage" = '1' )? Я про это условие: "missed_images"."user_id" = "users"."id" and "missed_images"."stage" = '1'

не большем чем в каждой из таблиц, которые присутсвуют

не большем чем в каждой из таблиц, которые присутсвуют

Эээ... что? Конретнее — 0, 1, много?

select users.name, users.email, users.id as user_id, (select SUM(CASE WHEN positions_images.is_rejected THEN 1 ELSE 0 END) from positions_images p where p.user_id = u.id) as rejected, (select COUNT(positions_images.image_id) from positions_images p where p.user_id = u.id) as positions, (select COUNT(missed_images.image_id) from missed_images p where p.user_id = u.id) as missed from users u order by users.email asc;

Hardcore

Эээ... что? Конретнее — 0, 1, много?

до 1 кк

@appleboy у тебя в первичном запросе, куча лишних записей до аггрегации доходит, можно написать "NestedLoop" селектом по ID

до 1 кк

Тогда сильно похоже, что у Вас запрос неправильный, вот в этой части: "SUM(CASE WHEN positions_images.is_rejected THEN 1 ELSE 0 END) as rejected," К примеру, пусть для данного user_id есть 3 соответсвующих записи в positions_images, и 4 в missed_images (c stage" = '1'). Тогда rejected получится 12. Вы этого хотели?

нет, в этих таблицах максимум может быть одна запись, для одного user_id

нет, в этих таблицах максимум может быть одна запись, для одного user_id

А это что значило, в таком случае?! > до 1 кк И планировщик с Вами не согласен, кстати: Hash Right Join (cost=1.50..46.29 rows=1363 width=44) (actual time=0.069..1.169 rows=1376 loops=1) Seq Scan on missed_images (cost=0.00..26.05 rows=1364 width=8) (actual time=0.025..0.489 rows=1364 loops=1) Если бы было так, как Вы говорите, там было бы 1364, а не 1376, нет? (Ну и так далее, выше по плану...)

интересно

интересно

Проверили бы Вы запрос, в общем. Можете сравнить результат с тем, что привёл @korhog, например (наверное, это тот результат, который Вам нужен). (Не считая условия по stage.)

@furkulitsa_k будет жить. Поприветствуем!

ога, мейлру

привет) сильно нужны админы, чтобы здесь не спамить, направьте на канал с вакансиями что ли?:)

привет) сильно нужны админы, чтобы здесь не спамить, направьте на канал с вакансиями что ли?:)

Вакансия DBA PG?

@furkulitsa_k https://t.me/devops_jobs только внимательно правила прочитайте

Вакансия DBA PG?

нет, не DBA, нужен админ, но лучше в личку, чтобы не засорять

@furkulitsa_k https://t.me/devops_jobs только внимательно правила прочитайте

спасибо

@PeterEgorov будет жить. Поприветствуем!

Привет, не могу на aws базу запустить FATAL: could not map anonymous shared memory: Cannot allocate memory db.m3.large , 8GB ram , 250GB disk уже не знаю какие там параметры менять, shared_buffers уже менял

Гхм, а версия какая?

выглядит, как будто кто-то раньше лениво писал на турбо паскале и любит строки длиной 255

стоит попробовать поменять всё на просто text, а id - на uuid

но это только если там нет костылей типа "раньше в это поле мы складывали int, а теперь uuid, потому оно текстовое"

Я полагаю что причина в миграторе ECM7

хотя не он понимает guid\uuid, видимо все таки турбо паскаль

И timestamp without timezone, к тому же.

Хм ... пытаюсь настроить стандартную master-slave репликацию, падает такая странная ошибка, каждый раз вроде накатываю с нуля. record with incorrect prev-link E987FA71/A00 at 1/27000098 Не подскажите, что это может быть?

а slave вы как создаёте?

Сначала pg_basebackup -h <ip> -D /var/lib/postgresql/data -P -U replica -W --wal-method=stream на чистую папку, потом удаляют recovery.done, создаю такой же recovery.conf и запускаю

а wal как на slave попадают?

Через общую папку

Через общую папку

Ну а подробнее? И, кстати, что в recovery.conf?

Приманученный glusterfs

standby_mode = 'on' primary_conninfo = 'host={{ postgres_primary_host }} port=5432 user={{ postgres_replica_user }} password={{ postgresql_replica_password }} application_name=slave1' restore_command = 'cp -f /var/lib/postgresql/archive/%f %p' trigger_file = '/var/lib/postgresql/trigger/postgresql.trigger' Как-то так выглядит файл

standby_mode = 'on' primary_conninfo = 'host={{ postgres_primary_host }} port=5432 user={{ postgres_replica_user }} password={{ postgresql_replica_password }} application_name=slave1' restore_command = 'cp -f /var/lib/postgresql/archive/%f %p' trigger_file = '/var/lib/postgresql/trigger/postgresql.trigger' Как-то так выглядит файл

Хмм... ну а в логах на standby что (перед этой ошибкой)?

Попытка рековери из archive

Попытка рековери из archive

Да Вы лучше покажите, не пересказывайте...

например, как-то так: 2018-08-29 14:35:24.445 UTC [24] LOG: restored log file "000000010000000100000016" from archive 2018-08-29 14:35:25.197 UTC [24] LOG: record with incorrect prev-link 7000000/5 at 1/16000098 2018-08-29 14:35:25.197 UTC [24] LOG: record with incorrect prev-link 7000000/5 at 1/16000098 2018-08-29 14:35:29.211 UTC [24] LOG: restored log file "000000010000000100000016" from archive 2018-08-29 14:35:30.060 UTC [24] LOG: record with incorrect prev-link 7000000/5 at 1/16000098 2018-08-29 14:35:30.060 UTC [24] LOG: record with incorrect prev-link 7000000/5 at 1/16000098 2018-08-29 14:35:34.202 UTC [24] LOG: restored log file "000000010000000100000016" from archive 2018-08-29 14:35:35.380 UTC [24] LOG: record with incorrect prev-link 7000000/5 at 1/16000098 2018-08-29 14:35:35.381 UTC [24] LOG: record with incorrect prev-link 7000000/5 at 1/1600009

Совсем полный лог: https://pastebin.com/ifwvM43z