0xFF вчера было.

а, сегодня 100

этим не должна заниматься БД

больше вроде бы некому в этом тулчейне

больше вроде бы некому в этом тулчейне

приложение

Легальный ответ на интервью на такой вопрос - это база не должна этим заниматься, тем более что это _крайне_ нетривиальный вопрос. "Использовал postgresql" - это какой язык?

Ребят мне нужно задачку решить для оракла но после повторить для постгреса. Поэтому задам для постгреса а там может и для оракла направление увижу. Кароче Мне одновременно приходят 5 запросов на сервер, каждый в своем потоке. Каждый запрос хочет сходить в базу и вытащить одну строку. Для него там много подходящих, поэтому данные сортируются по дате и берется одна строка самая старая. Дальше запрос формирует ответ из данных строки. Но проблема что второй запрос берет эту же строку с базы и третий тоже. Так как вск 5 хотят ее. Вариант использовать блокировку. Первый запрос блокирует нужную запись. Второй уже ее не возьмет пока первый не отпустит. Но проблема в том, что приходят 5 запросов и делают 5 раз каждый по селекту. А селект всем возвращает сразу одну и ту же строку. Так как пока еще ее никто не успел заблокировать. Может есть какие варинты на уровне базы или ктото решал такие задачи? Я ожилаю так что пришло 5 запросов первый сделал селект и тут же когда второй делает селект он получает следующую строку, а не ту что уже щаблокирована первым, и работает с ней.

приложение

блин ну там на входе и на выходе черные ящики (хоть и опенсорсные). речь про osm2pgsql и далее развёртывание тайл-сервера

вот например вот эта буква, она заглавная? ﺽ

Чет пропустил Думаю если lower()=upper() то у неё нет регистра

Ребят мне нужно задачку решить для оракла но после повторить для постгреса. Поэтому задам для постгреса а там может и для оракла направление увижу. Кароче Мне одновременно приходят 5 запросов на сервер, каждый в своем потоке. Каждый запрос хочет сходить в базу и вытащить одну строку. Для него там много подходящих, поэтому данные сортируются по дате и берется одна строка самая старая. Дальше запрос формирует ответ из данных строки. Но проблема что второй запрос берет эту же строку с базы и третий тоже. Так как вск 5 хотят ее. Вариант использовать блокировку. Первый запрос блокирует нужную запись. Второй уже ее не возьмет пока первый не отпустит. Но проблема в том, что приходят 5 запросов и делают 5 раз каждый по селекту. А селект всем возвращает сразу одну и ту же строку. Так как пока еще ее никто не успел заблокировать. Может есть какие варинты на уровне базы или ктото решал такие задачи? Я ожилаю так что пришло 5 запросов первый сделал селект и тут же когда второй делает селект он получает следующую строку, а не ту что уже щаблокирована первым, и работает с ней.

select for update skip locked ?

Ребят мне нужно задачку решить для оракла но после повторить для постгреса. Поэтому задам для постгреса а там может и для оракла направление увижу. Кароче Мне одновременно приходят 5 запросов на сервер, каждый в своем потоке. Каждый запрос хочет сходить в базу и вытащить одну строку. Для него там много подходящих, поэтому данные сортируются по дате и берется одна строка самая старая. Дальше запрос формирует ответ из данных строки. Но проблема что второй запрос берет эту же строку с базы и третий тоже. Так как вск 5 хотят ее. Вариант использовать блокировку. Первый запрос блокирует нужную запись. Второй уже ее не возьмет пока первый не отпустит. Но проблема в том, что приходят 5 запросов и делают 5 раз каждый по селекту. А селект всем возвращает сразу одну и ту же строку. Так как пока еще ее никто не успел заблокировать. Может есть какие варинты на уровне базы или ктото решал такие задачи? Я ожилаю так что пришло 5 запросов первый сделал селект и тут же когда второй делает селект он получает следующую строку, а не ту что уже щаблокирована первым, и работает с ней.

Так надо делать сразу select ... for update skip locked

select for update skip locked ?

Да, пробовал. Не работает так как ожидается

Да, пробовал. Не работает так как ожидается

а как работает и ожидается?

Да, пробовал. Не работает так как ожидается

Да ладно, по другому он работать и не может

Ожидается как уже писал - все пять реквестов выплнят по одному селекту. В запросах для наглядности стоит задержка 5 сек, перед коммитом транзакции. Так вот ожидается что 5 запросов выполнят 5 селектов и отработают за 5 сек. По факту же, первый запрос берет строку и начинает работу 5 сек. Тоесть держит ее. Остальные 4 запроса в своем селекте получают эту же строку и так как она залочена отваливаются

Skip locked

Да

Хм. Должны пропускать, а не ждать

А без него так - первый лочит, 4 ждут 5 сек. Второй берет уже новую строку лочит 3 ждут еще 5 сек и тд. 5 запросов 25 сек

Хм. Должны пропускать, а не ждать

Да. Видишь в чем суть все 5 приходят одновремено и делаю селект одной строки еще до того как хоть ктото ее залочит

Тоесть до того как первый залочил что не позволило бы остальным ее взять, остальные успеваю ее взять тоже

Ожидается так - первый лочит строку. Второй делает селект и в него попадают тольео не залоченые и лочит свою строку и тд. Но почему то не работает

Скип локед работает так что селект вернет только незалоченые это понятно

Но потоки успевают взять строку одновремеено еще до того как ктото ее залочил

Может есть такая тема типо сразу сделать апдейт который вернет мне зааплейченую строку....

хм, похоже на баг. во всяком случае, не похоже на ожидаемую логику работы select for update. в постгресе не уверен, но в оракле никогда не сталкивался с подобными коллизиями.

Но потоки успевают взять строку одновремеено еще до того как ктото ее залочил

так все потоки в один коннект чтоли ходят или у каждого свой? если у каждого свой, то все происходит немного не так, оно сначало пытается залочить и только если ок, возвращает строку, те вышеописанная ситуация невозможна

хм, похоже на баг. во всяком случае, не похоже на ожидаемую логику работы select for update. в постгресе не уверен, но в оракле никогда не сталкивался с подобными коллизиями.

Смотри, тут еще стоит отметить как селект работает. Я достаю список удовлетворяющих условиям строк и сортирую его. Пото беру первую строку. И для нее делаю селект фор апдейт. Второй запрос делает тоже самое сортирует и берет первую строку. Но она уже залочена

Смотри, тут еще стоит отметить как селект работает. Я достаю список удовлетворяющих условиям строк и сортирую его. Пото беру первую строку. И для нее делаю селект фор апдейт. Второй запрос делает тоже самое сортирует и берет первую строку. Но она уже залочена

а не проще ли сразу сделать select for update для одной самой нужной строки?

так все потоки в один коннект чтоли ходят или у каждого свой? если у каждого свой, то все происходит немного не так, оно сначало пытается залочить и только если ок, возвращает строку, те вышеописанная ситуация невозможна

А вот надо проверить. Каждый запрос сервера обрабатывается в новом потке. Запросы в транзакциях. Транщакция создает новый коннект

из-за этих стадий и образуется gap, если можно так сказать

а не проще ли сразу сделать select for update для одной самой нужной строки?

Ну так она таким образом ищется. Задача такова что мой сервер каждую наносекнду могут долбить в 50 потоков. И я должен обработать каждый поток, и если есть данные вернуть их но на один поток одну строку даже если их есть несуолько

Мнн приходит 50 одинаковых запросов. Например - дай мне данные по васе если есть. Каждый так спрашивает. Я смотрю ок по васе есть 10 записей. На самую старую и иди отсюда.

Второму даю следующую

Осталось 8 третему еще одну

Ну так она таким образом ищется. Задача такова что мой сервер каждую наносекнду могут долбить в 50 потоков. И я должен обработать каждый поток, и если есть данные вернуть их но на один поток одну строку даже если их есть несуолько

выглядит так как будто нужна менеджер-процедура, отдающая при очередном вызове именно что следующую строку. вот она то и будет разные флаги ставить-снимать. но это уже не про транзакции

выглядит так как будто нужна менеджер-процедура, отдающая при очередном вызове именно что следующую строку. вот она то и будет разные флаги ставить-снимать. но это уже не про транзакции

Ну пофиг, я веть и спросил варианты как можно впринципе такое решить. Процедуру тоже расматривали но хз что и как она делает

Ну пофиг, я веть и спросил варианты как можно впринципе такое решить. Процедуру тоже расматривали но хз что и как она делает

хранит указатель на незанятую запись

Как это загуглить можнт? Может название подхода или стратегии такой есть

Менеджер процедура так и называется?

нет конечно, сам только что придумал название

но методологий на свете много, может и поумнее название найдется )

так это ж очереди, в оракле стоит покопать dbms_aq, а в постгресе самостоятельно фигачить

Мнн приходит 50 одинаковых запросов. Например - дай мне данные по васе если есть. Каждый так спрашивает. Я смотрю ок по васе есть 10 записей. На самую старую и иди отсюда.

ну очереди конеч лучше всего тут, возможен еще такой изврат update stuff set done = true where id = (select id from stuff where not done order by tstamp desc limit 1 for update skip locked) returning *

Ребят мне нужно задачку решить для оракла но после повторить для постгреса. Поэтому задам для постгреса а там может и для оракла направление увижу. Кароче Мне одновременно приходят 5 запросов на сервер, каждый в своем потоке. Каждый запрос хочет сходить в базу и вытащить одну строку. Для него там много подходящих, поэтому данные сортируются по дате и берется одна строка самая старая. Дальше запрос формирует ответ из данных строки. Но проблема что второй запрос берет эту же строку с базы и третий тоже. Так как вск 5 хотят ее. Вариант использовать блокировку. Первый запрос блокирует нужную запись. Второй уже ее не возьмет пока первый не отпустит. Но проблема в том, что приходят 5 запросов и делают 5 раз каждый по селекту. А селект всем возвращает сразу одну и ту же строку. Так как пока еще ее никто не успел заблокировать. Может есть какие варинты на уровне базы или ктото решал такие задачи? Я ожилаю так что пришло 5 запросов первый сделал селект и тут же когда второй делает селект он получает следующую строку, а не ту что уже щаблокирована первым, и работает с ней.

Сделай таблицу в которой будешь хранить какую строчку выдал какому серваку по запросу и ещё там сделай очередь по 5 строк прозапас на каждый запрос от сервера. А строку выдавай через хранимку которая будет определять что кому выдать сейчас. И переодически дописывай очередь. В хранимку посылай имя сервера.

Вобшем сорян что запутал немного. Уточнение два) кароче селект как я говорил вытаскивает допустим 10 записей и сортирует по дате. После этого я беру первую строку rownum = 1. Но взять ее нужно из уже отсортированного запроса. Поэтому select a.* from (select b.* from table b where .... order by b.date asc) a where rownum = 1 for update column skip loked. Тоесть внутренний селект вернул отсортированый список а внешний взял из него первую строку и уже ее пытается лочить. Потом приходит второй поток и делает так же. И ему внутренний селект возвращает такой же набор строк и где первая залочена. Или даже так - все пять потоков делают запрос в котором выполняется внутренний селект и возвращает один набор строк. Они все беруь первую. Потом один лочит ее а остальные крашатся так как рна залочена

Вобшем сорян что запутал немного. Уточнение два) кароче селект как я говорил вытаскивает допустим 10 записей и сортирует по дате. После этого я беру первую строку rownum = 1. Но взять ее нужно из уже отсортированного запроса. Поэтому select a.* from (select b.* from table b where .... order by b.date asc) a where rownum = 1 for update column skip loked. Тоесть внутренний селект вернул отсортированый список а внешний взял из него первую строку и уже ее пытается лочить. Потом приходит второй поток и делает так же. И ему внутренний селект возвращает такой же набор строк и где первая залочена. Или даже так - все пять потоков делают запрос в котором выполняется внутренний селект и возвращает один набор строк. Они все беруь первую. Потом один лочит ее а остальные крашатся так как рна залочена

а так тут ораклепроблема ) это не оно https://asktom.oracle.com/pls/apex/f?p=100:11:0::::P11_QUESTION_ID:9527937800346631524 ? в постгресе-то не нужен внешний запрос тк он умеет limit

Что-то мне подсказывает, что limit - не выход. В оракле он, кстати, тоже есть, начиная с 12с

Всегда был - rownum.

select * from qq "1" 1 2 3 declare rec qq%rowtype; cursor c is select * from qq where rowid in ( select * from (select rowid from qq order by 1 desc) where rownum < 10) for update skip locked; begin open c; fetch c into rec; close c; dbms_output.put_line(rec."1"); end; session 1: 3 session 2: 2

Вобшем сорян что запутал немного. Уточнение два) кароче селект как я говорил вытаскивает допустим 10 записей и сортирует по дате. После этого я беру первую строку rownum = 1. Но взять ее нужно из уже отсортированного запроса. Поэтому select a.* from (select b.* from table b where .... order by b.date asc) a where rownum = 1 for update column skip loked. Тоесть внутренний селект вернул отсортированый список а внешний взял из него первую строку и уже ее пытается лочить. Потом приходит второй поток и делает так же. И ему внутренний селект возвращает такой же набор строк и где первая залочена. Или даже так - все пять потоков делают запрос в котором выполняется внутренний селект и возвращает один набор строк. Они все беруь первую. Потом один лочит ее а остальные крашатся так как рна залочена

блин ну там на входе и на выходе черные ящики (хоть и опенсорсные). речь про osm2pgsql и далее развёртывание тайл-сервера

в этом контексте мы язык определяли join-ом с таблицей стран и базовых языков

https://github.com/wgnet/globalmap/blob/master/data/country_languages.csv

Кто-нибудь пробовал timescale? Как ощущения?

в этом контексте мы язык определяли join-ом с таблицей стран и базовых языков

Все name:<lang> в hstore лежат при этом? Потому что как только какой-то из них мапится на поле отдельное это уже джоином не сделать, не?

https://github.com/wgnet/globalmap/blob/master/data/country_languages.csv

Штука полезная, но мне не подходит. Спасибо)

Все name:<lang> в hstore лежат при этом? Потому что как только какой-то из них мапится на поле отдельное это уже джоином не сделать, не?

Собственно в localize.sql вижу

А как назвать процесс обратный локализации? Интернационализация?..))

Англификация? Латинизация? Делокализация?

Локализация это добавление языка. Обратное - удаление?

Не удаление, скорее попытка преобразовать локальное имя в более интернациональное

Глобализация?

подскажите, учитывается ли в timstamp поле таймзона бд ?

И timestamp without timezone, к тому же.

подскажите, учитывается ли в timstamp поле таймзона бд ?

Но я не проверял)

подскажите, учитывается ли в timstamp поле таймзона бд ?

В каком смысле "учитывается"? Прочитали бы Вы лучше документацию про них целиком...

@tfgyuhhygf будет жить. Поприветствуем!

Всем привет. А можно ли Postgres как-то посмотреть когда был сделан ALTER поля в таблице? Есть такая информация в системных таблицах ?

Всем привет. А можно ли Postgres как-то посмотреть когда был сделан ALTER поля в таблице? Есть такая информация в системных таблицах ?

Насколько я знаю, нет.

@qewew221 будет жить. Поприветствуем!

Сломался терминатор, несите следующего @pasha_golub @Komzpa

Сломался терминатор, несите следующего @pasha_golub @Komzpa

Всех апрувит?

Всех апрувит?

@qewew221 , @tfgyuhhygf пропустил только что

Ну так она таким образом ищется. Задача такова что мой сервер каждую наносекнду могут долбить в 50 потоков. И я должен обработать каждый поток, и если есть данные вернуть их но на один поток одну строку даже если их есть несуолько

Вас попросили написать rabbitmq руками

всем доброго, смотрю у себя вывод коменды в консоли: pidstat -dl -G postgres 30 на выходе примерно такие строки: 11:03:09 UID PID kB_rd/s kB_wr/s kB_ccwr/s iodelay Command 11:03:29 70 4466 0,00 0,40 0,00 2 postgres: wal writer process 11:03:29 70 4468 0,00 2,80 0,00 2 postgres: stats collector process 11:03:29 70 6211 0,00 585,80 0,00 0 postgres: postgres data24 [local] SELECT 11:03:29 70 31401 0,00 4761,40 2611,20 13 postgres: postgres data24 [local] SELECT 11:03:29 70 32025 0,00 1306,00 1305,60 3 postgres: postgres data24 [local] idle Почему и куда-что пишется на селектах и ожиданиях ПГ? Тупо ожидал чтения данных, а тут постоянно запись. Или я ошибаюсь.

как скопировать таблицу без данных и воссоздать в другой бд такую же пустую?

@qewew221 , @tfgyuhhygf пропустил только что

Симпатичные аватарки были. Удалял и плакал

как скопировать таблицу без данных и воссоздать в другой бд такую же пустую?

ДА хоть бы и репликацией.

как скопировать таблицу без данных и воссоздать в другой бд такую же пустую?

https://stackoverflow.com/questions/3195125/copy-a-table-from-one-database-to-another-in-postgres

как скопировать таблицу без данных и воссоздать в другой бд такую же пустую?

И флаг -s не забудь

И флаг -s не забудь

Да там схема ещё в бд -s -t table db.scheme2 не прокатывает

всем доброго, смотрю у себя вывод коменды в консоли: pidstat -dl -G postgres 30 на выходе примерно такие строки: 11:03:09 UID PID kB_rd/s kB_wr/s kB_ccwr/s iodelay Command 11:03:29 70 4466 0,00 0,40 0,00 2 postgres: wal writer process 11:03:29 70 4468 0,00 2,80 0,00 2 postgres: stats collector process 11:03:29 70 6211 0,00 585,80 0,00 0 postgres: postgres data24 [local] SELECT 11:03:29 70 31401 0,00 4761,40 2611,20 13 postgres: postgres data24 [local] SELECT 11:03:29 70 32025 0,00 1306,00 1305,60 3 postgres: postgres data24 [local] idle Почему и куда-что пишется на селектах и ожиданиях ПГ? Тупо ожидал чтения данных, а тут постоянно запись. Или я ошибаюсь.

Ну а почему бы нет? Hint bits update, например. Или microvacuum. Даже lock-и, в крайнем случае (если SELECT ... FOR SHARE/UPDATE). Т.е. SELECT-ы могут писать (и иногда даже много).

Да там схема ещё в бд -s -t table db.scheme2 не прокатывает

А что именно не получается-то?

Да там схема ещё в бд -s -t table db.scheme2 не прокатывает

-s -t scheme2.table db

Схема - это часть базы, к которой вы подключаетесь, никак не часть строки подключения

Не удаление, скорее попытка преобразовать локальное имя в более интернациональное

там рядом результаты работы латинизирующей нейросети лежат

Привет всем, хочу спросить, может быть кто нить уже сталкивался с подбным. На одном сервере кpутится сервер 1с и постгрес, при попытке присоединения базы 1с к постгресу появляется ошибка ERROR: type "mvarchar" does not exist at character 31 STATEMENT: create table Config (FileName mvarchar(128) not null, Creation timestamp not null, Modified timestamp not null, Attributes int not null, DataSize int8 not null, BinaryData bytea not null, PartNo int not null, PRIMARY KEY (FileName, PartNo)) Причём расширение/модуль mchar уже установлен

Привет всем, хочу спросить, может быть кто нить уже сталкивался с подбным. На одном сервере кpутится сервер 1с и постгрес, при попытке присоединения базы 1с к постгресу появляется ошибка ERROR: type "mvarchar" does not exist at character 31 STATEMENT: create table Config (FileName mvarchar(128) not null, Creation timestamp not null, Modified timestamp not null, Attributes int not null, DataSize int8 not null, BinaryData bytea not null, PartNo int not null, PRIMARY KEY (FileName, PartNo)) Причём расширение/модуль mchar уже установлен

Кажется, вам нужно установить модуль mchar.

https://postgrespro.ru/docs/postgrespro/9.6/mchar