@pgsql

Страница 764 из 1062
Evgeniy
15.04.2018
21:00:41
нажми explain select ....

и покажи сюда планы

Даниил
15.04.2018
21:03:05




Google
Evgeniy
15.04.2018
21:03:31
не, план тот же

теория разбитого индекса не сработала

Даниил
15.04.2018
21:08:51
ну я не знаю как это точно проверить

Yura
15.04.2018
21:35:40
Вопрос возник, потому что у меня тут есть хранимка, которая изменяет данные и при этом опрашивает внешние ресурсы (партнёров) и ждет от них ответов.
зачем вы так делаете? вы уверены, что не можете заранее подготовить эти данные и прислать в хрантмку?

Yura
15.04.2018
21:41:29
а почему бы не писать всё на plpgsql?
опрашивать внешние ресурсы, растягивая тем самым время транзакции? я не против писать на plpgsql. Я даже не против "опроса внешних ресурсов", если он не избежен. Я лишь хотел сказать, что если есть возможность, то лучше все внешние ресурсы опросить до начала транзакции. А хранимка, пока что, является неразрывной частью транзакции.

Darafei
15.04.2018
21:44:53
ну убежать-то можно

Yura
15.04.2018
21:47:27
ну убежать-то можно
Куда? От кого?

Darafei
15.04.2018
21:49:11
из транзакции, dblink-ом тем же или автономными транзакциями pgpro-шными

в основном это проблема, когда к внешнему апи надо кеш приделать, дёргать из базы, оно ненадёжное и надо сделать какой-то цикл, чтобы обновить всё

хочется хранить промежуточные удачные результаты, несмотря на упавший отдельный

или смотреть прогресс

Google
Yura
15.04.2018
21:52:09
Mike Chuguniy: Вопрос возник, потому что у меня тут есть хранимка, которая изменяет данные и при этом опрашивает внешние ресурсы (партнёров) и ждет от них ответов.

Я комментировал это сообщение.

Я уже сказал, что действительно бывают ситуации, когда поход во внешние ресурсы изнутри транзакции не избежен (изнутри транзакции не означает только изнутри хранимки, это может быть и на клиенте. Просто изнутри хранимки - это всегда изнутри транзакции). Я просто считаю, что этого следует избегать всеми силами.

И, соответственно, я и спросил Майка, уверен ли он, что нет возможности в его случае данные из внешних источников собрать заранее.

Mike Chuguniy
16.04.2018
00:49:45
зачем вы так делаете? вы уверены, что не можете заранее подготовить эти данные и прислать в хрантмку?
Юр, ну тебе-то чего я плохого сделал? :( У меня - да, но мне это хозяйство в наследство досталось - разгребать, почему БД тормозит. Подумаешь секскан на табличку 45+ млн записей. Оно же раз в сутки! Ну вот примерно так. Или файловые операции - с одного сетевого ресурса на другой файлик перекинуть по через хранимку в ПГ - какая мелочь (лог запроса - 4,4 МБ). Я и подумал, что может где-то чего-то пропустил, и тело хранимки более не является цельным куском (транзакцией или частью транзакции)... ЗЫ. А может расскажешь, для зачем походы во внешние ресурсы из хранимки? А то моего опыта категорически недостаточно, чтобы понять, нафига?

Andrey
16.04.2018
03:40:45
телега еще на плаву?

ух ты

Даниил
16.04.2018
03:41:41
рабочий день-то в гос. учреждениях не начался ещё

некому блокировать ?

Andrew
16.04.2018
03:45:29
Завтракают еще, умываются наши "доблестные защитники" от террористов

Yury
16.04.2018
04:35:12
ктонибудь сравнивал производительность вставки в таблицу с уникальным uuid и просто с интегером?

нашёл сравнения только для мускула и там всё плохо но там нету uuid типа.

телега еще на плаву?
я думаю тут не все из РФ ;)

рабочий день-то в гос. учреждениях не начался ещё
провайдеры выгружают данные ночью, так что если сейчас они этот список отправят то ждать последтсвий только завтра утром.

Yura
16.04.2018
05:05:37
нашёл сравнения только для мускула и там всё плохо но там нету uuid типа.
думаю, в постгрессе будет примерно так же плохо. и для этого даже не нужен uuid. достаточно просто сравнить вставку по последовательно растущену интеджеру, и по рандомному.

Аггей
16.04.2018
05:07:50
Uuid может быть последовательно растущим. V1 который - он завязан на время - а оно монотонно растёт

Но там высокая вероятность коллизии

Yura
16.04.2018
05:09:29
Uuid может быть последовательно растущим. V1 который - он завязан на время - а оно монотонно растёт
да, и тогда его вставка будет такой же хорошей, как и вставка растущего интеджера. Конечно, с поправкой на больший размер типа.

Но там высокая вероятность коллизии
мне казалось, что в v1 вероятность коллизии намного меньше. Но все равно v4 стал гораздо популярнее.

Google
Аггей
16.04.2018
05:12:51
мне казалось, что в v1 вероятность коллизии намного меньше. Но все равно v4 стал гораздо популярнее.
Тут вот в чем проблема - мы генерируем на 1м узле (mac адрес постоянный). Может быть и несколько раз в один интервал времени. Поэтому большая часть uuid константна

Я не понимаю, зачем использовать uuid без специальных случаев. Из специальных случаев хочу отметить - консолидацию бд - например, у пользователей на телефонах ведётся локальная бд, которая периодически сливается в общую базу - там для избежания дублирования нужен uuid. Ну или пример из личного опыта - soap запросы. Где каждый запрос несёт в себе uuid - для его последующей идентификации (учитывая, что клиентов много - идентификацию простым числом делать нельзя)

Andrey
16.04.2018
05:39:13
Добрый день! Кто-нибудь пользовался утилитой amcheck? Интересует, что делать в случае обнаружения ошибки item order invariant violated for index. Как я понял, элементы строкового индекса хранятся не в том порядке, в котором должны. Правильно ли я понял, что это может аффектить только сортировку?

Yura
16.04.2018
05:53:36
последовательные ид слишком палевно
Их можно шифровать. В базе использовать последовательные, а наружу отдавать шифрованные. Например, https://ru.m.wikipedia.org/wiki/Speck На самом деле, можно даже финализатор мур-мура с сложениеи с частями ключей на каждом шаге: h = id + k1 h *= m1; h ^= h>>32 h += k2 h *= m2; h ^= h>>32 public = h + k3 Уже будет достаточно, чтобы заебать любого, кто не является признанным экспертом в криптографии. Обращение тоже дешёвая операция: h = public - k3 h ^= h>>32; h *= r2 h -= k2 h ^= h>>32; h *= r1 id = h - k1 Где r1, r2 - обратные множители к m1, m2

Аггей
16.04.2018
05:53:50
для безопасности
Можно id наружу не выставлять )

Yury
16.04.2018
05:56:02
Можно id наружу не выставлять )
но клиент как то должен индефецировать "обьект" для изменения

Аггей
16.04.2018
05:56:50
Ну тогда не понимаю в чем проблема последовательных значений?

Надеюсь у вас защита от изменения "не тем клиентом" не основана на уникальности id?

Yury
16.04.2018
05:58:57
Ну тогда не понимаю в чем проблема последовательных значений?
по ним легко пробить остальные части системы, там конечно всё залочено но хочется подстраховаться

Аггей
16.04.2018
06:00:24
Ну бережного, бог бережет. Хэшируйте )

Только поиск по хэш имеет те же проблемы, что и uuid

Yury
16.04.2018
06:05:10
ну вот по этому и юзаем uuid тем более в java оно из коробки

хотя как по мне это вид паранои но что есть то есть

Yura
16.04.2018
06:05:55
Только поиск по хэш имеет те же проблемы, что и uuid
Не хэшировать, а шифровать. Тогда можно легко восстановить id.

хотя как по мне это вид паранои но что есть то есть
Номер заказа - информация, которой очень будут рады конкуренты, если он выдаётся последовательно.

Yura
16.04.2018
06:10:24
к счастью это не такой кейс
Еще, если где-то не проверяются права на что-то, что кажется не особо значимым, защищает от перебора. В какой-то момент может оказаться, что инфа всё таки что-то значит.

Google
Аггей
16.04.2018
06:26:43
Защищаться должно аутентификацией все же.

Yury
16.04.2018
06:30:05
Защищаться должно аутентификацией все же.
ну она есть но хочется иметь и ещё одну защиту... вдруг где то кто то забыл поставить проверку или ещё что.

Vladimir
16.04.2018
09:10:51
Ребят, чёт уже на мегафоне уже не работает телеграмм. Прощайте те, кто не обойдёт блокировку?

Anton Saprykin
16.04.2018
09:14:01
Да не заблокируют ничего

Не ссыте

Denis
16.04.2018
09:15:09
Москва, Йота уже не не работает

Пишу из Румынии )

Anton Saprykin
16.04.2018
09:15:45
Они не смогли заблокировать и бросили кремлевских ботов что бы время выиграть

Admin
ERROR: S client not available

Denis
16.04.2018
09:16:59
Куда бросили?

На базовые станции? ))

ⰿⰰⰾⱏ
16.04.2018
09:17:16
вопрос в том что они именно блокируют) судя по всем только домен, точнее его ip

Anton Saprykin
16.04.2018
09:17:18
В чаты

Yury
16.04.2018
09:24:34
только веб сайт заблочили вроде и кажется пытаются ддосить

Alex
16.04.2018
09:25:57
На билайне все ок. А если vpn включить вообще гуд %)

Yury
16.04.2018
09:27:36
https://reestr.rublacklist.net/ — смотреть тут

Vladimir
16.04.2018
09:27:42
https://telegram.veesecurity.com/ Юзайте Просто принять прокси

Denis
16.04.2018
09:28:04
Йота кстати самая ссыкливая, они цсс гитхаба как то залочили

Google
Alex
16.04.2018
09:29:50
https://telegram.veesecurity.com/ Юзайте Просто принять прокси
Nordvpn . За бабки правда. Работает гуд. Пока тестирую

Openvpn вродь поддерживает

Artem
16.04.2018
09:30:17
на андрюше ни один прокси не работает, а на десктопе те же прокси и всё ок. есть у кого такие же проблемы?

Yury
16.04.2018
09:31:21
Openvpn вродь поддерживает
я использую expressvpn, опенвпн отлично работает но приходится использовать связку с l2tp+ipsec т.к. опенвпн всё ещё не портанули на новый openssl 1.1

Yury
16.04.2018
10:10:32
Тут ikev2
это кто?

Alex
16.04.2018
10:14:28
Протокол обмена ключиками

Igor
16.04.2018
10:16:56
openssl-1.1.0h

Yury
16.04.2018
10:17:00
у меня openvpn работает на openssl 1.1
И он собран именно с 1.1? а то дистрибутывы часто статически линкуют с нужной версией

openssl-1.1.0h
у меня не собиралась последняя версия openvpn

Kolunchik
16.04.2018
10:18:04
В винде 1.1 прицеплен по дефолту

Mikhail
16.04.2018
10:20:46
> бывают ситуации, когда поход во внешние ресурсы изнутри транзакции не избежен @funny_falcon практически в 99,9% -- это признак слабой архитектуры

Yura
16.04.2018
10:22:58
> бывают ситуации, когда поход во внешние ресурсы изнутри транзакции не избежен @funny_falcon практически в 99,9% -- это признак слабой архитектуры
Да. Но вот тот 0.1% всё таки существует. К тому же, longdist, plproxy тоже не на пустом месте возникли. И различные fdw, в том числе и postgresfdw.

Yury
16.04.2018
10:23:09
openssl-1.1.0h
https://community.openvpn.net/openvpn/ticket/759 — у меня то же самое что у этого человека, что написал что всё ещё не собирается

Igor
16.04.2018
10:23:28
Я ручками не собирал, я из дистрибутива поставил

fedora 27

Yury
16.04.2018
10:24:16
а как вы узнали что openssl 1.1? т.е. он реально с ним слинкован?

Igor
16.04.2018
10:24:44
посмотрел в —version openvpn

Страница 764 из 1062