Нет

По-этому я и не стану ломать то, что сейчас хорошо работает

преждевременная оптимизация - антипаттерн)

Ну я полагаю, что @dmitriy_vasilyev , хочет отсечь историю в будущем... типа хранить надо, но оперативно не нужна

да какраз таки бывает нужна

да какраз таки бывает нужна

оперативно

ну в принципе да

преждевременная оптимизация - антипаттерн)

Я к тому, что при использовании данных запросов и индексов партиционирование Вам не поможет увеличить производительность и с pg_pathman, и с v11... и вообще никогда. ;)

Идёте на конференцию pgconf.ru? Да, уже не в первый раз – 15 ??????? 38% Нет, не в этот раз – 15 ??????? 38% Первый раз слышу про конференцию – 6 ??? 15% Да, пойду впервые – 4 ?? 10% ? 40 people voted so far.

Up

значит буду с одной толстой табличкой

только ссылка не про тип set

https://dev.mysql.com/doc/refman/5.7/en/set.html

да

да

куда копать?

куда копать?

А Вам зачем? Почему бы не сделать дополнительную таблицу, как обычно?

куда копать?

в stackoverflow. я за пару минут нашёл несколько решений. вот это, например: https://stackoverflow.com/questions/8424283/convert-mysql-set-data-type-to-postgres

А Вам зачем? Почему бы не сделать дополнительную таблицу, как обычно?

начальник сказал

Начальник погрузился в задачу то?

А Вам зачем? Почему бы не сделать дополнительную таблицу, как обычно?

а это как через доп таблицу

начальник сказал

Ну вон массивы, как выше пишут. Скорее всего, Вам это ещё выйдет боком (как и большинство нереляционных моделей в RDBMS)... но дело Ваше.

задача сделать мульти enum с защитой от дурака как пример привели set

а это как через доп таблицу

Например: item_colors(item_id NOT NULL REFERENCES item, color_id NOT NULL REFERENCES color, PRIMARY KEY(item_id, color_id)).

задача сделать мульти enum с защитой от дурака как пример привели set

Не выйдет —- дурак уже просочился, прямо в постановке "задачи". ;)

значит я дурак,мне просто выдали структуру в типах mysql и мне надо сделать порт по постгрес,я прочел про set и сформулировал так

значит я дурак,мне просто выдали структуру в типах mysql и мне надо сделать порт по постгрес,я прочел про set и сформулировал так

Ну так почему не сделать обычное решение, вместо использования костылей на массивах?

обычное,это через внешний таблицу?

обычное,это через внешний таблицу?

Да. У Вас же эти set-ы привязаны к чему-то (т.е. как в item_colors, например), правильно?

да

тоесть значения предопределены

тоесть значения предопределены

Нет, я имею в виду, это же не просто таблица с множествами, например, цветов "просто так", а они к чему-то привязаны, например, это возможные цвета товаров, так?

Нет, я имею в виду, это же не просто таблица с множествами, например, цветов "просто так", а они к чему-то привязаны, например, это возможные цвета товаров, так?

Т.е. если в MySQL у вас есть: item(item_id, ..., colors_set) То в PostgreSQL это будет: item(item_id, ...) + item_colors(item_id, color)

Нет, я имею в виду, это же не просто таблица с множествами, например, цветов "просто так", а они к чему-то привязаны, например, это возможные цвета товаров, так?

нет,не привязаны

нет,не привязаны

Хмм... а в чём тогда смысл? Можете таблицу показать?

это даже не таблмца,а просто описание

это даже не таблмца,а просто описание

И в чём смысл описания-то?

И в чём смысл описания-то?

<sydctl: в транках SET, там возможно одновременно несколько вариантов

<sydctl: в транках SET, там возможно одновременно несколько вариантов

Я ничего не понял. :(

А по-моему, не могут. Покажете, как?

Конечно. Только что проверил с таблицей, которую описал @dmitriy_vasilyev на 10 млн записях. Время выполнения запроса получилось 150 мс без партиций против 28 мс с партициями. Могу скрипт сбросить )

Конечно. Только что проверил с таблицей, которую описал @dmitriy_vasilyev на 10 млн записях. Время выполнения запроса получилось 150 мс без партиций против 28 мс с партициями. Могу скрипт сбросить )

Запрос мой?

Запрос мой?

Запрос выбирает данные за произвольный интервал в ~ 30000 трок из 10 млн. Если добавить условие на IP он будет вообще выполняться около 2 мс.

Конечно. Только что проверил с таблицей, которую описал @dmitriy_vasilyev на 10 млн записях. Время выполнения запроса получилось 150 мс без партиций против 28 мс с партициями. Могу скрипт сбросить )

Сбрасывайте.

У меня выборки обычно сильно меньше))

Запрос выбирает данные за произвольный интервал в ~ 30000 трок из 10 млн. Если добавить условие на IP он будет вообще выполняться около 2 мс.

И запрос тоже, естественно. ;)

Коллеги, зарание простите за холивар)

Запрос выбирает данные за произвольный интервал в ~ 30000 трок из 10 млн. Если добавить условие на IP он будет вообще выполняться около 2 мс.

"select * from flowlog where timestart > 1538056249 and timestart < 1538156249;" Ну и причём здесь _вообще_ исходный запрос? Вы абсолютно ничего не продемонстрировали, извините.

"select * from flowlog where timestart > 1538056249 and timestart < 1538156249;" Ну и причём здесь _вообще_ исходный запрос? Вы абсолютно ничего не продемонстрировали, извините.

Человек писал: "Задача такакя: дается ip и период. Мне нужны все записи, которые попадают в заданный интвервал. timestart - timeend. И при этом timeend может быть = 0, типа сессия активна". В запросе выбираются записи, попадающие в интервал. Ничего не продемонстрировали вы, потому что даже поленились проверить свою гипотезу.

Просто у меня в условие одно поле для простоты. Позже могу сделать как у него, мне не сложно. Уверен, результат будет тот же.

Человек писал: "Задача такакя: дается ip и период. Мне нужны все записи, которые попадают в заданный интвервал. timestart - timeend. И при этом timeend может быть = 0, типа сессия активна". В запросе выбираются записи, попадающие в интервал. Ничего не продемонстрировали вы, потому что даже поленились проверить свою гипотезу.

Вы его запрос видели? Вы просто задачу неправильно поняли...

Просто у меня в условие одно поле для простоты. Позже могу сделать как у него, мне не сложно. Уверен, результат будет тот же.

Делайте. И уверены совершенно напрасно. ;)

Возможно. Я ему тоже скрипт отправил. Если не так понял, надеюсь, он поправит )

Делайте. И уверены совершенно напрасно. ;)

Жду ваш тест )

Жду ваш тест )

А Вы его запрос пробовали? Вот такой, например: SELECT to_timestamp(timestart)::timestamp without time zone as timestart, to_timestamp(max(timeend))::timestamp without time zone as timeend, insideip as internalip, outsideip as externalip, startport, endport FROM flowlog WHERE (timeend = 0 OR timeend >= $tf) — time_from AND timestart <= $tt — time_to AND insideip = '$ip'::inet GROUP BY timestart, insideip, outsideip, startport, endport ORDER BY timestart, insideip, outsideip;

А Вы его запрос пробовали? Вот такой, например: SELECT to_timestamp(timestart)::timestamp without time zone as timestart, to_timestamp(max(timeend))::timestamp without time zone as timeend, insideip as internalip, outsideip as externalip, startport, endport FROM flowlog WHERE (timeend = 0 OR timeend >= $tf) — time_from AND timestart <= $tt — time_to AND insideip = '$ip'::inet GROUP BY timestart, insideip, outsideip, startport, endport ORDER BY timestart, insideip, outsideip;

До дома доберусь и проверю.

Могу боевой запрос отправить

Данных боевых накидать не смогу. До понедельника табу на любые работы

Могу боевой запрос отправить

Я думал, что это он и есть... нет? Кстати, а сколько у Вас строк по одному insideip (или outsideip) в таблице, в среднем (или MIN/MAX)?

Я думал, что это он и есть... нет? Кстати, а сколько у Вас строк по одному insideip (или outsideip) в таблице, в среднем (или MIN/MAX)?

Ну я про то, что вместо переменных будут строчки данными

Только это завтра

Тут прям коса на камень

Ну я про то, что вместо переменных будут строчки данными

Да это ясно... Так всё же, что с распределением? Потому что в присланном мне @pensnarik script-е получается максимум записи по три...

Там по разному бывает

Бывает много инсайдов в один оутсайд

Минимум 0

Да это ясно... Так всё же, что с распределением? Потому что в присланном мне @pensnarik script-е получается максимум записи по три...

В нем вообще нет ограничения на ip, так как условие по диапазону уже довольно сильно ограничивает выборку.

Там по разному бывает

_Максимум_ 3 записи _вообще_ на один inside —- это похоже на то, что бывает у Вас? Если нет, этот script малопригоден для reproduce, в общем-то...

В нем вообще нет ограничения на ip, так как условие по диапазону уже довольно сильно ограничивает выборку.

Вообще, есть. Вот оно: AND insideip = '$ip'::inet

Нет. 3 инсайда может быть в один аутсайд

Вообще, есть. Вот оно: AND insideip = '$ip'::inet

Ну тут и аутсайд может быть

Вообще, есть. Вот оно: AND insideip = '$ip'::inet

Я про свой запрос.

По этому 2 индекса

Нет. 3 инсайда может быть в один аутсайд

Да причём тут это... всего записей сколько? Т.е. сколько сессий за _всю историю_ на один insideIP? "Максимум 3" похоже на правду?

Да причём тут это... всего записей сколько? Т.е. сколько сессий за _всю историю_ на один insideIP? "Максимум 3" похоже на правду?

Вы знакомы с понятием cgnat?

Это из сетей

Вы знакомы с понятием cgnat?

Нет.

Ща напишу

Я про свой запрос.

Да, там условия нет. Только вот он совсем про другое...

Есть один аутсайд. В него могут до 4х уникальных инсайдов попасть. На каждый инсайд дается блок 16к портов. 32 порта микроблок для инсайда. Вот если инсайд израсходовал первые 32 порта, ему дается еще один микроблок. Т.е. минимум ноль, максимум: 4 инсайда в один аутсайда. На каждый инсайд будет от 1 до 16к/32 микроблоков.

Каждый микроблок это запись

Кстати, для номера порта лучше smallint использовать.

Там диапазон какой?

Есть один аутсайд. В него могут до 4х уникальных инсайдов попасть. На каждый инсайд дается блок 16к портов. 32 порта микроблок для инсайда. Вот если инсайд израсходовал первые 32 порта, ему дается еще один микроблок. Т.е. минимум ноль, максимум: 4 инсайда в один аутсайда. На каждый инсайд будет от 1 до 16к/32 микроблоков.

Т.е. от 1 до 512 записей по одному insideIP во всей таблице?

Мне нужен 1024-65535

Т.е. от 1 до 512 записей по одному insideIP во всей таблице?

Не по всей таблице). Воемя жизни блока 12 часов

И натиться может в разные адреса

Не по всей таблице). Воемя жизни блока 12 часов

А я Вас именно об этом спрашивал. Так сколько там в среднем записей по одному insideip, ориетировочно?

Если комп выключился у абона, через 10 минут абон занатится в другой аутсайд

Сложно сказать

Туда еще пишется pat

Там вообше треш

Может быть и 1000 инсайдов в один аутсайд

Сложно сказать

А у Вас доступ-то к данным есть? Проверить-то несложно...

А у Вас доступ-то к данным есть? Проверить-то несложно...

Нельзя после 17 00 четверга ничего трогатт

Мне нужен 1024-65535

Ой, там не хватит если со знаковым битом не заморачиваться.

Простите.

Нельзя после 17 00 четверга ничего трогатт

Даже запросов делать, в смысле? Жаль... и копии нет?

Ой, там не хватит если со знаковым битом не заморачиваться.

Именно. А unsigned не по стандарту)

Даже запросов делать, в смысле? Жаль... и копии нет?

Запросы через рабочий интерейс без проблем

Т.е. форму заполнить

Я выборку могу сделать