@kanenko recovered. Please welcome!

Чет у меня такое впечатление. Что они где то читают, нечто одинаковое. И сразу тащют это к себе в проект. На этой неделе было модно рвать таблицы в клочья. То секционирование, то партицирование, регионы и прочий бред. Предлагаю прлвести исследование "влияние новых знаний на неокрепшие умы разрабов"

?

ну да, лучше делать запрос на миллионы записей в т.ч. архивные, вместо секционирования. Ищу возможности оптимизации и улучшения работы системы, что в этом плохого?) А еще если вспомнить, то секционирование позволяет backup restore конкретных секций, не выключая всё и на несколько часов.

начнем сначала. ЗАЧЕМ У ВАС ЗАПРОС НА МИЛЛЛИОН ЗАПИСЕЙ? КАКИМ ОБРАЗОМ СЕКЦИОНИРОВАНИЕ ОПТИМИЗИРУЕТ ВАШ ЗАПРОС НА МИЛЛИОН ЗАПИСЕЙ? может начать оптимизировать запросы?

Чет у меня такое впечатление. Что они где то читают, нечто одинаковое. И сразу тащют это к себе в проект. На этой неделе было модно рвать таблицы в клочья. То секционирование, то партицирование, регионы и прочий бред. Предлагаю прлвести исследование "влияние новых знаний на неокрепшие умы разрабов"

Секционирование и партиционирование это разное?

Секционирование и партиционирование это разное?

слова разные :)

слова разные :)

Я про техническую сторону вопроса

Я про техническую сторону вопроса

да по чути вроде один хрен просто с разных сторон

начнем сначала. ЗАЧЕМ У ВАС ЗАПРОС НА МИЛЛЛИОН ЗАПИСЕЙ? КАКИМ ОБРАЗОМ СЕКЦИОНИРОВАНИЕ ОПТИМИЗИРУЕТ ВАШ ЗАПРОС НА МИЛЛИОН ЗАПИСЕЙ? может начать оптимизировать запросы?

одмен не в адеквате чтоль?) Знаешь в чем разница между запросом в таблицу на 100 тыс записей и на 10 млн записей? (index scan, index seek и т.д) ? Если физически файлы разделены на файловые группы и те данные которые уже не используются даже не попадают в список для поиска.. это разве не оптимизация? Не понимаю откуда столько странных вопросов мол зачем секционирование. Запросы оптимизированы, но предметная область такова, что данных очень очень много натекает и разделение таблицы уменьшит количество чтений ненужных страниц

поправьте, возможно я не понимаю о чем говорю? )))

:D

Брось ты это дело

одмен не в адеквате чтоль?) Знаешь в чем разница между запросом в таблицу на 100 тыс записей и на 10 млн записей? (index scan, index seek и т.д) ? Если физически файлы разделены на файловые группы и те данные которые уже не используются даже не попадают в список для поиска.. это разве не оптимизация? Не понимаю откуда столько странных вопросов мол зачем секционирование. Запросы оптимизированы, но предметная область такова, что данных очень очень много натекает и разделение таблицы уменьшит количество чтений ненужных страниц

да хоть 10 миллиардов записей. для этого сущетвуют индексы

а 10 миллионов записей это вообще ни о чем

еще один с бигдатой похоже

"данных очень очень много натекает и разделение таблицы уменьшит количество чтений ненужных страниц" ?

еще скажи накинь индексы на каждый столбец :D и на декартово произведение всех столбцов

я порофлюсь

еще скажи накинь индексы на каждый столбец :D и на декартово произведение всех столбцов

если ты делаешь выборку по каждому столбцу то таки да. накинь индекс на каждый столбец по которому идет выборка

все с тобой понятно :)

можно не слушать твоё компетентное мнение :)

а если ты делаешь идиотские подсчеты по таблицам то флаг тебе красный и надейся что секционирование тебе поможет

nope, ничего подобного не делается

можно не слушать твоё компетентное мнение :)

дооо. будем слушать тебя. давай раскажи нам как делать выборку по столбцу к которому нет индекса. я за попкорном

индексы на всё и вся - плохая затея

индексы на всё и вся - плохая затея

индекс для столбца по которому идет выборка != индексы на все подряд. но ты продолжай

похоливарить хочешь?)

ничего путного не сказал по моему вопросу, но очень хочешь показать что ты мего умный чел, окей хуль))

похоливарить хочешь?)

было бы о чем? ты думаешь тут первый? только за последнию неделю подобных тебе "экспертов" было штук 5 точно

я ни разу не сказал что я эксперт, я бы вопросов не задавал

ничего путного не сказал по моему вопросу, но очень хочешь показать что ты мего умный чел, окей хуль))

хачем мне показывать что я МЕГА УМНЫЙ? и кому? тебе? так а смысл?

я ни разу не сказал что я эксперт, я бы вопросов не задавал

но ответы которые тебе не нравятся ты тоже не принимаешь. так что о чем тут спорить?

о том что ты хочешь нас научить как правильно тебе отвечать? так сходи подумай над смыслом старой поговорки " со своим уставом в чужой монастырь"

давай тогда я буду тебе задавать вопросы.

и так вопрос первый.

что будет делать база когда ты пытаешься сделать выборку по столбцу на который не имеется индекса?

ты ведь понимаешь что я ожидаю услышать ответ на свой вопрос (можно ли сделать так? и в качестве ответаа: да или нет, если да то возможно так) А не усмешки мол че за херь, ставь индексы на таблицу и всё ))) Я знаю что мне нужно и индексами я пользуюсь. И я знаю какие плюсы и минусы даст мне партицирование. Просто хочу знать как правильно сделать не добавляя лишних вещей в таблицы

я че на собеседовании чтоль?)

ты не ответил на мой вопрос, я не буду из принципа отвечать на твой, иди гугли) там 2 сек найти ответы

ты ведь понимаешь что я ожидаю услышать ответ на свой вопрос (можно ли сделать так? и в качестве ответаа: да или нет, если да то возможно так) А не усмешки мол че за херь, ставь индексы на таблицу и всё ))) Я знаю что мне нужно и индексами я пользуюсь. И я знаю какие плюсы и минусы даст мне партицирование. Просто хочу знать как правильно сделать не добавляя лишних вещей в таблицы

нет. не понимаю. ибо изначально ты считаешь что 10 миллионов строк это писец как много. а я тебе говорю что это фигня и резать 10 миллионов лишено смысла

я не говорил что у меня там 10 млн ) это лишь пример

ты ведь понимаешь что я ожидаю услышать ответ на свой вопрос (можно ли сделать так? и в качестве ответаа: да или нет, если да то возможно так) А не усмешки мол че за херь, ставь индексы на таблицу и всё ))) Я знаю что мне нужно и индексами я пользуюсь. И я знаю какие плюсы и минусы даст мне партицирование. Просто хочу знать как правильно сделать не добавляя лишних вещей в таблицы

а откуда возьмутся лишнии вещи то?

я не говорил что у меня там 10 млн ) это лишь пример

то есть у тебя и 10 миллионов нет. но уже все тормозит?

показательно

Да, хочется разнести по секциям дочерние таблицы на основе секций главной таблицы

Речь о физических файловых группах? Да, можно использовать разбиение, уже созданное При секционировании других таблиц данные будут хранится в этих же самых файловых группах, если схема секционирование на mssql одна. Я делала по месяцам, то есть по дате

Да он дал пример же 10 м

а откуда возьмутся лишнии вещи то?

в изначальном вопросе я все расписал - вся проблема и какие варианты решения. То что у меня есть главная таблица с полем Дата (год) и есть очень много дочерних таблиц (коллекция в коллекции в коллекции) такая уж предметная область ) И в каждую таблицу мне не хочется добавлять поле для партицирования, поэтому я спросил, возможно ли обойтись без доп. поля и сделать это секционирование на основе внешних ключей... )

в изначальном вопросе я все расписал - вся проблема и какие варианты решения. То что у меня есть главная таблица с полем Дата (год) и есть очень много дочерних таблиц (коллекция в коллекции в коллекции) такая уж предметная область ) И в каждую таблицу мне не хочется добавлять поле для партицирования, поэтому я спросил, возможно ли обойтись без доп. поля и сделать это секционирование на основе внешних ключей... )

чую нужно вагон попкорна тащить. ибо интересно за предметную область где "(коллекция в коллекции в коллекции)"

Речь о физических файловых группах? Да, можно использовать разбиение, уже созданное При секционировании других таблиц данные будут хранится в этих же самых файловых группах, если схема секционирование на mssql одна. Я делала по месяцам, то есть по дате

да речь об этом, но с общим секционированием между нескольких таблиц по одному критерию)

чую нужно вагон попкорна тащить. ибо интересно за предметную область где "(коллекция в коллекции в коллекции)"

План график в плане графике есть позиции В каждой позиции есть товары, работы, услуги, платежи, субподрядчики, поставщики, в каждом товаре работе услуге есть коды по КТРУ ОКПД, коды лекарственных препаратов, дополнительные коллекции характеристик, в характеристиках коллекции возможных значений, аттачменты и т.д. При этом план график имеет свой год, а все вложенные записи - относятся к нему.. и хотелось бы сделать это секционирование) чтобы все данные разных таблиц были разбиты по годам =)

Please give me admin rights!

Please give me admin rights!

ты края-то не перегибай

Please give me admin rights!

А одежду и машину тебе не отдать?

А одежду и машину тебе не отдать?

мотоцикл же

План график в плане графике есть позиции В каждой позиции есть товары, работы, услуги, платежи, субподрядчики, поставщики, в каждом товаре работе услуге есть коды по КТРУ ОКПД, коды лекарственных препаратов, дополнительные коллекции характеристик, в характеристиках коллекции возможных значений, аттачменты и т.д. При этом план график имеет свой год, а все вложенные записи - относятся к нему.. и хотелось бы сделать это секционирование) чтобы все данные разных таблиц были разбиты по годам =)

теперь попробуй подумать.. у тебя есть набор почти фиксированых коллекций... которые приатачены к какой то одной таблице которая представляет из себя временной график и по сути только она и растет... так и на кой хрен нужно секционировать чего то там еще кроме этой единственной таблицы которая и растет по сути?

Может быть потому что основная таблица имеет не так много данных, как все его коллекции коллекций? :)

ведь связь один ко многим. Для одногоо плана графика может быть позиций 10 тысяч, а для каждой позиции скажем по 10 товаров работ услуг, для каждой услуге по 3-4 кода ОКПД2, по 4-5 характеристик и в конечном счёте для одного плана графика может быть несколько миллионов записей в самой последней таблице

ведь связь один ко многим. Для одногоо плана графика может быть позиций 10 тысяч, а для каждой позиции скажем по 10 товаров работ услуг, для каждой услуге по 3-4 кода ОКПД2, по 4-5 характеристик и в конечном счёте для одного плана графика может быть несколько миллионов записей в самой последней таблице

В какой последней таблице?

имеется ввиду в той, которая имеет наибольшую вложенность по предметной области

ведь связь один ко многим. Для одногоо плана графика может быть позиций 10 тысяч, а для каждой позиции скажем по 10 товаров работ услуг, для каждой услуге по 3-4 кода ОКПД2, по 4-5 характеристик и в конечном счёте для одного плана графика может быть несколько миллионов записей в самой последней таблице

То есть тут мы видим что ты не понимаешь как оно работает. И приложение по какой то фантастической причине выгребает такую кучу данных в каждом запросе что это не получится физически нигде отобразить

всё работает и довольно быстро, но хочется исторические данные которые уже не используются не считывать лишний раз

секционирование изобретено как раз для этих случаев

вариант - перенести все данные в архивные таблицы или БД - это костыль имхоо

ERROR: S client not available

То есть тут мы видим что ты не понимаешь как оно работает. И приложение по какой то фантастической причине выгребает такую кучу данных в каждом запросе что это не получится физически нигде отобразить

с чего ты взял что запросы забирают всё и вся каждый раз)) нет конечно

всё работает и довольно быстро, но хочется исторические данные которые уже не используются не считывать лишний раз

Что значит "не считывать лишний раз"? Чтобы их не считывать - не ставь по ним условие отбора. Вопрос: Кластеризованный индекс секционированной таблицы в каком файле лежит?

/home/megapihor/ВАЖНОЕ/индексы/index_final_2

/home/megapihor/ВАЖНОЕ/индексы/index_final_2

Хорошый варьянт. Не_удалять забыл

Что значит "не считывать лишний раз"? Чтобы их не считывать - не ставь по ним условие отбора. Вопрос: Кластеризованный индекс секционированной таблицы в каком файле лежит?

не считывать лишний раз - это я имею ввиду чтобы записи проошлых лет не трогались при поисках по разным столбцам, в т.ч. индексированным Секционирование сейчас не реализовано - пока что только в задумках) И насколько я знаю, индексы (в т.ч. кластеризованные) на каждую секцию будет свои и поиск будет существенно быстрее

не считывать лишний раз - это я имею ввиду чтобы записи проошлых лет не трогались при поисках по разным столбцам, в т.ч. индексированным Секционирование сейчас не реализовано - пока что только в задумках) И насколько я знаю, индексы (в т.ч. кластеризованные) на каждую секцию будет свои и поиск будет существенно быстрее

Если индексы на каждую секцию свои - то как субд узнает, что в этой конкретной секции искать не надо - не заглядывая в её индекс?

не считывать лишний раз - это я имею ввиду чтобы записи проошлых лет не трогались при поисках по разным столбцам, в т.ч. индексированным Секционирование сейчас не реализовано - пока что только в задумках) И насколько я знаю, индексы (в т.ч. кластеризованные) на каждую секцию будет свои и поиск будет существенно быстрее

гыыыыы я представил как ЗАПИСИ ТРОГАЮТСЯ... такие потные маленькие ручки трогают их и трогают

Если индексы на каждую секцию свои - то как субд узнает, что в этой конкретной секции искать не надо - не заглядывая в её индекс?

по ключу секционирования скорее всего

по ключу секционирования скорее всего

Магия какая то прям получается

Если индексы на каждую секцию свои - то как субд узнает, что в этой конкретной секции искать не надо - не заглядывая в её индекс?

ты пропустил место где он обьясняет что ИНДЕКСЫ НЕ НУЖНЫ НА КАЖДЫЙ СТОЛБЕЦ ПО КОТОРОМУ ПРОИСХОДИТ ВЫБОР

заебал этот тролль.. иди жри свой попкорн)

заебал этот тролль.. иди жри свой попкорн)

слыш, ты, тупень. от того что тебе дадут готовый ответ, ты ничему не научишься. так что либо учись, либо вали нафиг

У меня слишком медленный интернет

Ладно. Всем пис

У меня слишком медленный интернет

ох уж эта европа

впервые в жизни спросил совета, возможно кто то знает как лучше и тут наткнулся на неадеквата и я значит неуч окей чо)

ну за выходные

впервые в жизни спросил совета, возможно кто то знает как лучше и тут наткнулся на неадеквата и я значит неуч окей чо)

Кодишь или только базами занимаешься ?

я фул стек

и база, и фронт и бэк

Бэк на чем ?

если на ноде, то начинаем порицать

.net c#

ну хоть что-то

если на ноде, то начинаем порицать

Порицай порицаемое

если на ноде, то начинаем порицать

да. мы за апекс

.net c#

Решил через DDD ?

ну проект уже был на нём)

неистово хочу CQRS

но врядли