Ок. Буду читать

У меня в сервере нет терабайта ни дисков ни оперативки. По расчетам все должно уместится в 100 гигов. Этого должно хватить для проверки

И озу надо не много, если соло крутить и без выкрутасов. У меня по нормализованным данным 16 гигов хватает пока

И озу надо не много, если соло крутить и без выкрутасов. У меня по нормализованным данным 16 гигов хватает пока

Ну я пока думаю как это все описать в таблицах. Что бы потом вытаскивать быстро. А то скорость наполнения. Как то не готов я ждать пару лет.

Neo4j за сутки описала 4к множеств. И дальше все становилось еще печальнее

Я с графами не знаком, поэтому мне тяжело понять ?

Я с графами не знаком, поэтому мне тяжело понять ?

Это не граф. Просто мне показалось проще описать графами.

Но не вариант

Пытаюмь придумать как это описать таблицами что бы они не вырастали до миллиарда строк

А почему не сделать просто таблицы со связями многие ко многим и пусть даже она занимает 100 Гб все все равно будет работать быстро?

А почему не сделать просто таблицы со связями многие ко многим и пусть даже она занимает 100 Гб все все равно будет работать быстро?

Заместо миллиарда строк сделать 5 миллионов таблиц?

Вариант конечно. Но у меня нет опыта как это будет работать

10 миллионов записей даже без связей многие ко многим с агрегациями и индексами это уже долго

и точно не пару минут

10 миллионов записей даже без связей многие ко многим с агрегациями и индексами это уже долго

Агрегация 7 секунд на 500 лямов записей

У меня на вертике

В реляционке

Толькко спросить хотел)

Реляционка

Ну она же колоночная...

Поэтому и посоветовал

Агрегация 7 секунд на 500 лямов записей

Классно. Буду пробовать в выходные.

Классно. Буду пробовать в выходные.

Сразу советую читать про партиции, на агрегациях дает приличный бонус. Ну и вообще почитать про колоночные, чтобы понять тонкости и отличия от обычных

Тоже полезно будет. Я так понимаю они к ресурсам немного менее требовательны чем их реляционные конкуренты в силу особенности их работы

Тут скорее, быстрее работают, а по требованиям официальным обычно везде не мало просят в прод. Например, у меня, если соблюдать рекомендацию HP, надо от 48 гигов оперативы, но я честно, так и не понял, зачем столько... Наверно расчет на то, что разом будет под сотни запросов на чтение, а в бэкграунде какой-нибудь ELT...

Сейчас у меня крутится стейдж и ELT, которые в дефолтных настройках начали проседать из 16 гигов, когда идет 3 запроса в параллель как раз по тем самым таблицам на 500 лямов. Если настроить нормально pools, то и это спокойно разруливается, но у меня пока приоритет на это не высокий

а с миграцией из других стораджей как дела обстоят?

30 гигов вытягиваю ETL в параллель за минут 20 вроде. Выше скорость достичь легко батчами нормальными и прочим, но т.к. все работает через джобы talend, то низкая скорость

Сразу советую читать про партиции, на агрегациях дает приличный бонус. Ну и вообще почитать про колоночные, чтобы понять тонкости и отличия от обычных

Чет не нашел ничего про партиции. Но так почитал. Оно умеет переиндексировать всю таблицу? Просто у меня получается что во всех ячейках будет хранится всего одна цифра в формате long. И запросы будут связаны с выборкой этой цифры в определенной колонке. И пока все вроде как идеально подходит. Но потом мне нужно удалять некоторые строки и создавать новые. В процессе обобщения.

Вытягиваю по сути селектами из источников

Чет не нашел ничего про партиции. Но так почитал. Оно умеет переиндексировать всю таблицу? Просто у меня получается что во всех ячейках будет хранится всего одна цифра в формате long. И запросы будут связаны с выборкой этой цифры в определенной колонке. И пока все вроде как идеально подходит. Но потом мне нужно удалять некоторые строки и создавать новые. В процессе обобщения.

Там нет как таковых индексов, там проекции. Это набор необходимых полей с необходимой сортировкой и минимальными функциями агрегации. Это физическое хранение данных. На одну таблицу можно пилить вагон проекций и их использовать. Удалять можно, все более менее быстро, тяжелее с апдейтами, они очень медленные

Да и клиент у меня на бд всего один будет. Никаких многопоточных запросов. Одного бы переварить в рамках эксперементальной модели

Там нет как таковых индексов, там проекции. Это набор необходимых полей с необходимой сортировкой и минимальными функциями агрегации. Это физическое хранение данных. На одну таблицу можно пилить вагон проекций и их использовать. Удалять можно, все более менее быстро, тяжелее с апдейтами, они очень медленные

Насколько медленные? Если я ему скажем из 5 миллионов удалю 3 миллиона и добавлю 10 миллионов строк. Ему ночи хватит что бы отсортироватся?

Небольше нескольких минут

Медленные апдейты

Небольше нескольких минут

А ну так отлично ж. Лсобенно учитывая что оно все в оперативке поместится

Вопрос состоит если у меня есть скажем 10 миллионов точек каждая может принадлежать до 20 тысячам множеств. Как это все акуратно сложить с таблицы и при этом что бы был довольно быстрый доступ. Согласен даже на пару минут

что-то мне это все r-дерево напоминает. вас какие-нибудь классы gist не спасут?

всем привет. такой вопросик: например у пользователя должен быть паспорт. То есть должны быть таблицы users и pasport. У пользователя только один паспорт. Мне нужно в таблицу пользователей добавить еще поле id_pasport или в таблицу паспорт id_user?

бизнес логика может поменяться, лучше разнести данные паспорта и сделать связку пользователя и паспорта с датами активности

Ребят, нужен бизнес-аналитик в проект по хоккейной аналитике. Вот короткий видос про нас https://www.youtube.com/watch?v=MRQVlMTTj9k Задача - работа над порталом хоккейной аналитики: составление функциональных требований для разработчиков и дизайнеров. Пишите! #работа Москва

Доброго времени суток, дамы и господа. Быстрый вопрос: а можно ли сравнить таблицы расположенные на разных серверах в одном запросе?

как-нибудь там server.database.dbo.table ?

на SSMS 2012

вот я здесь читаю https://stackoverflow.com/questions/1144051/selecting-data-from-two-different-servers-in-sql-server что можно залинковать сервер, а потом уже к нему обращаться

это нужно для сравнения консистентности данных или именно данные получать с другого сервера?

данные получить из другой таблицы

сравнить их

у меня на одном сервере база с таблицей есть, в ней данные... другой сервер — рабочий — там баз никаких кроме рабочей нельзя разворачивать, как и таблицы создавать левые, кроме существующих

кхм, проще сравнить вручную, там 8 записей всего

тобишь тебе сравнение схемы нужно сделать

это обычно средствами IDE делается

поч схемы?

"там баз никаких кроме рабочей нельзя разворачивать, как и таблицы создавать левые, кроме существующих"

аналога ораклового select x,y,z from table minus select x,y,z from dblink.table нет?

так да, в рабочей базе есть нужные таблицы, с ними сверить данные надо

просто различия - поколоночно

точно с позицией - в цикле построчно

Проблема решилась разворачиванием рабочей копии базы на сервере, где лежит исходная таблица.

всем привет. такой вопросик: например у пользователя должен быть паспорт. То есть должны быть таблицы users и pasport. У пользователя только один паспорт. Мне нужно в таблицу пользователей добавить еще поле id_pasport или в таблицу паспорт id_user?

начнем с того, что паспорта могут менятся, не говоря про ошибки сохранения данных пользователями, а закончим тем, что у одного пользователя может быть несколько паспортов, думаю дальше вы должны сами понять, где какой id вам нужен

dbforge studio умеет сравнивать данные в таблицах из разных источников

для sql-сервера он вроде тоже есть

для некоммерческого использования бесплатен :)

ну да, мы ж тут исследователи-альтруисты :)

ERROR: S client not available

Вариант конечно. Но у меня нет опыта как это будет работать

Ionod'ы диска закончаться

Вечер добрый стронг оракл дба есть?

Вечер добрый стронг оракл дба есть?

Насколько стронг?:)

Насколько стронг?:)

Ну что бы 150 кг жал

Насколько стронг?:)

Чистяков)

Хм. Усольцев?

Насколько стронг?:)

Сеньер или около

Нужно пару советов

Вы уже спрашивайте, а там разберемся, на сколько стронг вам нужен.

Вы уже спрашивайте, а там разберемся, на сколько стронг вам нужен.

Нужен совет есть ли годные лекции с примерами по структуре на русском желательно

Лекции по какой части оракла? Структуре чего?

У вас какая задача стоит? Обучение? На русском в открытом виде врят ли что-то найдёте.

Курсы есть у ФОРСа и Ланита

Лекции по какой части оракла? Структуре чего?

Что то типа аналога database concepts

Но на русском с примерами именно в виде видео

Если кто сталкивался

У оракла прекрасная дока на эту тему. Английским по белому все написано

400 страниц концептса

400 страниц концептса

Я в курсе спасибо

Вопрос в аналогичном но в виде видео

Ланит вроде делал перевод, но он настолько убогий, что лучше читать в оригинале. Язык там очень простой

В виде видео врят ли есть

У оракла прекрасная дока на эту тему. Английским по белому все написано

link ?

link ?

https://docs.oracle.com/cd/E11882_01/server.112/e40540/title.htm

В виде видео врят ли есть

Блин

Хреново

Даже на игрише нет?

Мне не известно. Это тянет на полноценный курс, а такое у оракла только за бабло.

Причём онлайн-курс не сильно дешевле оффлайнового

Ищите Oracle architecture от тома кайта