ну тогда это исключение, которое подтверждает правило :)

Потому что даже оракловые продукты, которые внутри имеют базу от оракла, отстают с обновлениями

Поэтому и написал, что сам в шоке ?

Потому что даже оракловые продукты, которые внутри имеют базу от оракла, отстают с обновлениями

Дык с обновлениями же всегда весело все. Это типа год накатываешь обновление (как в той истории). А потом откатываешь если вдруг не так зашло. Романтика.

/spam

/report

@AlexCAD есть вот такой прикольный бот, который активно народ использует в другом чатике - @silent_banofbot

@AlexCAD есть вот такой прикольный бот, который активно народ использует в другом чатике - @silent_banofbot

Этак всех новичков перебанят

ну не

все в рамках разумного

тем более там надо 5 голосов на кик, по крайне мере так сделано в том чате, откуда принес

Ну спамеры у нас раз в пару месяцев

Какой смысл

Первый стабильный выпуск распределённой СУБД TiDB http://www.opennet.ru/opennews/art.shtml?num=47427 Представлен релиз распределённой СУБД TiDB 1.0, развиваемой под впечатлением от технологий Google Spanner и F1. TiDB отнесена к категории гибридных систем HTAP (Hybrid Transactional/Analytical Processing), способных как обеспечивать выполнение транзакций в реальном времени (OLTP), так и применяться для обработки аналитических запросов. Проект написан на языке Go и распространяется под лицензией Apache 2.0. #opennet

Братцы(и сестрицы), подскажите как быть(как бы вы поступили). Есть такая задача, на 6 серверах есть БД, данные из этих БД необходимо объеденить и в дальнейшем актуализировать 1 раз в сутки. Дело осложняет то, что 2 из 6 баз имеют схожую структуру(и эта структура -образец), а вот остальные 4 имеют отличия. Как быть ? Как разумнее организовать шлюз/адаптер для реализации такой задачи ? Выделить отдельный сервак, на который реплицировать базы а потом объединять ? Как вообще такое сделать ?

везде MS SQL сервера

ETL ?

ну... да(насколько хватает моих познаний)

ну хоть теперь знаю что гуглить )))))

А какими(желательно опен сорс) тулзами это лучше сделать ?

может у кого-нибудь был подобный опыт

pentaho?

А какими(желательно опен сорс) тулзами это лучше сделать ?

Без тулзы скоро в туалет ходить не сможете. Набросать приложение еоторое соберет все данные и разложит как нужно, ну часа два возни

моих скилов на такое точно не хватит, поэтому и спрашиваю

моих скилов на такое точно не хватит, поэтому и спрашиваю

Так есть повод для развития

pentaho?

о, благодарю ! сейчас посмотрю

для MS SQL есть же SSIS ?

впрочем да пентахо, тоже неплохой вариант

впрочем да пентахо, тоже неплохой вариант

Вангую как вы сейчас будете его учить тулзой пользоваться. Я за попкорном

нет я пойду в кино лучше :)

А какими(желательно опен сорс) тулзами это лучше сделать ?

Talend и pentaho

Без тулзы скоро в туалет ходить не сможете. Набросать приложение еоторое соберет все данные и разложит как нужно, ну часа два возни

А потом еще и еще... Как раз если разовая задача, лучше взять готовое.

для MS SQL есть же SSIS ?

Можно конечно, если он есть. Но лучше это Г не трогать, меньше вонять потом будет

Вангую как вы сейчас будете его учить тулзой пользоваться. Я за попкорном

Ну в таленде я разобрался быстро. Вот трюков и тонкостей в везде хватает

А потом еще и еще... Как раз если разовая задача, лучше взять готовое.

При условии что знаешь как оно работает и понимаешь что оно тебе соберет.

Понимать при любом выборе надо

А то получишь франкенштейна и убитые исходные базы. :)

Вот на новой работе мы отказываемся от пентахи, но не целиком... 500 джобов переписали, правда на оракловую логику, осталось еще почти 200

Братцы(и сестрицы), подскажите как быть(как бы вы поступили). Есть такая задача, на 6 серверах есть БД, данные из этих БД необходимо объеденить и в дальнейшем актуализировать 1 раз в сутки. Дело осложняет то, что 2 из 6 баз имеют схожую структуру(и эта структура -образец), а вот остальные 4 имеют отличия. Как быть ? Как разумнее организовать шлюз/адаптер для реализации такой задачи ? Выделить отдельный сервак, на который реплицировать базы а потом объединять ? Как вообще такое сделать ?

Написать бооооольшую программу , которая все это сделает...

Talend и pentaho

Спасибо большое !

Написать бооооольшую программу , которая все это сделает...

Можно еще деревню индусов арендовать на неделю. Они сделают handcrafted data. :)

Ага, так сделают, что потом еще и их гавно разгребать надо будет...

ETL такая штука, что если бизнес не стандартный, то никто, кроме самого бизнеса не разберется. А это и разрабы, и аналитики как минимум

Ага, так сделают, что потом еще и их гавно разгребать надо будет...

Дык в том и смысл handcraft. Типа с душой и все такое. :) каждая ячейка со своей индивидуальностью :)

ETL такая штука, что если бизнес не стандартный, то никто, кроме самого бизнеса не разберется. А это и разрабы, и аналитики как минимум

Потому и лучше всего написать свою софтину.

Потому и лучше всего написать свою софтину.

К этому надо самому прийти, в противном случае выстрел из пушки по воробьям

Все таки, накидать минимальный джоб в таленде - это минут 30 максимум.

К этому надо самому прийти, в противном случае выстрел из пушки по воробьям

Напишем книгу? " базы данных и медитации разрабов"

Рано, у меня сейчас цель, в следующем году на highload попасть

Рано, у меня сейчас цель, в следующем году на highload попасть

У меня попроще. Дописать статью. Собрать остаток модели. Получить ревью на модель от двух универов. Канадского и Австралийского. Сказали ждут типа полного описания.

Тоже хорошая цель ??

Угу. А там и технологическая сингулярность через лет 5. :)

Добрый день

Подскажите, пожалуйста. Шеф где то вычитал что в MS SQL можно сделать волшебный фокус - отрезать кусок базы по дате и положить его на отдельный (медленный) сторедж. И что делается это средствами администрирования MS SQL и автоматически. Есть ли тако? И как хоть это называется. А то по Cold Data находятся только Stretch Database

https://technet.microsoft.com/en-us/library/ms191185(v=sql.105).aspx

не пойдёт?

Почитаю. Спасибо

но это - федерация, там больше одного сервера

если в пределах одного - https://www.mssqltips.com/sqlservertip/2888/how-to-partition-an-existing-sql-server-table/

о, даже на русском есть - https://docs.microsoft.com/ru-ru/sql/relational-databases/partitions/create-partitioned-tables-and-indexes

Это я читал. В принципе похоже, но ... Это на уровне таблиц, а не всей базы. И это средствами t-sql. Я так понял, что он хочет протсо один раз для всей базы сказать "Все данные старше 2-х лет перенести в такой-то файл" И вроде как такое возможно, но только в Ентерпрайзе

ну а как ты видишь половину _базы хранить отдельно? она всё равно по таблицам бьётся

Всем доброго дня, кто может подсказать хорошие книги по DWH ?

вот данные в таблицах и бьют по какому-то признаку

Это я понимаю. Подозреваю, имеется ввиду механизм, который позволит из всех таблиц данные старше чем ... вывгрузить в отдельный файл.

не, это руками

Ясно. Спасибо

Добрый день всем

Подскажите пожалуйста по реанимации репликации мастер-слейв. Есть две базы с percona db, на мастере в какой-то момент времени произвели удаление большого количества записей. Далее после этого слейв начал отставать от мастера

и? слейв идёт дальше?

После рестарта слейва с актуальным дампом снятым с мастера реплика поднимается, отставания нет, но в логах куча 1032 ошибок по разным транзакциям в разных таблицах

Подебажил - в мастере тех записей уже нет

Пробовал сбросить мастера, в плане reset master, и удаления бинлогов. Ситуация не поменялась к сожалению

Чувствую, что не первый выхватываю такое поведение базы, помогите советом плиз)

То есть на данный момент если игнорить 1032 ошибки, реплика работает, но база неконсистентна

значит, дамп неконсистентный

либо не туда change master сделали

Мастер один, других вариантов нет) А вот насчёт дампа есть подозрения. Вообще мастера нагружать не очень хотелось бы, он и так нагружен. Дамп снимал percona xtrabackup, лог транзакций применял

Блокировку таблиц соответственно тоже указывал. Ну и ругань в логах не на одну таблицу, и не на две, а прямо на много

странно ...

хм, foreign keys много? позиция точно верно указала в бинлоге?

prepare два раза прогонял?

хм, foreign keys много? позиция точно верно указала в бинлоге?

Foreign keys прямо щас не скажу, не помню, уточню этот момент. Про позицию не совсем понял, на этапе включения слейва? Указывал максимально близко к последней. Сам бинлог на тот момент был уже один, другие удалены все

нет

prepare два раза прогонял?

А вот про это можно подробнее?)

там есть файл, в котором указан файл и позиция на которую надо слейв выставить

Это я читал. В принципе похоже, но ... Это на уровне таблиц, а не всей базы. И это средствами t-sql. Я так понял, что он хочет протсо один раз для всей базы сказать "Все данные старше 2-х лет перенести в такой-то файл" И вроде как такое возможно, но только в Ентерпрайзе

А как ты на уровне всей базы будешь разделять данные по дате? Это логический уровень, это даже в одной таблице отдельной надо делать руками

xtrabackup_slave_info