Fedor
Какой-то дешманский адаптек
Alexander
Что там читать, база в памяти должна сидеть большей частью
Должна, если бы было оборудование.
Потом даже после переноса системы на датацентр VMWare бэкапы по прежнему работали всего раза в 2 быстрее, при том что железка быстрее на порядок.
Василий
Должна, если бы было оборудование.
Потом даже после переноса системы на датацентр VMWare бэкапы по прежнему работали всего раза в 2 быстрее, при том что железка быстрее на порядок.
Сделал бы базу на ссд + хдд локально и сравнил бы скорость
Василий
Не знаю, умеет ли дб2 тиринг
Fedor
Что там читать, база в памяти должна сидеть большей частью
У меня есть БД на 25ТБ. Особо в память не посадишь.
Как она такой стала - история закрытая. 😁
Василий
У меня есть БД на 25ТБ. Особо в память не посадишь.
Как она такой стала - история закрытая. 😁
Вопрос в объёме горячих данных
Fedor
В ДБ2 чатик надо идти вам, сударь. Я знаю только одних, которые ее используют
Василий
Если там их 10тб, то это просто тормоза. А если там просто блобы сидят, то пофиг какой объем
Alexander
Сделал бы базу на ссд + хдд локально и сравнил бы скорость
Ога, пошел такой на свои купил железки и попробовал.
Я этот то конфиг вымораживал несколько лет, - письма писал, они у меня сохранились, btw.
Кстати они до сих пор используют бэкап сервер из этого конфига на писишке с 8 SATA дисками по 3TB, потому что со штатным ленточным Tivoli как-то не очень, особенно для бэкапов, отличных от IBM.
Василий
Ога, пошел такой на свои купил железки и попробовал.
Я этот то конфиг вымораживал несколько лет, - письма писал, они у меня сохранились, btw.
Кстати они до сих пор используют бэкап сервер из этого конфига на писишке с 8 SATA дисками по 3TB, потому что со штатным ленточным Tivoli как-то не очень, особенно для бэкапов, отличных от IBM.
В смысле? Так у тебя ссд и хдд же есть. Только вместо хранилка + сервер, просто сервер. Хранилку пропить
Alexander
В ДБ2 чатик надо идти вам, сударь. Я знаю только одних, которые ее используют
Еще был бы такой чатик.
Василий
Вот теперь сходится :)
Я там выше писал про горячие данные) если они не лезут в память, становится плохо. Если едят не лезут в память, наступает п... Ц
Fedor
Еще был бы такой чатик.
Если б я тут за постгрес затирал при каждом удобном случае, было бы не очень, правда ведь?)
Alexander
В смысле? Так у тебя ссд и хдд же есть. Только вместо хранилка + сервер, просто сервер. Хранилку пропить
SSD - 2 шт. по 500 гиг, хранилка 4Tb (zmirror 2x2 HDD по 2Tb) и ее было потом мало.
Куда я засуну эти 500 гиговые огрызки и самое главное для чего?
Fedor
Я там выше писал про горячие данные) если они не лезут в память, становится плохо. Если едят не лезут в память, наступает п... Ц
Там очень весело. Влезают, но не все. Под 50к где-то БД выжирает иногда.
edo1
Василий
edo1
ms sql жмёт быстро, но по коэффициенту сжатия так себе, что-то на уровне lz4
Alexander
Если б я тут за постгрес затирал при каждом удобном случае, было бы не очень, правда ведь?)
У меня впечатление, что есть какая-то установка на пиар определенного софта, типа Db2 и DotNet - это прям табу.
А PostgreSQL и GO - это прям супер, обязательно надо упомянуть.
Fedor
У меня впечатление, что есть какая-то установка на пиар определенного софта, типа Db2 и DotNet - это прям табу.
А PostgreSQL и GO - это прям супер, обязательно надо упомянуть.
Вот и я о чем - ДБ2, как и постгрес (за исключением тюнинга фс или профилирования работы в среде с зфс) тут оффтоп.
edo1
во всяком случае у нас (с еженощным перестроением индексов)
Василий
ms sql жмёт быстро, но по коэффициенту сжатия так себе, что-то на уровне lz4
сейчас: база 1367гб, архив 191
Alexander
Вот и я о чем - ДБ2, как и постгрес (за исключением тюнинга фс или профилирования работы в среде с зфс) тут оффтоп.
Просто у меня ZFS применяется и с СУБД тоже, и поэтому интересны как раз такие кейсы, ZFS сам по себе как бы не очень интересен. Файлопомойки чтоли на нем городить? Ведь NFS тоже обсуждают иногда, чем он лучше СУБД?
Fedor
Потому что тёплое и мягкое :)
Alexander
сейчас: база 1367гб, архив 191
Это ведь еще и от структуры данных зависит, и от разряженности именно ваших данных и т.п.
Fedor
Зфс умеет как нфс, так и самбу, айскази.
Fedor
Так что тут все норм
Alexander
Можно взять пустой террабайтвый файл и зажать его в цать раз, а на спарсе вероятно вообще в ноль :)
Василий
только это где то 1.8 тб (там несколько баз)
Alexander
Зфс умеет управлять экспортом.
Постараюсь меньше про СУБД, но в контексте оптимальности на zvol все же было бы интересно иногда.
Fedor
Постараюсь меньше про СУБД, но в контексте оптимальности на zvol все же было бы интересно иногда.
Звол не всегда оперирует большими запросами. В каких-то случаях размер запроса так и остаётся в том же 4к, например - зависит от инициатора
Alexander
Если набить вашу базу данных MSSQL случайными данными, то сжать ее не получится.
Fedor
Если набить вашу базу данных MSSQL случайными данными, то сжать ее не получится.
Ну пограничные ситуации в пример ставить не надо :)
Alexander
Alexander
Ну пограничные ситуации в пример ставить не надо :)
Просто к тому, что степень сжатия маловероятно зависит прям сильно от MSSQL, а в большей степени от вида данных.
Fedor
Например вместо одного запроса в 256кб будет 64 по 4к
Alexander
Следствие - будет больше ио запросов, чем могло бы быть
Есть инструкция для правильного выравнивания страниц СУБД, FS и размера блока Zvol.
Fedor
Это автоматом почти всюду делается
Fedor
Оффсеты обычно достаточны
Alexander
Это автоматом почти всюду делается
Выравнивание автоматом? А зачем тогда опции настройки blocksize и т.п.?
Fedor
Даже тот же асайз и так уже детектит типы дисков
Fedor
Ашифт, да
Fedor
Почему асайз…
Fedor
Перечитал хедерфайлов 😁
Alexander
Нюансов на самом деле намного больше, там описание на несколько страниц, есть даже на сайте Oracle.
Fedor
Есть такое. Поэтому если что-то делать - надо делать с умом и читать документацию)
Alexander
Есть такое. Поэтому если что-то делать - надо делать с умом и читать документацию)
Так это в любой сфере деятельности, у нас в городе неврологи вероятно не слыхали про такие простые прописные истины.
Fedor
Там другая область со своей спецификой
Alexander
Там другая область со своей спецификой
Они в этой специфике почему то совсем плохо разбираются, кроме всего одного специалиста, или вредили злономеренно.
Fedor
Скорее, от незнания, чем от злых намерений.
Давай закончим флудить. :)
edo1
сейчас: база 1367гб, архив 191
$ ls -lsh comp.bak uncomp.bak
98G -rwxrw-rw- 1 root domain users 833G Jun 16 00:48 uncomp.bak
134G -rwxrw-rw- 1 root domain users 149G Jun 16 19:07 comp.bak
zfs врёт с занятым местом, но врёт ЕМНИП пропорционально, так что сжатие в zfs (zstd) оказалось эффективнее
Alexander
$ ls -lsh comp.bak uncomp.bak
98G -rwxrw-rw- 1 root domain users 833G Jun 16 00:48 uncomp.bak
134G -rwxrw-rw- 1 root domain users 149G Jun 16 19:07 comp.bak
zfs врёт с занятым местом, но врёт ЕМНИП пропорционально, так что сжатие в zfs (zstd) оказалось эффективнее
А представь, если к этому приплюсовать dedup !
В рамках СУБД сжатие неприменимо для dedup.
edo1
писал выше: не работает, проверял
edo1
разумеется, проверял на несжатых бэкапах
Alexander
писал выше: не работает, проверял
В смысле если включить dedup и сжатие на ZFS?
А в СУБД соответственно оставить только опцию dedup, если она есть.
edo1
а сжатие zfs никак не мешает дедапу
Василий
$ ls -lsh comp.bak uncomp.bak
98G -rwxrw-rw- 1 root domain users 833G Jun 16 00:48 uncomp.bak
134G -rwxrw-rw- 1 root domain users 149G Jun 16 19:07 comp.bak
zfs врёт с занятым местом, но врёт ЕМНИП пропорционально, так что сжатие в zfs (zstd) оказалось эффективнее
очень странный резултат. lz4 очень сильно сливает rar по коэффициенту сжатия
edo1
в ms sql такой опции не нашёл
edo1
очень странный резултат. lz4 очень сильно сливает rar по коэффициенту сжатия
у меня там zstd -5 и блок 1Мб
edo1
zstd
edo1
но нужно понимать, что fs сжимает каждый блок независимо, очень много зависит от размера блока
edo1
у меня стоит 1 МБ тут. на новых инсталляциях пробую 4 МБ
Василий
Василий
по степени сжатия, зст таки должен сильно сливать рару
edo1
ну ztsd быстрый
edo1
плюс zfs жмёт несколько блоков в паралель, загружая все ядра