точек

это значит что я не увижу точе BC ?

Если метаданные одинаковые, то он дождется ответа от второго и подклеит

Что не хватает

ээ

метаданные - это что имеется в виду?

Если метаданные разные (шаг) то получишь первый ответ

метаданные - это что имеется в виду?

Шаг в первую очередь

гм

Он не умеет аппроксимировать или делать роллап пока что

ок поробую потестить

спасибо за ответ!

Впрочем научиться со временем

вобщем пробовал go-carbon - из приятного все в одном бинарнике

из неочень - на том же ретеншене виспер все-таки жрет больше

из неочень - на том же ретеншене виспер все-таки жрет больше

Логично :)

12 байт на точку

Плюс преалокация

но судя по активности в ветке мегакарбона и цереса ему разве что памятник не успели поставить

а так уже закопали

а я не большй период брал

60к метрик в минуту с ретеншеном 3 дня 1 минута 5 минут 7 дней

а так уже закопали

Мне к сожалению очень ленив вдумчиво писать либу цереса, поэтому я закопался с ней. Как сделаю - закомичу в го карбон поддержку

Точнее отправлю пулл реквест

было бы клево Ж)

:)

Но медленно идет

а чем помочь можно?

но судя по активности в ветке мегакарбона и цереса ему разве что памятник не успели поставить

Мегакарбон закопали. Церес как то живёт на текущей ветке

И кто то даже что то фиксил

а чем помочь можно?

Да хз... Там довольно монотонная работа пока тупо по написанию совместимого с го-виспер интерфейса

вот та реализация что у Куликова - там пофикшен баг с отображением метрик из нескольких слайсов

вот та реализация что у Куликова - там пофикшен баг с отображением метрик из нескольких слайсов

Ага, знаю

Но в мастере что то тоже пофиксили

да как то не очень - год назад качал из мастера - там этого фикса не было

я вот кстати так не придумал как сделать роллап для базы более плавным

как запускаетя и сервер укладывается по чтению

как то так

как то так

ionice?

Или цгруппы и лимиты на blk

Там как раз иопсы можно подрезать

да подрезать можно

это и через врайтеры можно прям делать

только сам процесс хотелось бы как нибудь менее напряжно для сервера делать но при этом не просирать момент ретеншена

только сам процесс хотелось бы как нибудь менее напряжно для сервера делать но при этом не просирать момент ретеншена

Ну это не к цересу тогда :)

да то похоже

Он с ио мягче как раз потому что в нем по дизайну заложено что ретеншн может поплыть

Да хз... Там довольно монотонная работа пока тупо по написанию совместимого с го-виспер интерфейса

Может глупость спрошу, а если прикрутить поддержку сжатия whisper файлов на файловой системе - не сильно проще? Да будет оверхед на cpu, но скорее всего приемлемый.

Может глупость спрошу, а если прикрутить поддержку сжатия whisper файлов на файловой системе - не сильно проще? Да будет оверхед на cpu, но скорее всего приемлемый.

Не приемлемый увы :)

Эх )

Но жмёт раза в 3

т.е. имеет смысл попробовать zfsonlinux

Там как раз иопсы можно подрезать

простите за вмешательство, а в сцгруппах именно iops ? я думал там приоритеты

интересно насколько хорошо виспер дедублицируется

Может глупость спрошу, а если прикрутить поддержку сжатия whisper файлов на файловой системе - не сильно проще? Да будет оверхед на cpu, но скорее всего приемлемый.

зависит от нагрузки. У Вас, может и заработает. У нас дохло постоянно.

А есть опыт такой?

На чем был основной затык и какая ФС?

простите за вмешательство, а в сцгруппах именно iops ? я думал там приоритеты

blkio.throttle.read_iops_device и write

На чем был основной затык и какая ФС?

Kernel thread делающий сжатие в полку цпу

ФС - бтрфс и зфс пробовали

Но примерно год назад

Бтрфс вообще в себя уходил и не возвращался

интересно насколько хорошо виспер дедублицируется

это врядли, если дедубликация блочная, то скорее всего только пустые куски. Но учитывая сколько там iops и если будет много метрик, что-то сомнаваюсь что оно сможет полететь.

снэпшоты

т.е. имеет смысл попробовать zfsonlinux

Вот да был мысль попробовать

это врядли, если дедубликация блочная, то скорее всего только пустые куски. Но учитывая сколько там iops и если будет много метрик, что-то сомнаваюсь что оно сможет полететь.

если уж думаете про dedup - смотрите на sparse файлы

ERROR: S client not available

да ну как сказать там она сразу на все работает

вот тут кому интересно: https://pthree.org/2012/12/18/zfs-administration-part-xi-compression-and-deduplication/

да ну как сказать там она сразу на все работает

Размер блока довольно большой, эффективность низкая

вобщем самое плохое что там обещают For mixed data, it's been common for me to see 1.15x savings.

да ну как сказать там она сразу на все работает

Вы, когда свой dedup zfs volume смонтировать не сможете, вы меня вспомните :)

а вообще у меня перед глазами 1,8 ТБ данных из которых реально занимают на диске 500

Вы, когда свой dedup zfs volume смонтировать не сможете, вы меня вспомните :)

На чем это утверждение основано? Я в дев инфраструктуре юзаю же в течение нескольких лет - работает как часы

а вообще у меня перед глазами 1,8 ТБ данных из которых реально занимают на диске 500

Ну мы на компрессию тоже облизиваеемся. сжало бы данные без учёта пустых кусков в 3 раза на lz4

Но увы

если бы не неудобство в dkms на центоси и рхеле вообще классная ФС

если бы не неудобство в dkms на центоси и рхеле вообще классная ФС

The Cost of Deduplication я бы вчитался вот в это ^

Но в убунте этот вопрос решил - просто зафигачили прямо в пакете с ядром

The Cost of Deduplication я бы вчитался вот в это ^

А вы пробовали? Ну да, ОЗУ там много надо

Но скажем так ОЗУ сейчас копейки стоит по сравнению с SSD

А вы пробовали? Ну да, ОЗУ там много надо

на виспере не пробовал. Мне предыдущих опытов хватило, когда я бегал память искал для того чтобы смонтировать

Total Deduplication Ram Cost ZFS stores more than just the deduplication table in RAM. It also stores the ARC as well as other ZFS metadata. And, guess what? The deduplication table is capped at 25% the size of the ARC. This means, you don't need 60 GB of RAM for a 12 TB storage array. You need 240 GB of RAM to ensure that your deduplication table fits. In other words, if you plan on doing deduplication, make sure you quadruple your RAM footprint, or you'll be hurting.

Да, именно так

Но скажем так ОЗУ сейчас копейки стоит по сравнению с SSD

Чтоб такое делать надо доказать что есть смысл :)

Да, именно так

если вы можете позволить себе столько памяти на сервере, то вам не нужна дедубликация

Я думаю что дедуп будет не очень эффективно работать

Точнее спарс файлы выгоднее чем дедуп

Точнее спарс файлы выгоднее чем дедуп

именно

но есть в zfs такая штука которую я еще нигде не видел, если юзать например софтовый рейд, то при рекавери копироваться будут только блоки с данными, а не как сделал бы тупой md или lvm raid - тупо скопипастил все вблоки что в вольюме

именно

возможно, непонятно что дедублицироваться будет

но есть в zfs такая штука которую я еще нигде не видел, если юзать например софтовый рейд, то при рекавери копироваться будут только блоки с данными, а не как сделал бы тупой md или lvm raid - тупо скопипастил все вблоки что в вольюме

можно не заниматься ерундой и хранить данные на втором сервере, а сдохший диск менять вместе с сервером

возможно, непонятно что дедублицироваться будет

null будет

возможно, непонятно что дедублицироваться будет

Ты учти что ФС оперирует в этом месте блоками. И по умолчанию блоки будут по 100кб

У тебя много метрик где есть полезные данные размером в 100кб которые повторяются в других метриках?

Плюс интересный вопрос как на апдейтах оно себя вести будет

ну можно же покрутить размер блока то

zfs set recordsize=64k mypool/myfs

ну можно же покрутить размер блока то

Чем он меньше, тем больше памяти нужно