а если массив например на петабайт, пропорции те же ?
по моим неаблюдения между 2tb и 40tb разницы нет
Олег
Алексей
медленно но неуклонно начинает падать процентов с 20, постепенно ускоряясь примерно по экспоненте
и да, от 20% занятого))))
Д
Доброе утро всем, ну вроде прочитал, кучу инструкций, остался вопрос, правильно ли я понял, если у меня 8 нод, (физические два сервера dell по 4 ноды) мне нужно сделать еще одну ноду для голоса, девятую (также физ машина), можно не размещать на ней ничего, лишь бы был кворум. На нодах у меня настроены zfs пулы локальные, для того чтобы могла быть репликация. То есть между локальными пулами вм смогут реплицироваться? И я смогу размещать машины и реплицировать их на противоположный сервер.
По 10G будет проходить репликация, есть коммутатор с 10. Живая миграция ну например та что в веб интерефйсе, работать уже не будет? Так как у меня нет общего хранилища. Верно я понимаю сейчас?
Сергей
Доброе утро всем, ну вроде прочитал, кучу инструкций, остался вопрос, правильно ли я понял, если у меня 8 нод, (физические два сервера dell по 4 ноды) мне нужно сделать еще одну ноду для голоса, девятую (также физ машина), можно не размещать на ней ничего, лишь бы был кворум. На нодах у меня настроены zfs пулы локальные, для того чтобы могла быть репликация. То есть между локальными пулами вм смогут реплицироваться? И я смогу размещать машины и реплицировать их на противоположный сервер.
По 10G будет проходить репликация, есть коммутатор с 10. Живая миграция ну например та что в веб интерефйсе, работать уже не будет? Так как у меня нет общего хранилища. Верно я понимаю сейчас?
если под живой миграцией понимается HA - то без общего хранилища не будет. Если живая миграция - это возможность запущенную ВМ перенести вручную не останавливая на другую ноду, то будет.
Д
а отдельная машинка ставится просто с проксмоксом и все, и можно больше на ней ни чего не ставить просто для кворума так?
Д
В принципе на будущее можно поставить полки, и сделать хранилище и тогда будет все полноценно работать с отказоустойчивостью и HA
Сергей
а отдельная машинка ставится просто с проксмоксом и все, и можно больше на ней ни чего не ставить просто для кворума так?
можно и так. кто-то делает даже виртуальную машину/quorum disk для создания кворума
Д
в 6 версии они вроде научились возвращаться обратно виртуалки в HA
Д
можно и так. кто-то делает даже виртуальную машину/quorum disk для создания кворума
но если один физ сервер выйдет а там этот диск
Д
то все, он в любом случае должен быть в другой точке получается, отдельно физически
Д
а вот еще вопрос а если у меня все диски ssd есть смысл в zil?
Сергей
а вот еще вопрос а если у меня все диски ssd есть смысл в zil?
имеет, если у вас не самые быстрые ssd. и есть средства на пару intel optane
Д
да, такая "обманка" имеет недостатки
ну уж лучше отдельно территориально в другом месте поставить и пусть се крутится
Сергей
ну уж лучше отдельно территориально в другом месте поставить и пусть се крутится
территориально - это насколько далеко? В кластере имеет значение задержка в сети
Д
в пределах города
Д
оно и сейчас в разных местах
Д
но 10 соединено
Сергей
до 5-10мс более-менее.
Д
диски
Д
Д
вроде все intel
Д
ну я скинул скрин, не дешевые они
Д
или все таки лучше делать? тогда вопрос лучше выносить на отдельный диск? или можно также оставить место на диске с proxmox?
George
ну я скинул скрин, не дешевые они
смотрите их latency, сравнивайте с тем, что предполагаете ставить в качестве zil
Сергей
ну я скинул скрин, не дешевые они
это не самые быстрые диски у интел:
https://ark.intel.com/content/www/ru/ru/ark/products/93026/intel-ssd-dc-s3520-series-480gb-2-5in-sata-6gb-s-3d1-mlc.html
George
latency синхронной однопоточной записи
Д
Сергей
Получается что zil все таки нужен
я бы сказал желателен, но не строго обязателен. Да, с ним синхронная запись будет быстрее если там будут быстрые диски под ZIL
Д
также можно на каждой ноде по 10GB оставлять?
Алексей
время вредных советов: либо просто отключите sync :)
George
Получается что zil все таки нужен
тупой тест на надобность zil - включить sync=disabled и посмотреть разницу на тестовых данных
George
если разница мала - zil не особо поможет
George
время вредных советов: либо просто отключите sync :)
вообще если понимать что оно делает - то совет хороший)))
Алексей
не тот случай пока еще)
Д
Но это я еще не собрал пока что
Алексей
а я там кстате эксперементирую с фрагментацией
Алексей
может быть даже напишу мини отчет
Алексей
обещал же
Сергей
Получается что zil все таки нужен
тесты сделайте, как Георгий советует. Просто ставить оптан для ZIL на пуле из 480Гб дисков - это недешёвое удовольствие
Д
а я хотел поставить его на диске с proxmox системой
Иван
@antares100 у тебя ceph? с нуля до ceph за две недели. шустро ты...
Д
тесты сделайте, как Георгий советует. Просто ставить оптан для ZIL на пуле из 480Гб дисков - это недешёвое удовольствие
Это про постоянную перезапись, что он его убьет?
Сергей
Это про постоянную перезапись, что он его убьет?
оптан убить практически невозможно. Просто это очень быстрый и очень дорогой диск.
https://ark.intel.com/content/www/ru/ru/ark/products/149367/intel-optane-ssd-dc-p4801x-series-100gb-m-2-110mm-pcie-x4-3d-xpoint.html
Д
ну да только с учетом что он мне нужен будет на каждой ноде, это будет дорого не мой вариант
Д
@antares100 у тебя ceph? с нуля до ceph за две недели. шустро ты...
Ceph с ним все хорошо даже из коробки с proxmox, но дело в том что у меня два физ сервера, и при сбое питания, хана ceph, все стоит колом, по этому хочу посмотреть в сторону zfs с его репликацией.
Д
а с zfs ага с нуля, я с ним не встречался ранее просто.
Д
пока присматриваюсь пытаюсь понять, как лучше все пересобрать.
Иван
Д
на 8
Д
Д
4 ноды в серваке
Д
Д
по сути для ceph надо нечетное также кол-во но мне это не поможет из за физичиски двух серверов
Д
да
Д
это шасси
Сергей
да
ну так и пишите)), а то получается что вы сервером называете рэк, а многие это воспринимают как единицу (CPU+RAM)
Д
да не правильно сказал шасси
Сергей
так у вас кворум легко собирается. из хостов PVE
Д
у меня беда в том что если 4 ноды падают
Д
он колом встает
Ivan
Д
да я понял мне надо чтобы колом не вставло а работало в случае, если 4 упали
Д
там питание общее
Д
сейчас я знаю к чему придет 😁
Ivan
странная ситуация с питанием. если есть 2бп, то вероятность появления проблемы крайне низкая
Д
к ИБП
Д
электричество отключили и все
Ivan
ибп тоже неплохо. порой свет рубают на неск. секунд
Д
в том то и беда что объяснять что нужно решать проблему с птанием замучались