https://blog.widodh.nl/2017/02/do-not-use-smr-disks-with-ceph/

свежачок

ну и http://ceph.com/dev-notes/adding-support-for-rbd-to-stgt/

это похоже что работает. проверю буквально завтра (надеюсь)

As a first implementation, I wrote the bs_rbd driver to handle up to 20 simultaneous rbd images (just an arbitrary fixed-size-array limit), and used the bs_rdwr module as a starting point, so that I/O is synchronous to the RADOS cluster.

но это 2013 год...

короче. не буду копипастить. Это годнейшая статья которая про айскайзи и цеф обо всём говорит. в меморайз!

2013 год! я худею, дорогая редакция.

я не понял, что тебя удивило

2013 год! я худею, дорогая редакция.

смотри. а то скелетом станешь

что в 2013 уже всё известно было. а сейчас в 2017 через 5 лет карл, всеравно какие-то непонятки с айскайзи + цеф

в 2013 цеф ещё под стол пешком ходил (наверно)

уапросы к скорости работы

что в 2013 уже всё известно было. а сейчас в 2017 через 5 лет карл, всеравно какие-то непонятки с айскайзи + цеф

у тебя уже с математикой проблемы

эу

фейл. да, 4 года

я, кстати, хочу окончательно ебануться и сделать загрузку серваков с айскайзи. интеловские сетёвки это умеют

и прежде чем завтра ломастером быть, пообщайся со в чатике который скину

а я ломать ничо не собираюсь в проде.

я, кстати, хочу окончательно ебануться и сделать загрузку серваков с айскайзи. интеловские сетёвки это умеют

я делал. причем можно не только на интеловских картах, смотри iPXE.

я пока не шарю, но iPXE же наверно треубет какого-то бут-сервера откуда оно должно бутиться. верно ?

типа по tftp отдавать загрузчик который умеет в айскайзи

или как там.

конечно. но это гораздо более generic-решение, чем пытаться опираться на довольно глупые прошивки сетевух

iPXE и есть загрузчик, который умеет в iSCSI

а он откуда на компе берётся ?

TFTP

понятно. так я и думал

причем это решение получается куда гибче, чем в биос забивать iqn

погоди

https://habrahabr.ru/post/169251/

Я правильно понял, что сначала по тфтп грузится ipxe, потом стандартный груб, потому он грузит я дро и инитрд, а далее инитрд подцепляет айскайзи и ура. так ?

а, не, я тут сделал не так.

Я правильно понял, что сначала по тфтп грузится ipxe, потом стандартный груб, потому он грузит я дро и инитрд, а далее инитрд подцепляет айскайзи и ура. так ?

нет, неправильно.

а как

PXE -> DHCP -> TFTP -> download iPXE -> run iPXE -> DHCP -> iSCSI -> GRUB

при этом GRUB лежит на iSCSI-томе

да. я прост пропустил часть

дада .я понял

у мну вопрос.

а может таки пижже корень на NFS держать?

initrd не подцепляет iSCSI

initrd не подцепляет iSCSI

вот это поворот

а корень с чего монтируется?

c iSCSI

:)

ну

iPXE подвешивает том на 80-е прерывание

а кто цепляет настраивает ядро на это?

iPXE подвешивает том на 80-е прерывание

ну так это только на этапе груба.

http://ipxe.org/appnote/winpe_with_iscsi

насколько я понимаю, нет.

причем как это работает - я не понял :)

похоже, что нет

зная то как работают фейк-рейды — видимо аналогично

на уровне биоса они именно через 80 прерывание (или какое там)

а потом влинуксе они видятся просто как винты

линукс их по меджику раздупляет и делает по сути программынй рейд

в случае айскайзи, я думаю, инитрд вновб получает айпи по дхцп, цепяет айскайзи и монтирует его в корень

может быть. но я со временем пришел к выводу, что сетевая загрузка с установлением соединения до стораджа (NFS/iSCSI/anything else) - зло.

в случае айскайзи, я думаю, инитрд вновб получает айпи по дхцп, цепяет айскайзи и монтирует его в корень

вот я в статье так делал

может быть. но я со временем пришел к выводу, что сетевая загрузка с установлением соединения до стораджа (NFS/iSCSI/anything else) - зло.

почему это зло?

почему это зло?

потому что устойчивость к деградации сети в датацентре околонулевая

хммм. но если нет доступа к цефу короче, то какой смысл вобще грузить этот нод?

например эти ноды — это хостеры виртуалок

лучше в squashfs забутаться, если уж очень не хочется держать локальную fs

лучше в squashfs забутаться, если уж очень не хочется держать локальную fs

а откуда её скачать?

с флешки ?

а откуда её скачать?

по HTTP

ну окей. а ядро ?

использование сети во время загрузки - никаких проблем. использование сети в рантайме == развалившийся кластер при первом затупе сети.

понял

ну окей. а ядро ?

тот же iPXE спокойно скачает тебе ядро и initramfs по HTTP

массовая загрузка по TFTP, кстати, то еще удовольствие.

хммммм.

а для уефи такие штуки есть вобще ?

по факту до сих пор проще со всех EFI систем грузиться в BIOS-режиме.

но да, iPXE утверждает что умеет в EFI

и ещё.

а айскази таргеты у тебя где в кластере ?

на спецвыделенных компах ?

что? :) у меня нет ничего подобного.

а где бы ты сделал ?

я бы не делал iSCSI

начинается

использование сети во время загрузки - никаких проблем. использование сети в рантайме == развалившийся кластер при первом затупе сети.

потому что вот

эт я понял

https://www.supermicro.com/products/nfo/SATADOM.cfm

вот чудесные штуки, которые не съедают слот в железке

заливка ОС занимает ну минуты три

ага. ага

а питло где брать

колхозить?

каво?

питание к платке

у тебя десктопы что ли?

нет. НР