Mike
почему только? Ему пофиг на то, что сверху
Mike
так же как и DPDK пофиг на ping
Mike
SPDK - просто другой способ доступа к диску, как DPDK - к NIC
Михаил
если DPDK я еще понял как включить
Uncel
Так, а кто-нибудь про SPDK может рассказать?
драйверы в юзерспейсе для nvme дисков ( т.к. pcie уже давно в проце)
Михаил
драйверы в юзерспейсе для nvme дисков ( т.к. pcie уже давно в проце)
хмм
то есть для обычных ссд его смысла нет пытаться прикрутить?
однако мне всё равно интересно как это сделать
Mike
тебе нужен NVMe диск
Михаил
или для того что бы в нем смысл был
Mike
https://software.intel.com/en-us/articles/introduction-to-the-storage-performance-development-kit-spdk
Mike
тут кратко
Mike
или для того что бы в нем смысл был
именно. Вообще надо что бы PM driver поддерживал диск. Как в DPDK PM driver сейчас умеет Intel и Mellanox карты
Uncel
именно. Вообще надо что бы PM driver поддерживал диск. Как в DPDK PM driver сейчас умеет Intel и Mellanox карты
Там их больше, товарищей с блобами отказались апстримить
Mike
Ну вообще он умеет, оказывается обычные диски
Михаил
именно. Вообще надо что бы PM driver поддерживал диск. Как в DPDK PM driver сейчас умеет Intel и Mellanox карты
Не не. Есть смысл и не могу это две разные вещи)
Mike
"Linux* Asynchronous I/O (AIO): Allows SPDK to interact with kernel devices like HDDs."
Mike
только теряется в смысл
Михаил
Однако как это все запустить понятнее не стало
Mike
типа так: "sudo scripts/setup.sh" в директории SPDK. если сам собираешь. Так советует Штеуд :)
Михаил
Uncel
https://www.spinics.net/lists/ceph-devel/msg29959.html
Mike
вся дока сводится к тому, как написать приложение для SPDK. А не как его запустить
Михаил
ну как-то понятнее не стало, да(
Брандашмыг
Граждане практики, ответьте мне - возможно ли в цефе делать гибкий рейтлимит иопсов на ноде для одного клиента?
Брандашмыг
И да, добрый всем вечер
Mike
QoS пока нет
Брандашмыг
(((
Брандашмыг
И никакого балансинга тоже? Как бороться с живоглотами?
Брандашмыг
Со стороны клиента возможности нет
Брандашмыг
Злоебучий зоопарк
Mark ☢️
Шейперы трафика в линупсе.
Mark ☢️
Ввиду распределенной архитектуры сложновато придумать алгоритм ограничения суммарных иопсов.
Mark ☢️
Но! У них там есть задача по измерению нагрузки на каждый образ. В плане иопсов. А где измерение там и ограничение.
Mark ☢️
(Наверно)
Mike
Loïc Dachary, написал отличную штуку: http://crush.readthedocs.io/en/latest/
Михаил
@Lumen_Ratio кстати, насколько я понял SPDK это на текущий момент один из вариантов отдавать RBD Volumes по iscsi
Старый
ceph под базы пробовал кто?
Михаил
пробовал
Mike
Mike
только насколько он хорош - вопрос
Старый
вот отдать нодам хранилище тупо
Mike
и что изменится? База всё равно лежит на FS, а FS на диске
Dorian
Кластер с Галерой?
Dorian
О чём я ... там же 1с
Mike
работает, вот. Только из-за вот этого: http://tracker.ceph.com/issues/16002 надо отключать rbd_cache на клиентах или ставить последний hammer или jewel
Mike
1с у нас с PostgreSQL работает
Dorian
с репликой?
Dorian
У меня идея кластерй Машки на sds
Mike
нет, не такая нагрузка, что бы реплику поднимать.
Старый
ну вот предположим, есть nosql и 200 нод
Старый
надо под 200 нод сделать 6-8 хранилишь ceph
Mike
У меня идея кластерй Машки на sds
так была дока от Percona как так сделать, что бы shared image использовать в ceph
Старый
а ты не продполагай, ты ТЗ скажи чего от тебя хотят
от меня хотят прототип того, что нужно, чтобы кассандра писала на диски, объём базы примерно 150 тб в год, примерно 70 тыс операций в секунду, чтения рандомные по всей базе.
Тема в чём, хранить фулл на ссд никто не будет
Etki
я понимаю, что именно я сейчас запущу, но: кассандре вообще не уперлось распределенное хранилище под ней, тем более непонятно, зачем его делить на 6-8 кусков
Mike
а какое латенси допустимо на чтение и запись? Какой поток данных?
Старый
я понимаю, что именно я сейчас запущу, но: кассандре вообще не уперлось распределенное хранилище под ней, тем более непонятно, зачем его делить на 6-8 кусков
но в том и тема, что ей не нужно, но хранить на каждой ноде ток ссд дорого, вот у меня сейчас нагрузки на проц нет, нагрузка на чтение у по 80 мб в сек все, а сама база делает 3800 операций в сек, упала со вчерашнего с 15 примерно
Старый
соответственно надо оч много читать
Mike
первая реплика на SSD?
Etki
если у вас кассандра не справляется с потоком, вы не начинаете городить ей новое хранилище, вы добавляете новые ноды в кластер и/или оптимизируете конфиг под заданный кейс
Etki
так-то к репликации данных на уровне кассандры добавить репликацию на уровне цефа богатая идея, конечно
kiosaku
почему кассандра, а не аэроспайк?
kiosaku
на последнем нормально летало 150к+/50к+ r/w на кластере в 7 машин
Mark ☢️
работает, вот. Только из-за вот этого: http://tracker.ceph.com/issues/16002 надо отключать rbd_cache на клиентах или ставить последний hammer или jewel
можно для тупых (меня), в чём суть? и касается ли это Кракена ?
kiosaku
ртб, если что, там
Mark ☢️
Mark ☢️
Что за ртб....
Etki
Мы в нескольких dmp его использовали, хотя название ничего не скажет все равно, так что особо известными не назвать, раньше пробовали кассандру (было медленновато), riak (продержался пару месяцев и сдох полностью прямо на продакшне, еле вытащили данные и перенесли все в аэроспайк срочно переписав логику) потом уже просто на аэроспайке делали, очень удобно и быстро, хотя вот минусы тоже встречаются, например у него примерно раз в 5 минут несколько запросов может подвиснуть на 1-2 секунды, из за этого график 95 персентили слегка зубчиками идет.
Etki
Вот это все еще актуально для него например http://varyous-simbir.blogspot.ru/2015/11/aerospike.html
kiosaku
real-time bidding
Etki
ну и вообще это немного разные инструменты
Dorian
как я понял нужно тс хранить
kiosaku
почитаю, thx