Нет. Я не упоролся еще настолько

ну вот)

Ну так забенчмаркери. Там прекол в том что производительность цефа линейно возрастает с количеством осд. Как и объем. Поэтому если у тебя один нод или три то тормозить будет прилично. Кагбе.

Я не об этом. Угадай, что будет, когда у тебя 10 виртуалок начнут выедать ресурсы на гипервизоре

Какие ресурсы для начала ?

Цпу и рам очевидно

Какие ресурсы для начала ?

Все)

И. Причем тут цеф

цеф тоже любит есть RAM

При том, что предлагается совместить цеф и нову на одних серверах, как я понял

Потом, под нову и под цеф тебе понадобятся отдельные сетевые интерфейсы

Потом, параметры ядра, например, годные для новы могут не подойти для цефа

В годном кластере вм не запускают на нодах с цефом. Полки отдельно, мозги отдельно

Хотя если полторы виртуалки и охота миграцию с отказоусточивостью от смерти нода то можно

Проксмокс называеццо

В годном кластере вм не запускают на нодах с цефом. Полки отдельно, мозги отдельно

Епт, я про это и говорю

Комрады, а есть тут кто живой и использующий ceph под бекенд? Думаем на тему совмещения compute и store на серверах, интересует негативный опыт такого конфига

расскажите потом о результатах

Даже негативныз

совмещения цепфа и компьютов, тоже оч интересно

Цепфа

Пхотосхоп

Для примерного представления можете совместить на одном сервере нову и пару бд оракла

Я все еще в сметении, но есть шанс, что будем пробовать

Для примерного представления можете совместить на одном сервере нову и пару бд оракла

Если виртуалки на диск не сильно срут, то в принципе не страшно

Для примерного представления можете совместить на одном сервере нову и пару бд оракла

я кстати думаю, что можно разрулить, с помощью i/o приоритетов

Нет, кроме как в шутку я такое воспринимать не готоа

Чердак телеком

Нет, кроме как в шутку я такое воспринимать не готоа

Но все же не хватает людям (и мне) конкретики.

я кстати думаю, что можно разрулить, с помощью i/o приоритетов

лишняя нагрузка сильно влияет на IO

Чердак телеком

ну клауд же это из говна и палок

Это же не энтерпрайз виртуализация

Но все же не хватает людям (и мне) конкретики.

Конкретика: война за ресурсы, несовместимости параметров и ад в эксплуатации

Клауд и должен быть такой, ноды из PC комплектующих, как у хетзнера и всё такое без ECC памяти :)

и еще большая проблема померять загрузку бутылочных горлышек (КП, контроллера PCI-E)

Конкретика: война за ресурсы, несовместимости параметров и ад в эксплуатации

О каким параметрах речь?

О каким параметрах речь?

Sysctl хотя бв

под серьезной нагрузкой будут чудеса

ну клауд же это из говна и палок

Я надеюсь это шутка была

ну клауд же это из говна и палок

http://s.pikabu.ru/post_img/big/2013/06/13/8/1371123914_1335899703.jpeg

под серьезной нагрузкой будут чудеса

О том и речь. Если нагрузка смешная -- то можно

ну клауд же это из говна и палок

Не знаю, в CERN люди радуются

Не знаю, в CERN люди радуются

Они любят веснушки можт

Я надеюсь это шутка была

нет, серьёзно конечно. у Гугла ноды тоже из говна

а гугл в курсе?

не знаю, что из себя представляют ноды AWS, но подозреваю, что и они тоже не затариваются брендовыми HP :)

open compute ноды это всовсем не говно

Они любят веснушки можт

это же CERN они могут ударить палкой так, что не запачкуются. вопрос же не в том, что кластер из говна, а в том, что архитектура по мудацки сделана

open compute ноды это всовсем не говно

А почему не говно :):

?

не брендовый 1-2 сокетный сервер != говнотазик из бюджетного десктопного железа

как раз не энтерпрайз, не HP с гарантией замены сломанного компонента три бизнес дня

А почему не говно :):

по исполнению

нет, серьёзно конечно. у Гугла ноды тоже из говна

Это не повод тащить говно еще и в архитектуру

это же CERN они могут ударить палкой так, что не запачкуются. вопрос же не в том, что кластер из говна, а в том, что архитектура по мудацки сделана

Я полагаю, утверждение относилось к железу

Это не повод тащить говно еще и в архитектуру

в опенстеке же это всё решаемо с помощью Heat

в опенстеке же это всё решаемо с помощью Heat

Что решаемо?

железка сдохла, можно сразу задеплоить ещё десяток инстансов

Ansible или паппет, итд

Я полагаю, утверждение относилось к железу

а тут некоторые не понимают, что можно сделать облако из говножелеза и оно будет работать, а можно нахуевертить мудацкую архитектуру на нормальном железе и страдать.

Я полагаю, утверждение относилось к железу

да, к железу конечно. Но совместить компьюты с цепф-нодами тоже хочется

что есть говножелезо? opencompute/supemicro или десктопное нечто?

железка сдохла, можно сразу задеплоить ещё десяток инстансов

А на железке 10 продуктивных инстансов. И она не сдохла, а например просадка по сети из за говноархмтектуры

что есть говножелезо? opencompute/supemicro или десктопное нечто?

по-моему и то и то часто подойдёт :)

десктопное не вариант

да, к железу конечно. Но совместить компьюты с цепф-нодами тоже хочется

Или цеф или цепх. Определись

слишком геморно будет на масштабе

десктопное не вариант

вай нот? Софтвая архитектура может решить проблемы не ECC памяти

не может

вай нот? Софтвая архитектура может решить проблемы не ECC памяти

Не может

Ошибка в памяти может привести к репликации говна на другие ноды

да, к железу конечно. Но совместить компьюты с цепф-нодами тоже хочется

Выше были доводы, что CEPH уверенно жрет ОЗУ. Зачем тогда storage на compute? Это же применимо только в dev/test среде, в production, полагаю, все будет очень плохо

Не может

в энтерпрайзе не может, да. Если у вас виртуалка с 1с каким-нибудь, и там критичные бизнес-проводки, то нельзя

а еще она не может решить проблему говеной элементной базы и overprovision по ресурсам

Ошибка в памяти может привести к репликации говна на другие ноды

Вот что действительно важно

Ошибка в памяти может привести к репликации говна на другие ноды

Да ничего с говносайтиками не случится

Ну да ну да

Никогда не случалось

с вашими нервами случится

в крайнем случае всегда можно откатится из бэкапа, Swift на что :)?

потому подключивать оно будет часто и густо, но по-мелочи

Ничего, живут люди с одним яйцом и разорванным анусом

в энтерпрайзе не может, да. Если у вас виртуалка с 1с каким-нибудь, и там критичные бизнес-проводки, то нельзя

Ну так вроде про говносайтики речи и не было

с вашими нервами случится

ну вот не случалось. Тыщи говносайтов живут в хетзнере, и как-то не вылетели из топов ни гугла, ни даже яндекса, и продают

десктопное железо давно делается впритык, и на одной pci-e линии легко может сидеть куча устройств

ну вот не случалось. Тыщи говносайтов живут в хетзнере, и как-то не вылетели из топов ни гугла, ни даже яндекса, и продают

вы ж про клауд говорите, да и хетцнер совсем свежее десктопное уже не ставит

Прекол в том что если на хецнере комп с битой памятью то подохнет только он. А если такой комп в кластере то он попротит в общем случае все виртуалки в кластере

вы ж про клауд говорите, да и хетцнер совсем свежее десктопное уже не ставит

я говорю про клауд на в т.ч. на хетзнеровском говножелезе

вы про свежие десктопные чипсеты от интела почитайте, гляньте где и насколько их порезали, и потом обсудим

свежие это все что вышло за последние 2 года

вы про свежие десктопные чипсеты от интела почитайте, гляньте где и насколько их порезали, и потом обсудим

Поподробнее плез

Прекол в том что если на хецнере комп с битой памятью то подохнет только он. А если такой комп в кластере то он попротит в общем случае все виртуалки в кластере

Стоп. У нас есть допустим небольшой опенстек в хетзнере. Там стоит, ну скажем, десяток компьютов, два контроллера с лоэд балансерами. Сдох один компьют. ЧТо случилось? А ничего не случилось, heat у нас на что?

вам даже 2 линка по честному гигабиту будет проблема сделать

ОК, сглючил один компьют, и ошибки не в ECC памяти. Что случилось? Ну один-два раза отдались ошибки 500/400 посетителям сайтов,

Стоп. У нас есть допустим небольшой опенстек в хетзнере. Там стоит, ну скажем, десяток компьютов, два контроллера с лоэд балансерами. Сдох один компьют. ЧТо случилось? А ничего не случилось, heat у нас на что?

Я имею в виду если под осд в цефе будет использовацца комп с битой памятью

ОК, сглючил один компьют, и ошибки не в ECC памяти. Что случилось? Ну один-два раза отдались ошибки 500/400 посетителям сайтов,

Смотря как сглючил

никтто ничего не заметил. ОК. Запортилась ФС инстанса. Что случилось? А мы накатили бэкап из свифта, который лежит там же

Поподробнее плез

http://images.anandtech.com/doci/9485/PCH%20Allocation.png

http://images.anandtech.com/doci/9485/PCH%20Allocation.png

Я малограмотный. Что это значит ?