нет.

Есть ли батареечка. Не сдох ли один из дисков ну и т.д.

Есть ли батареечка. Не сдох ли один из дисков ну и т.д.

ну диски было бы видно на самом серваке

ой не фак

профилирование наше все.

ну, вряд ли он сможет сломать рейд, и проверить все диски бедблоксом на sw -p6

Всем привет. Есть прокс, под ним Adaptec Raid. На нем собственно собран RAID1. Он размечен GPT, поверх него я делаю LVM Thin. Когда начинаю на него писать(restore виртуалки с бекапа на другом диске), у меня IO по iostat взлетает до 99% процессами ksoftirqd. В /proc/interrupts я вижу что это все прерывания по IR-PCI-MSI 67633153-edge aacraid. Куда смотреть? И нормальное ли это поведение?

молодой человек, вам на будущее, прежде чем ставить диск в сервер, сделайте на диск badblocks -sw p4-6

ох как часто это помогает заранее плохие диски отсеить

правда жалко юлмарт бедблокс сука не считает основанием диски заменять

у меня сейчас в коробке из 18 дисков купленных в апреле 4 шт лежат, не прошли проверку

а чего, железные рейды не умеют бб ремапить?

до сих пор

я хз

я обычно беру федорку, бб и на недельку hdd ставлю грузить

а с тез пор, как мне рассказали пара поставщиков, что в рф часто сетевики берут бракованные партии за 30% цены, зная что в рф дебилы 80% компний, то я без бб диски вообще не ставлю в серваки

3ware вроде умел, но где он теперь. Ну с другой стороны, бб вроде на моменте инсталяции диска тогда должны были отсеять

молодой человек, вам на будущее, прежде чем ставить диск в сервер, сделайте на диск badblocks -sw p4-6

Сборка сервера происходит руками работников дц, так что при всём моём желании, не смогу этого сделать. Но спасибо за совет!

а так диск может тормозить и без явных бб, сам их поремапив

По SMART оба диска живые. Ни одного блока в ремапе

А по скорости чего.

По SMART оба диска живые. Ни одного блока в ремапе

смарт показывает уже смерть диска

смарт показывает уже смерть диска

Ну как смерть, он ведь показывает сколько блоков reallocated

Ну как смерть, он ведь показывает сколько блоков reallocated

увы, но если смарт показывает бэды, значит диск уже точно на свалку, а вот бб показывает проблемы задолго до смарта

увы, но если смарт показывает бэды, значит диск уже точно на свалку, а вот бб показывает проблемы задолго до смарта

Бб покажет те блоки которые долго читаются, но ещё живы, верно я понимаю?

Бб покажет те блоки которые долго читаются, но ещё живы, верно я понимаю?

можно и так сказать

а так же блоки на которых ошибки чтения записи

которые смарт сам при диагностике не видит

смарт не проверяет на реальную запись

Ага понял. А адаптеки из меню загрузки этого самом не умеют?

Ага понял. А адаптеки из меню загрузки этого самом не умеют?

нет

точнее дорогие может и умеют

но ты явно не ставил себе контроллер за 2000 баксов

А есть ли возможность как то показать оси диски по отдельности учитывая что доступ у меня только KVM

?

Ну чтоб бб запустить

надо было до инсталяции делать

надо было до инсталяции делать

На том рейде нет оси, это доп диски чисто под данные. Рейд я могу разобрать, но вот физически перецепить диски в обход контроллера не могу

ну я противник аппаратных контроллеров и за IR прошивки, так что точно сказать не могу

но сделай из них два 0 рейда по 1 диску и попробуй

На том рейде нет оси, это доп диски чисто под данные. Рейд я могу разобрать, но вот физически перецепить диски в обход контроллера не могу

сдела контроллер как hba, приконтируй диски по отдельности и делай бб

а адаптек может как hba ?

а адаптек может как hba ?

должен, у меня говнов супермикре и то умеет

вот говнов то умеет, а во всяких 5405 я не нашел, например

Ребят, а каких то очевидных проблем не видно по этим данным? ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE 1 Raw_Read_Error_Rate 0x000b 100 100 016 Pre-fail Always - 0 2 Throughput_Performance 0x0005 136 136 054 Pre-fail Offline - 108 3 Spin_Up_Time 0x0007 100 100 024 Pre-fail Always - 0 4 Start_Stop_Count 0x0012 100 100 000 Old_age Always - 6 5 Reallocated_Sector_Ct 0x0033 100 100 005 Pre-fail Always - 0 7 Seek_Error_Rate 0x000b 100 100 067 Pre-fail Always - 0 8 Seek_Time_Performance 0x0005 128 128 020 Pre-fail Offline - 18 9 Power_On_Hours 0x0012 100 100 000 Old_age Always - 234 10 Spin_Retry_Count 0x0013 100 100 060 Pre-fail Always - 0 12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 6 192 Power-Off_Retract_Count 0x0032 100 100 000 Old_age Always - 22 193 Load_Cycle_Count 0x0012 100 100 000 Old_age Always - 22 194 Temperature_Celsius 0x0002 206 206 000 Old_age Always - 29 (Min/Max 22/42) 196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always - 0 197 Current_Pending_Sector 0x0022 100 100 000 Old_age Always - 0 198 Offline_Uncorrectable 0x0008 100 100 000 Old_age Offline - 0 199 UDMA_CRC_Error_Count 0x000a 200 200 000 Old_age Always - 0

Второй: ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE 1 Raw_Read_Error_Rate 0x000b 100 100 016 Pre-fail Always - 0 2 Throughput_Performance 0x0005 137 137 054 Pre-fail Offline - 104 3 Spin_Up_Time 0x0007 100 100 024 Pre-fail Always - 0 4 Start_Stop_Count 0x0012 100 100 000 Old_age Always - 6 5 Reallocated_Sector_Ct 0x0033 100 100 005 Pre-fail Always - 0 7 Seek_Error_Rate 0x000b 100 100 067 Pre-fail Always - 0 8 Seek_Time_Performance 0x0005 128 128 020 Pre-fail Offline - 18 9 Power_On_Hours 0x0012 100 100 000 Old_age Always - 234 10 Spin_Retry_Count 0x0013 100 100 060 Pre-fail Always - 0 12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 6 192 Power-Off_Retract_Count 0x0032 100 100 000 Old_age Always - 21 193 Load_Cycle_Count 0x0012 100 100 000 Old_age Always - 21 194 Temperature_Celsius 0x0002 193 193 000 Old_age Always - 31 (Min/Max 23/46) 196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always - 0 197 Current_Pending_Sector 0x0022 100 100 000 Old_age Always - 0 198 Offline_Uncorrectable 0x0008 100 100 000 Old_age Offline - 0 199 UDMA_CRC_Error_Count 0x000a 200 200 000 Old_age Always - 0

Диски новые, 10 дней не отработали , релокейшенов нет

О, в адаптеке есть какая то проверка

я обычно беру федорку, бб и на недельку hdd ставлю грузить

ssd тоже грузите badblocks? ))

ssd тоже грузите badblocks? ))

увы, с ними всё куда сложнее

а вот hdd проверять он оч хорош

да я уже забыл когда покупал hdd... но так то да, согласен что проверить память и диски (особенно на дешевом железе) - пренепременное дело.

Странно все. Рядом стоит сервак с таким же рейдом и таким же конфигом. Но там такой проблемы нет. при ресторе виртуалки 99% IO жрет kworker или сам процесс распаковки

Кажется нашел проблему

ииии

На том сервере где проблем нет, настройки рейда такие: Read-cache setting : Enabled Read-cache status : On Write-cache setting : Enabled Write-cache status : On Partitioned : No А на том где проблема есть, настроки противоположные: Read-cache setting : Disabled Read-cache status : Off Write-cache setting : Disabled Write-cache status : Off Partitioned : Yes Это может быть причиной такого поведения?

Может, батареечки что ли нет?

должна быть)

хотя реад кеш и без нее живет

ну заказывал с ней как бы

ну включай

А это можно прям поменять online или пересоздавать рейд надо?

по идее ничего не должно помешать, но , если данные таки пропадут, я не виноват.

по идее ничего не должно помешать, но , если данные таки пропадут, я не виноват.

?

не жалко, там пока ниче нет

Похоже помогло. Если лью на рейд с кешем то все ок, если без кеша то в списке iotop вижу: TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND 23 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/2] 17 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/1] 8 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/0] 77 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/11] 71 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/10] 65 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/9] 59 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/8] 53 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/7] 222 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/35] 216 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/34] 47 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/6] 41 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/5] 35 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/4] 210 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/33] 204 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/32] 29 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/3] 198 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/31] 192 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/30] 186 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/29] 162 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/25] 156 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/24] 180 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/28] 174 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/27] 168 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/26] 120 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/18] 108 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/16] 102 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/15] 96 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [ksoftirqd/14] 3357 be/4 root 0.00 B/s 0.00 B/s 0.00 % 99.99 % [kworker/u96:2]

Хотя нет, все равно есть всплески

Вот теперь точно разобрался. Какая то срань в ядре. Все ядра pve-kernel-4.13.* имеют эту проблему. Даунгрейд ядра на pve-kernel-4.10.17-5-pve убирает все описанные выше проблемы.

ну с кешем записи чтения все одно быстрее

> Все ядра pve-kernel-4.13.* имеют эту проблему. когда решил что ядра от убунту это хорошая идея

Они ж раньше редхатовские ядра впихивали в деб?

А кто-нибудь может подсказать, могу ли я юзать ядро pve-kernel-4.10.17-5-pve с proxmox-ve 5.1? Судя по роадмапу: https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.0 в proxmox-ve 5.1 они перешли на ядро pve-kernel-4.13.3 На сколько это безопасно?

Они ж раньше редхатовские ядра впихивали в деб?

во времена 6/7-го дебиана

А кто-нибудь может подсказать, могу ли я юзать ядро pve-kernel-4.10.17-5-pve с proxmox-ve 5.1? Судя по роадмапу: https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_5.0 в proxmox-ve 5.1 они перешли на ядро pve-kernel-4.13.3 На сколько это безопасно?

У меня 5.1 и ведро 4.13.4-25 - никаких проблем

У меня 5.1 и ведро 4.13.4-25 - никаких проблем

5.1 pve перешел на pve-kernel-4.13.*

А у меня 5.1 на ядре от 5.0

А у меня 5.1 на ядре от 5.0

И прям реально лучше работает?

И прям реально лучше работает?

ну проблемы с ksoftirqd нет

И прям реально лучше работает?

https://forum.proxmox.com/threads/command-iotop-ksoftirqd-0-99.38462/ Вот тема на форуме по этой баге

А у меня 5.1 на ядре от 5.0

Точную версию подскажи

Точную версию подскажи

pve-kernel-4.10.17-5-pve with proxmox-ve: 5.1-31

pve-kernel-4.10.17-5-pve with proxmox-ve: 5.1-31

спс, действительно у меня тоже иногда эта хрень выскакивает. Пакет с ядром просто из реп прокса? по зависимостям в 5.1 все ок?

да, ставится с полпинка

главное загрузку на него поменять

Только я не уверен что прям все все ок. Но чисто визуально все работает. Вирты запускаются и в логах чисто.

да, ставится с полпинка

а на практике заметил что стало шустрее?

а на практике заметил что стало шустрее?

я тестил просто восстановлением вирты из бекапа. Особо ничего не изменилось по времени, зато IO меньше забивается

я тестил просто восстановлением вирты из бекапа. Особо ничего не изменилось по времени, зато IO меньше забивается

Отлично, как раз хотел цеф до 12.2.2 обновить, за одно и ядро старое поставлю. А то у меня странная ситуация с цефом, ничего не загружено, а латенси сильно прыгает

Кстати что за реп pve-nosubscription? Там обновки есть, но чот я очкую

Кстати что за реп pve-nosubscription? Там обновки есть, но чот я очкую

Есть. Я на всех хостах его ставлю. На нем как раз и ядра лежат

Есть. Я на всех хостах его ставлю. На нем как раз и ядра лежат

И обновляешься до этой репы?

И обновляешься до этой репы?

Да, с неё и обновления тягаешь

Сорян, что не по теме. Кто-то настраивал ap9630 или подобные карты управления? Можно ли как-то по сети сконфигурировать? Кабеля консольного нет.

ну, если там уже включён dhcp, то можно, наверное

ну, если там уже включён dhcp, то можно, наверное

Мне бы точно знать... Исходя из опыта конфигурирования других людей :)

но обычно его включают как раз через консольный кабель ?

но обычно его включают как раз через консольный кабель ?

Вообще, по хорошему. Через утилиту конфигруации должны найтись маки этих карточек. По факту их нет. Может тут конечно есть какие-то особенности вида: ибп должен работать только от сети.

с чего это маки должны быть, если карта ничего не шлёт?

По опыту с apc pdu могу сказать что без консоли карта управления молчит и ждёт когда ее настроят. Так что скорее всего без вариантов, ищи кабель... Ну или если ты из мск, заедь ко мне, отсыплю кабелек безвозмездно...