@devops_ru
Paul24.05.2016
14:51:06
14:51:06
Aleksey24.05.2016
14:52:03
14:52:03
вот есть подозрения еще на железо..
Timur24.05.2016
15:03:26
15:03:26
если железо плохое, что угодно может быть
GoogleAleksey24.05.2016
15:06:12
15:06:12
тогда опишу как воспроизводил проблему:
копировал rsync'ом по 1gbps openvz контейнер (много мелких файлов) на данный сервер с рейд1 (контроллер hp p212) и io начинает расти до 30 при мелких файлах, как только идут большие сразу все норм
ну и на очередном прогоне io пошел 60+ и кернел паник
Paul24.05.2016
15:06:48
15:06:48
на диск похоже. Вынуть и прогнать викторией можно?
Aleksey24.05.2016
15:08:53
15:08:53
мм попробуем, но мне сегодня к вечеру должны воткнуть туда новые сиагейтовские диски, посмотрим что будет.
Dmitrii24.05.2016
15:25:02
15:25:02
Диск или контроллер же :)
Roman24.05.2016
15:25:46
15:25:46
Диски то причем тут?
Paul24.05.2016
15:28:34
15:28:34
Диски то причем тут?
резкое падение производительности на рандоме - подозрение на проблемы с механикой и поиском дорожкиAleksey24.05.2016
15:29:39
15:29:39
про записи крыпных файлов все чики-пуки, да и всякие iozone3 показывают корректные показатели скорости.
Paul24.05.2016
15:31:06
15:31:06
про записи крыпных файлов все чики-пуки, да и всякие iozone3 показывают корректные показатели скорости.
вот отсюда и подозрение на проблемы механики. Очень характерный признак. Если наделать в диске дырок, отключить дефраг и повторить - поведение будет таким женаделать дырок == фрагментировать файлсистему
Roman24.05.2016
15:38:58
15:38:58
резкое падение производительности на рандоме - подозрение на проблемы с механикой и поиском дорожки
Больше на фрагменацию похожеБошки ездят по блинам собирая блоки файла
Paul24.05.2016
15:42:39
15:42:39
Больше на фрагменацию похоже
слишком резкий рост IO. Но можно проверить конечно. Отцепить диск, сделать FSCK, он должен выдать фрагментациюGoogleRoman24.05.2016
15:44:31
15:44:31
Aleksey24.05.2016
15:48:23
15:48:23
фс создавалась за пару дней до тестов и не использовалась.
все чеки фс и смарта проходили успешно, рейд контроллер тоже не видел проблем.
Robert24.05.2016
15:55:56
15:55:56
Mihail24.05.2016
16:25:37
16:25:37
А кто нибудь сталкивался: на mysql высокий system cpu time. Причём нагрузки на этот сервер нету. 15-20 запросов в минуту
Alex24.05.2016
16:29:10
16:29:10
Mihail24.05.2016
16:29:44
16:29:44
На диск там нет нагрузки, если вопрос об этом
Alex24.05.2016
16:33:40
16:33:40
а версия какая mysql ?
Mihail24.05.2016
16:34:04
16:34:04
Я даже нашёл комент на стаковерфлоу где людям помогло перезапуск ntp, но мне не помогло
Percona 5.7.11
Alex24.05.2016
16:34:45
16:34:45
а диск не заполнился случайно?
Alex24.05.2016
16:36:14
16:36:14
http://serverfault.com/a/686753
GoogleMihail24.05.2016
16:36:15
16:36:15
Лан, завтра на свежую голову подумаю
Alex24.05.2016
16:36:54
16:36:54
сорри, я убегаю. глянь ещё это
ну и MySQLTuner можно прогнать глянуть быстренько
Mihail24.05.2016
16:38:00
16:38:00
Гляну, я тоже уж не за компом
А, ну и у него там user cpu, а у меня system.
Dmitry24.05.2016
16:45:32
16:45:32
coreutils оперативно обновлись на баг с 2013 года https://bugzilla.redhat.com/show_bug.cgi?id=1001092
M24.05.2016
17:41:31
17:41:31
Nikita24.05.2016
17:43:43
17:43:43
Он не работал у меня, login screen не открывался, вываливался лог sytemd(как бы намекая, что уж в 16.04 он точно есть) и не работала сеть.
после этого он пропал у меня из списка дистрибутивов
Dmitrii24.05.2016
18:06:30
18:06:30
Вы когда нибудь видели access.log файл размером в 421 гигабайт?
Lev24.05.2016
18:07:25
18:07:25
Заливай!
Dmitrii24.05.2016
18:09:41
18:09:41
У меня просто тут достался "стейджинг" в наследство. Вот щас написали что "бля, что-то там вообще все перестало работать".
Dmitrii24.05.2016
18:09:45
18:09:45
Начал разбираться.
Dmitry24.05.2016
18:11:43
18:11:43
слово дня? городской штоле? ни разу не ел такого? :)
AdminERROR: S client not available
Dmitry24.05.2016
18:12:11
18:12:11
Aleserche24.05.2016
18:13:05
18:13:05
Одни Димы кругом
Dmitrii24.05.2016
18:13:18
18:13:18
@cadmi У тебя кстати неправильно транслитерировано имя.
GoogleDmitry24.05.2016
18:13:47
18:13:47
это твинки одного и того же :)
@cadmi У тебя кстати неправильно транслитерировано имя.
я правила транслитерации русских загранпаспортов шатал и вертел
MaximNikita24.05.2016
18:42:12
18:42:12
у вас прикольный бот
Dmitry24.05.2016
19:09:25
19:09:25
/proc/diskstats
https://www.kernel.org/doc/Documentation/iostats.txt
оно же - iostat из sysstat.
Mihail24.05.2016
19:11:21
19:11:21
ну в общем в любом случае это не диск
Dmitry24.05.2016
19:12:14
19:12:14
Вы когда нибудь видели access.log файл размером в 421 гигабайт?
я видел неправильно настроеный logrotate что сжимал уже .gz и добавлял циферкиDmitrii24.05.2016
19:13:10
19:13:10
При таких объемах логи в файлах - преступление)
Dmitry24.05.2016
19:13:38
19:13:38
логи для трусов!
Dmitrii24.05.2016
19:32:49
19:32:49
Dmitriy Leshev если кто не запомнил.
Dmitriy24.05.2016
19:33:00
19:33:00
Ок, спасибо
Roman24.05.2016
19:57:50
19:57:50
а что показатель? я уже чет в тупике
Как уже сказали: iostat. А iotop покажет среднее по больнице в мб/с
ptchol24.05.2016
20:03:13
20:03:13
Вы когда нибудь видели access.log файл размером в 421 гигабайт?
а мне не доставался я сам сделал за выходные на 400 с копейками тоже )
Открыть в Telegram