Aleksey
тогда опишу как воспроизводил проблему:
копировал rsync'ом по 1gbps openvz контейнер (много мелких файлов) на данный сервер с рейд1 (контроллер hp p212) и io начинает расти до 30 при мелких файлах, как только идут большие сразу все норм
Aleksey
ну и на очередном прогоне io пошел 60+ и кернел паник
Logan
на диск похоже. Вынуть и прогнать викторией можно?
Aleksey
мм попробуем, но мне сегодня к вечеру должны воткнуть туда новые сиагейтовские диски, посмотрим что будет.
Dmitry
Диск или контроллер же :)
Roman
Диски то причем тут?
Logan
Диски то причем тут?
резкое падение производительности на рандоме - подозрение на проблемы с механикой и поиском дорожки
Aleksey
про записи крыпных файлов все чики-пуки, да и всякие iozone3 показывают корректные показатели скорости.
Logan
про записи крыпных файлов все чики-пуки, да и всякие iozone3 показывают корректные показатели скорости.
вот отсюда и подозрение на проблемы механики. Очень характерный признак. Если наделать в диске дырок, отключить дефраг и повторить - поведение будет таким же
Logan
наделать дырок == фрагментировать файлсистему
Roman
резкое падение производительности на рандоме - подозрение на проблемы с механикой и поиском дорожки
Больше на фрагменацию похоже
Roman
Бошки ездят по блинам собирая блоки файла
Logan
Больше на фрагменацию похоже
слишком резкий рост IO. Но можно проверить конечно. Отцепить диск, сделать FSCK, он должен выдать фрагментацию
Roman
Aleksey
фс создавалась за пару дней до тестов и не использовалась.
все чеки фс и смарта проходили успешно, рейд контроллер тоже не видел проблем.
Mikhail
Aleksey
как вы угадали?)
Aleksey
типо таких TOSHIBA DT01ACA200
Mihail
А кто нибудь сталкивался: на mysql высокий system cpu time. Причём нагрузки на этот сервер нету. 15-20 запросов в минуту
Alex
Mihail
На диск там нет нагрузки, если вопрос об этом
Alex
в логах чисто?
Alex
show processlist; ничего не лочится?
Mihail
В логах чисто
Mihail
Ничего не лочится
Mihail
Магия
Alex
а версия какая mysql ?
Mihail
Я даже нашёл комент на стаковерфлоу где людям помогло перезапуск ntp, но мне не помогло
Mihail
Percona 5.7.11
Alex
а диск не заполнился случайно?
Mihail
Нет
Mihail
Диск я сразу проверял
Alex
http://serverfault.com/a/686753
Mihail
Лан, завтра на свежую голову подумаю
Alex
сорри, я убегаю. глянь ещё это
Alex
ну и MySQLTuner можно прогнать глянуть быстренько
Mihail
Гляну, я тоже уж не за компом
Mihail
А, ну и у него там user cpu, а у меня system.
Dmitry
coreutils оперативно обновлись на баг с 2013 года https://bugzilla.redhat.com/show_bug.cgi?id=1001092
M
Nikita
Он не работал у меня, login screen не открывался, вываливался лог sytemd(как бы намекая, что уж в 16.04 он точно есть) и не работала сеть.
Nikita
после этого он пропал у меня из списка дистрибутивов
Dmitrii
Вы когда нибудь видели access.log файл размером в 421 гигабайт?
Lev
Заливай!
Dmitrii
У меня просто тут достался "стейджинг" в наследство. Вот щас написали что "бля, что-то там вообще все перестало работать".
Dmitrii
Начал разбираться.
Dmitry
слово дня? городской штоле? ни разу не ел такого? :)
Dmitry
Вы когда нибудь видели access.log файл размером в 421 гигабайт?
видел 900, тоже "достался"
Aleserche
Одни Димы кругом
Dmitrii
@cadmi У тебя кстати неправильно транслитерировано имя.
Dmitry
это твинки одного и того же :)
Dmitry
@cadmi У тебя кстати неправильно транслитерировано имя.
я правила транслитерации русских загранпаспортов шатал и вертел
Nikita
у вас прикольный бот
Dmitry
/proc/diskstats
Dmitry
https://www.kernel.org/doc/Documentation/iostats.txt
Dmitry
оно же - iostat из sysstat.
Mihail
ну в общем в любом случае это не диск
Dmitry
Вы когда нибудь видели access.log файл размером в 421 гигабайт?
я видел неправильно настроеный logrotate что сжимал уже .gz и добавлял циферки
Mihail
о ) такое у меня было
Mihail
я сделал сжимать mail.*
Dmitry
При таких объемах логи в файлах - преступление)
Dmitry
логи для трусов!
Dmitrii
Dmitriy Leshev если кто не запомнил.
Dmitriy
Ок, спасибо
Roman
а что показатель? я уже чет в тупике
Как уже сказали: iostat. А iotop покажет среднее по больнице в мб/с
Denis
Вы когда нибудь видели access.log файл размером в 421 гигабайт?
а мне не доставался я сам сделал за выходные на 400 с копейками тоже )
Nikita
Alex
Правда, в непожатом виде
Denis
так бывает
Anonymous
я видел мертвые сервера
Denis
ошибаешься ты в конфиге логстеша,и он эвенты кривенько процессит, и в лог сваливает ворнинг целиком с мессаджем.
Anonymous
у которых /var не вынесен просто
Anonymous
и соответственно все забито логами
Anonymous
и ничего не работает
Anonymous
потому что получается / забит
Denis
ну обычно это не мешает залогинится под рутом