Nik
и они одинаково прогреты?
Alexzander
Гыг, звучит как " ты с какова раёна "))
Алексей
Меня не интересуют демо, меня интересует реальный софт Конкретный пример грэйлог эластик 2 грэйлога 3 ноды эластика Это публично, второй пример, сорри, биддер для ртб, публично не получится затестить
Alex
Поделись знаниями, если скорость работы сравняется с меня 12 летний вискарь Если нет, с тебя
Если скинешь репо с минималистичным примером тестов, то смогу проверить завтра и попытаться доказать что дело не в докере или найти проблему
Алексей
Алексей, не синтетика Реальные сервисы Которые парсят, индексируют, в базу кладут, еще раньше индексируют
Алексей
Простой кэйс, нарисуй в контэйнерах схему грэйлог кушает 100 к сообщений в секунду тоесть 200 мегабит логов
Alex
Ну ты можешь внятно сказать где просадки? Диск, цп, сеть?
Алексей
Делезо 40 cpu, 96 g память 3 ssd Сеть 10g
Alexzander
Dpdk? Хотя 200мегаБИТ логов это оочень мало
Алексей
Нигде, все остается в запасе
Алексей
Dpdk? Хотя 200мегаБИТ логов это оочень мало
Я не сталкивался, кинь ссылки чего хорошего почитать по этой теме плиз
Alex
Ну тогда 90% на то что разница в разнице настроек систем, эластика если проблема в скорости сохранения
Alex
Грейлога если проблема в приеме и обработке
Алексей
Конфиг в обоих вариантах везде одинаковый
Alex
Ну и по дискам интересно услышать как настроено, проброшен вольюм на хост? Какая фс?
Alexzander
Не знаю что скинуть, ну например https://m.habr.com/ru/company/intel/blog/302126/
Alex
Фс хоста и докера совпадает?
Алексей
ext4 хост путь
Алексей
Да
Alex
Тормозит сохранение или прием и обработка?
Etki
Не знаю что скинуть, ну например https://m.habr.com/ru/company/intel/blog/302126/
я наглухо испорчен, но > Чтобы добиться работы на ожидаемом уровне производительности при скорости канала 10 Гбит/с и размере пакета в 84 байта, процессор должен обрабатывать 14,88 миллиона пакетов в секунду.
Alex
Тесты проходят на одной и той же машине надеюсь?
Алексей
Да Виртуалки те же самые
Alex
Тормозит сохранение или прием и обработка?
Alexzander
На квм и на авс и на виртуалбоксе, как минимум, работает быстрее
Etki
И?:)
ты не испорчен
Alexzander
Ну есть у меня проект, где оно используется
Alex
Если сэйв тормозит то грейлог скорее всего можно отмести и смотреть детальный мониторинг эластика, логи и статы
Etki
я же правильно понимаю, что в любом случае dpdk это не drop-in, а только библиотека, которую самому надо вкомпиливать куда надо?
Алексей
А можно практический пример использования dpdk В любом случае если это kvm то без специфического железа и доп приседаний больше 3 4 гибабит на виртуалку сложно получить
Alexzander
Посмотри лучше лог схд, сети и еще что у вас там используется
Алексей
Смотри Схд Сеть Все внешнее и настройки Одинаковое Только способ запуска разный
Alex
Что тормозит то
Alex
Грейлог
Alex
Или эластик
Alex
Где затуп?
Etki
Alex
Это видно в админке грейлога
Alex
Они оба джава
Alex
Насколько помню
Алексей
Ну у меня в оверлэе поверх 10 есть 10 на железе И 4 на виртуалках
Алексей
Просто vxlan bgp
Alex
То докер тормозит, то джава)) скажите грейлог или эластик хотя бы
Alex
Логи же пишете
Alex
Где там проседает то?
Алексей
Теряем
Алексей
Вернее теряли
Alex
Что теряете???
Алексей
Логи
Alex
В какой момент, до грейлога не долетали??
Alex
У него ж там очередь с большим буфером
Алексей
rsyslog дает 80к graylog обрабатывал 60
Etki
У него ж там очередь с большим буфером
что ты делаешь, он же у тебя сейчас переключится на большие буфера
Алексей
Ну а когда он переполнится Что произойдет?
Alex
Ну грейлог почему не обрабатывал, ждал сэйва или просто медленно декодил?
Алексей
Просто медленно
Alex
Значит буфер не копился?
Alex
Сохраняться успевалось, так?
Алексей
Копились, не успевали
Алексей
Или успевали сохраняться но вход и процес переплнееный
Alex
Так все таки так быстро что не сохранялось или так медленно, что не успевал принять?
Alex
Или черт его знает?
Алексей
Стукни в понедельник в личку, твоя любознательность достойна ответов
Алексей
Щас поздно, отдыхать
Alex
Щас поздно, отдыхать
Оке, надеюсь будет время
Etki
Вы будете смеяться, но. Полчаса мой ноутбук пыхтел над примитивнейшим бенчмарком, на хосте и в контейнере, один и тот же байткод в одной и той же версии jvm с ubuntu 18.04 внутри и снаружи и, конечно, одним и тем же ядром. Сисколлов внутри быть не должно. И так вот, один из бенчмарков просел где-то на 8% ☺️ # host Benchmark (N) Mode Cnt Score Error Units BenchmarkLoop.loopFor 10000000 avgt 10 70.853 ± 2.629 ms/op BenchmarkLoop.loopForEach 10000000 avgt 10 77.215 ± 0.536 ms/op BenchmarkLoop.loopIterator 10000000 avgt 10 76.019 ± 1.723 ms/op BenchmarkLoop.loopWhile 10000000 avgt 10 70.807 ± 0.192 ms/op # docker Benchmark (N) Mode Cnt Score Error Units BenchmarkLoop.loopFor 10000000 avgt 10 70.323 ? 0.321 ms/op BenchmarkLoop.loopForEach 10000000 avgt 10 78.054 ? 6.171 ms/op BenchmarkLoop.loopIterator 10000000 avgt 10 82.023 ? 0.547 ms/op # << bad boye BenchmarkLoop.loopWhile 10000000 avgt 10 70.601 ? 0.542 ms/op https://gist.github.com/etki/12624c56202855043c4d1cb9d97daaa0 Завтра, если не будет лень, погоняю на свежесозданном сервере
Й
Котаны, а кто истио уже помучал и по граблям походил? Мы тут решили его попробовать и напоролись на один баг: +1с ко времени запроса летящего от пхп в бд (тестовый стенд: истио-gw-->нджинкс-->пхп-->мускуль) phpinfo() отдается мгновенно. При этом если запустить тцпдамп в контейнере с мускулем, то видно как пакеты прилетают ровно через секунду после отправки запроса. Чет сдается мне это известная проблема?!
Й
Ясчитаю проблема с энвоем, но пока не совсем понимаю что и где нужно покрутить
Sergey
Спасибо кэп)
ну так в чем вопрос
Й
ну так в чем вопрос
Перечитайте мое предыдущее сообщение)
Sergey
вопрос не поменяется, да проблема известная, цифры - сугубо индивидуальные, с чем это может бтьы связано - то информации уйма, сиди и разберайся
Й
Ну емаё! Ну не знаете - так и скажите, я не знаю, или молчите, так даже лучше) Смысл впустую сотрясать воздух? Пользы от ваших 3 сообщений "0"