и что?

ОМАГАД ЕСТЬ ПЛАТНАЯ ВЕРСИЯ?

ну еслине покупать естетсвенна...

это ты так нот верифай прочитал

Ни кто вмменеджер (от isp) с их сетевым lvm не использует?

Ты в хостинг паблик напиши, там представители ISP есть

Да мне представители какраз в данном случае не особо интересны. Мне более интересно то что под капотом и может кто реально с этим копался.

Почему могут тупить виртуалки по диску в проксе с цефом? Сделал нагрузочный тест цефа, как видно он может гораздо больше чем обычная нагрузка. Но вм тупят. Writeback для вм включен. Может это virtio scsi?

Почему могут тупить виртуалки по диску в проксе с цефом? Сделал нагрузочный тест цефа, как видно он может гораздо больше чем обычная нагрузка. Но вм тупят. Writeback для вм включен. Может это virtio scsi?

сделай none и virtio

сделай none и virtio

Пробовал, без изменений

А ты уверен что забба правильно считает?

ceph -s и прокс подтверждают это

Понятно

а если фио из виртуалки посмотреть?

результаты похожи?

результаты похожи?

Похожи, иопсы разделились по всем нагрузочным вм

дело не в латенси цефа тогда случайно?

иопсы то совпадают

что в виртуалках, которые тормозят? базы?

что в виртуалках, которые тормозят? базы?

Разная фингя, есть виртуалка которая логи пишет в 100 MB/s. В ней вроде все ок. А есть виртуалки которые почти ничего не пишут, но тупят

А если небольшая база то что, смерть?

Причем часто тупит чтение, а не запись.

А ты ребутать виртуалки пробовал?

и еще вопрос, у тебя виртуалки с одинаковым аптаймом?

Ну типа включил гипервизоры и все виртуалки загурзились

и еще вопрос, у тебя виртуалки с одинаковым аптаймом?

С разным, пробовал ребутать

У меня была такая хуйня в ovirt, что вируталки когда стартовал кластер(после проф остановки), все вм тупили пока в память не ушли

Разная фингя, есть виртуалка которая логи пишет в 100 MB/s. В ней вроде все ок. А есть виртуалки которые почти ничего не пишут, но тупят

а что общего у виртуалок, которые тупят (гиперы, осд рбд дисков и пр) ?

Разная фингя, есть виртуалка которая логи пишет в 100 MB/s. В ней вроде все ок. А есть виртуалки которые почти ничего не пишут, но тупят

тебе скорее к ребятам в цеф канал. что-то мне кажется, что вот такая мелкая рендомная запись - это не ок для цефа, и такое закрывается или кешами, или ссд на его стороне

Потом стало норм

тебе скорее к ребятам в цеф канал. что-то мне кажется, что вот такая мелкая рендомная запись - это не ок для цефа, и такое закрывается или кешами, или ссд на его стороне

и чтение

тебе скорее к ребятам в цеф канал. что-то мне кажется, что вот такая мелкая рендомная запись - это не ок для цефа, и такое закрывается или кешами, или ссд на его стороне

Ребят из цеф канала отправили сюда, потому что с цефом все ок

хаха

а что общего у виртуалок, которые тупят (гиперы, осд рбд дисков и пр) ?

Нет такого что какие-то прямо тупят. В целом все немного подтупливают. Кто-то больше, кто-то меньше

тебе скорее к ребятам в цеф канал. что-то мне кажется, что вот такая мелкая рендомная запись - это не ок для цефа, и такое закрывается или кешами, или ссд на его стороне

с цефом вроде разобрались

а что общего у виртуалок, которые тупят (гиперы, осд рбд дисков и пр) ?

например то, что хостовая память

Нет такого что какие-то прямо тупят. В целом все немного подтупливают. Кто-то больше, кто-то меньше

а что значит подтупливают? опиши свою конфигурацию (сколько гиперов, конфигурацию гиперов, сколько осд нод и пр)

Нет такого что какие-то прямо тупят. В целом все немного подтупливают. Кто-то больше, кто-то меньше

кстати ради интереса. вот на тех виртуалках, которые подтупливают, снять латенси

с цефом вроде разобрались

Я боюсь в сеф конфу заходить там тысяча с хуем сообщений, прочитать времени нет

Вдруг чего дельного было

Я боюсь в сеф конфу заходить там тысяча с хуем сообщений, прочитать времени нет

В данный момент мы пытаемся выяснить какая из черепашек пиздит)

Судя по всему драйвер виртуалки

В данный момент мы пытаемся выяснить какая из черепашек пиздит)

зеленая же

Судя по всему драйвер виртуалки

О_о

а что значит подтупливают? опиши свою конфигурацию (сколько гиперов, конфигурацию гиперов, сколько осд нод и пр)

5 нод - 5 гипервизоров, E5-2650 v4, 512 RAM. 8 HDD и система на SSD

5 нод - 5 гипервизоров, E5-2650 v4, 512 RAM. 8 HDD и система на SSD

и цеф на тех же нодах, что и гипервизоры?

Да

Так себе реализация(

В данный момент мы пытаемся выяснить какая из черепашек пиздит)

а техническое описание подтупливания там не пролетало? )

Нагрузки на процы нет, по памяти тоже

а техническое описание подтупливания там не пролетало? )

не знаю, мы прочекали цеф, он ок

Нагрузки на процы нет, по памяти тоже

сеть?

сеть?

джамбо блядь

фреймы

мать е го

джамбо блядь

И хули? Джамбо может быть выключен на свиче и хуй там какой джамбо пройдет

?

И хули? Джамбо может быть выключен на свиче и хуй там какой джамбо пройдет

вот я и говорю - проверить

2 lacp 10G, под цеф и под мир

))

2 lacp 10G, под цеф и под мир

jumbo

вот я и говорю - проверить

ааа

ждумбы включены, очереди увеличены

ждумбы включены, очереди увеличены

sysctl ковырлся?

кхм

Кидай сюда

sysctl ковырлся?

Да, сек

kernel.pid_max = 4194303 vm.swappiness = 0 # net.core.rmem_default = 8388608 net.core.rmem_max = 33554432 net.core.wmem_default = 8388608 net.core.wmem_max = 16777216 net.core.netdev_max_backlog = 2000 net.core.somaxconn = 65535 # net.ipv4.conf.all.accept_local = 1 net.ipv4.icmp_echo_ignore_broadcasts = 0 net.ipv4.udp_mem = 8388608 12582912 16777216 net.ipv4.tcp_wmem = 4096 4194394 16777216 net.ipv4.tcp_window_scaling = 1 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_max_syn_backlog = 262144 net.ipv4.tcp_sack = 1 net.ipv4.tcp_no_metrics_save = 1 net.ipv4.tcp_moderate_rcvbuf = 1 net.ipv4.tcp_congestion_control = htcp net.ipv4.igmp_max_memberships = 200 net.ipv4.ip_local_port_range = 10000 65535 net.ipv4.tcp_max_tw_buckets = 720000 net.ipv4.tcp_timestamps = 0 net.ipv4.tcp_tw_reuse = 0 net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_keepalive_time = 120

Джумбы работают, проверял

Джумбы работают, проверял

пингом?

Да, с донт фрагмент

Угу, ну вроде норм все..

post-up /sbin/ethtool -G ens786f0 rx 4096 tx 4096 post-up /sbin/ifconfig ens786f0 txqueuelen 10000

на всех интерфейсах

ulimit -a

даже интересно стало. а латенси смотрел до всей этой фигни и после?

даже интересно стало. а латенси смотрел до всей этой фигни и после?

Нет, просто всегда 10G так настраиваю

Был опыт мультикаста в 7 Gb/s

Тормоза сложно объяснить, если что-то копировать то вроде все и ок. Но в целом есть ощущение старого компа с дохлым диском

Эм.. а кинь конфиг xml виртуалки которая тормозит

Тот же yum update ооочень долго работает

Тот же yum update ооочень долго работает

На этапе приема данных? или установки пакетов?

Может у тебя сетка лагает в вм

или выбран не тот цп в госте

bootdisk: scsi0 cores: 4 ide2: none,media=cdrom memory: 8192 name: hw-monitor net0: virtio=52:54:00:31:2C:3C,bridge=vmbr0,tag=17 numa: 0 ostype: l26 scsi0: ceph_vm:vm-106-disk-1,cache=writeback,discard=on,size=200G scsihw: virtio-scsi-pci smbios1: uuid=0a544fe1-d7ca-4110-b522-bcdbe3635bec sockets: 2

Кстати сеть внутри вм не тестил, ща гляну

virtio-scsi-pci - это шо?

смени драйвер попробуй

Может в discard/trim проблема?

Все это пробовал - не помогает

а гипервизор какой? и какая гостевая?

Все это пробовал - не помогает

драйвер менял?

Да

Тот же yum update ооочень долго работает

А что iostat показывает при запуске yum update?

А что iostat показывает при запуске yum update?

RjyКончились виртуалки для апдейта, позже установлю и гляну

Между виртуалками 4 Gb/s