@freebsd_ru

Страница 374 из 669
Anton
17.02.2018
20:24:19
а остальные sysctl на обоих серверах одинаково менялись, (если менялись)? в целом похоже на какой то баг в ядре... можно еще попробовать до 128k поднять буфера для raw сокетов, но вряд ли поможет.

Vladislav
17.02.2018
20:26:13
и сравнить netstat -m

Google
Misak
17.02.2018
20:29:44
и сравнить netstat -m
там тоже более-менее одинаково

Vladislav
17.02.2018
20:30:09
а покажите с проблемной машины

Misak
17.02.2018
20:30:22
это дублирующие друг друга машины - рутеры в двух разных дц

а покажите с проблемной машины
# netstat -m 3179/8461/11640 mbufs in use (current/cache/total) 3076/4024/7100/524288 mbuf clusters in use (current/cache/total/max) 3076/4008 mbuf+clusters out of packet secondary zone in use (current/cache) 0/182/182/126182 4k (page size) jumbo clusters in use (current/cache/total/max) 0/0/0/37387 9k jumbo clusters in use (current/cache/total/max) 0/0/0/21030 16k jumbo clusters in use (current/cache/total/max) 6946K/10891K/17838K bytes allocated to network (current/cache/total) 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters) 0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters) 0/0/0 requests for jumbo clusters delayed (4k/9k/16k) 0/0/0 requests for jumbo clusters denied (4k/9k/16k) 0 requests for sfbufs denied 0 requests for sfbufs delayed 0 requests for I/O initiated by sendfile

Anton
17.02.2018
20:30:44
а остальные setkey команды работают (e.g. setkey -D)?

Misak
17.02.2018
20:31:00
так что старались все одинаковые сделать

а остальные setkey команды работают (e.g. setkey -D)?
-DP нормально, -D на обоих с половины вываливается

recv: Resource temporarily unavailable

а вот на проблемной, все остальные команды - flush, установка политик, и т. д. тоже ругаются на буферы

при этом туннели в ап е большую часть времени, просто весь лог засран

Anton
17.02.2018
20:33:32
а в netstat -s нет ничего про ipsec or pfkey? (у меня под рукой нет хоста с ipsec чтобы проверить)

Misak
17.02.2018
20:37:20
а в netstat -s нет ничего про ipsec or pfkey? (у меня под рукой нет хоста с ipsec чтобы проверить)
есть, причем ни одной ошибки, кроме 1270863 messages toward single socket 1046957 messages toward all sockets 6000458 messages toward registered sockets 1157215 messages with memory allocation failure

на работающей, которая по аптайму гораздо дольше: 233932 messages toward single socket 628 messages toward all sockets 7291356 messages toward registered sockets 232453 messages with memory allocation failure

Google
Anton
17.02.2018
20:38:58
1. судя по ману можно смотреть непосредственно netstat -s -p pfkey растут ли ошибки messages with memory allocation failure при запуске setkey?

можно сбросить статистику и запустить setkey что то типа sudo netstat -s -p pfkey -z; setkey -x ; netstat -s -p pfkey

и кстати к чему относятся эти allocation failure - к input или output?

Anton
17.02.2018
20:44:36
а как полностью выглядит вывод netstat -s -p pfkey (лучше наверно на pastebin кинуть чтобы чат не засорять)?

Anton
17.02.2018
20:48:26
насколько я вижу единственно место где счетчик out_nomem увеличивается тут: http://fxr.watson.org/fxr/source/netipsec/keysock.c?v=FREEBSD11#L110 осталось разобраться из за чего...

Misak
17.02.2018
20:49:12
началось 28-го января, последний раз ядро апгрейдил в сентябре по моему

на обоих

Anton
17.02.2018
20:51:08
хм. если в ядре нет явного бага то проблема может быть в сильно фрагментации ядерной памяти. Платформа кстати amd64?

Misak
17.02.2018
20:52:30
10.4-RELEASE-p1 FreeBSD 10.4-RELEASE-p1 #0: Mon Oct 30 21:13:49 +04 2017 ran@ххх:/usr/obj/usr/src/sys/RTR amd64

а как может память после перезагрузки сразу фрагментироваться?

да, причем у меня еще одна машина на 10.3 тоже в этой ситуации

в общем 4 машины, у 3 трех все плохо, но одна нормально

просто эти две считай одинаковые

Anton
17.02.2018
21:00:08
сразу после перезагрузки память не фрагментирована идеи пока закончились

Misak
17.02.2018
21:02:24
спасибо огромное в любом случае!

я тоже пойду спать, буду уже завтра мучать

Google
Anton
17.02.2018
21:05:06
я тоже пойду спать, буду уже завтра мучать
я рекомендую написать в freebsd-net@ указав на то что растет счетчик messages with memory allocation failure в netstat -s -p pfkey там несколько больше шансов что ответят чем тут.

Olexande
18.02.2018
19:38:05
Доброго! puppet кто-то использует? На днях PostgreSQL рыпнулся поставить, написало, что FreeBSD не поддерживается "рецептом" ...

Или я "неудачно" рецепт методом тыка выбрал?..

Alexandr
19.02.2018
07:23:26
вроде написано с чем работает

ну и в целом, как я понял, папет факультативно работает на фре

Olexande
19.02.2018
07:31:49
Что-то порекомендуете из альтернатив? Пока к puppet'у "не сильно завязался"...

Puppet "сильно распиарен", как 1н из первых проектов.

Alexandr
19.02.2018
07:41:33
Puppet "сильно распиарен", как 1н из первых проектов.
Puppet/Ansible/Chef но есть мнение что ситуация везде примерно одинаковая.

Вот такая http://joxi.net/4Ak35VMCyZ9g4A.png

Olexande
19.02.2018
09:53:55
Что имеется в виду? Не совсем понял ...

Alexandr
19.02.2018
10:23:20
Что имеется в виду? Не совсем понял ...
что рынок мал и поддержка у коммерческих продуктов будет так себе.

Olexande
19.02.2018
10:24:17
ясн.

Dmitry
19.02.2018
10:37:36
просто обычно админы FreeBSD хостингов догадываются убирать из заголовков http ответов упоминание об операционке

ну и замаскировывать fingerprint системы

Konstantin
19.02.2018
10:40:12
зачем вообще писать операционку?

Alexandr
19.02.2018
10:46:14
просто обычно админы FreeBSD хостингов догадываются убирать из заголовков http ответов упоминание об операционке
Не спорю. Но итога это не сильно меняет. Докер вроде тоже там как-то вроде работает.

Dmitry
19.02.2018
10:46:42
ага, засилие LAMP

и каждый может почуствовать себя админом :)

Google
Andrey
19.02.2018
11:12:23
Dmitry
19.02.2018
11:14:38
грустно, когда "мерилом" операционки, становится "наличие utf-8 в консоли" и "нескучные обои"

ну вот в консоли Windows - cp1251 а не utf8, и ничего, все привыкли

Andrey
19.02.2018
11:16:23
ой... слушай, ну вот если без пафоса то это ничуть не меньшая часть чем сисколы ;) да даже, как показала практика, тупо на халяву раздать дисков и то дело

Olexande
19.02.2018
11:16:27
иногда "новые обои" вызывает столько гордости, что объявляли своей ОС :) ;)

Kiril
19.02.2018
11:24:55
Что-то порекомендуете из альтернатив? Пока к puppet'у "не сильно завязался"...
Ansible можно, вот у них даже про BSD поддержку написано http://docs.ansible.com/ansible/latest/intro_bsd.html#bsd-efforts-and-contributions

Dmitry
19.02.2018
11:39:09
ага, написано

Admin


Dmitry
19.02.2018
11:39:25
BSD support is important to us at Ansible. Even though the majority of our contributors use and target Linux we have an active BSD community and strive to be as BSD friendly as possible. Please feel free to report any issues or incompatibilities you discover with BSD; pull requests with an included fix are also welcome!

Ваш звонок очень важен для нас. Оставайтесь на линии.

Kiril
19.02.2018
11:49:10
Ахахаха

Andrey
19.02.2018
12:27:45
https://twitter.com/MiodVallat/status/965277916522303488

Olexande
19.02.2018
12:29:35
ага, написано
puppet тоже на Free ставится, только "не самописный рецепт" - не поддерживает систему ...

aborche
19.02.2018
15:15:56
парни, а сколько интересно сейчас стоит подержать на оборудовании оператора Full BGP View для PI ?

Andrey
19.02.2018
15:20:24
ты сначала ещё найди кто тебе нынче PI даст :)

aborche
19.02.2018
15:23:20
да вроде как продают

погуглил

Aleksey
19.02.2018
16:32:34
да вроде как продают
Перекупы не тру

Anton
19.02.2018
16:32:36
парни, а сколько интересно сейчас стоит подержать на оборудовании оператора Full BGP View для PI ?
Сколько стоит что именно? Если ты платишь апстриму за канал и анонс твоего префикса, то за full view вряд ли попросят дополнительных денег. Сколько стоит оборудование на котором ты сможешь держать full view зависит от трафика. Наличие full view главным образом означает что ты не смжешь использовать L3 switch - нужен именно маршрутизатор (или сервак с bsd/linux если трафик не очень большой).

Fro
19.02.2018
16:48:55
ты сначала ещё найди кто тебе нынче PI даст :)
На Наге много кто продаёт, у нас /22, но мы хотим ещё брать

Google
Andrey
19.02.2018
16:49:33
берите /32 на халяву и не мучьтесь ;)

Fro
19.02.2018
16:50:18
Я ещё думаю в сторону cg-nat)

Ilya
19.02.2018
16:56:05
Я бы тоже /22 прикупил

Nikita
19.02.2018
17:22:18
Речь про v4?

Fro
19.02.2018
17:33:12
Ага

aborche
19.02.2018
17:46:14
Сколько стоит что именно? Если ты платишь апстриму за канал и анонс твоего префикса, то за full view вряд ли попросят дополнительных денег. Сколько стоит оборудование на котором ты сможешь держать full view зависит от трафика. Наличие full view главным образом означает что ты не смжешь использовать L3 switch - нужен именно маршрутизатор (или сервак с bsd/linux если трафик не очень большой).
Короче ситуация такова: Есть сервис которому нужно обеспечить постоянную связку dns-ip. В сервис ходят тупые девайсы и зачастую из закрытых наглухо на выход сетей, читай аналог офд/егаис. Посему из этих сетей прорублена обычно одна дыра в fw, которая прибита гвоздями. Вариантов несколько: - купить HA точку приёма трафика и выгонять трафик по операторским сетям до цода . Но получаешься привязан к точке приёма трафика. Если захочешь уехать, то вряд-ли получится. - купить блок адресов и настроить bgp анонсы с парой провайдеров. Но нужен цод и каналы связи для терминации трафика. Если размещаешься в цоде, то становишься зависимым от его подключения к внешнему миру и от дяди Васи с экскаватором и дяди Пети с кусачками в виде электрика. Прокидывать трафик через транспортных операторов некуда. Северной своей нет, ставить железо некуда, плюс в здании постоянные проблемы с электропитанием. Посему пытаюсь найти оптимальный вариант.

Отказ сервиса доступа = отказу обслуживания много чего

Andrey
19.02.2018
17:48:59
открою большую тайну, у многих цод резервирование канала, намного лучше чем ты обеспечишь за вменяемые деньги ;)

Aleksey
19.02.2018
17:49:03
Ну 1в1 как мы строили для Zyxel российского, сняли на двух площадках европейский по семь машин, построили там свой HA v4/v6 статику, но девайсы знали про разные адреса и все жжужит до сих пор очень кварашо

Andrey
19.02.2018
17:49:08
ну если цод не подвальный

Anton
19.02.2018
17:50:03
думаю что зависит от того насколько дорого в случае чего поменять ip сервера в настройках тупых железок. купить PI блок и платить двум операторам которые будут его анонсировать не очень бюджетно в случае v4.

aborche
19.02.2018
17:51:25
открою большую тайну, у многих цод резервирование канала, намного лучше чем ты обеспечишь за вменяемые деньги ;)
Головой понимаю, но руководство хочет отчасти быть независимым от тех кто предоставляет сервис хостинга или коло

Aleksey
19.02.2018
17:51:38
Не вижу смысла для этой задачи свой блок таскать, совсем, в конце концов можно взять аренду серверную в разных ЦОДах географически одного оператора, с договором о том, что они сами проанансируют и прогонят в случае аварии нужный префикс по географии в целом, это прям в порядке дешевле, надежней и проще

Vadim
19.02.2018
17:52:05
о, юрекс

Aleksey
19.02.2018
17:52:33
Головой понимаю, но руководство хочет отчасти быть независимым от тех кто предоставляет сервис хостинга или коло
Руководству надо пояснить, что хостинг!=коло и тем более != аренда на котором свое решение построить можно

о, юрекс
Нуклайт, кукусики

Страница 374 из 669