Misak
17.02.2018
20:18:03
Anton
17.02.2018
20:24:19
а остальные sysctl на обоих серверах одинаково менялись, (если менялись)?
в целом похоже на какой то баг в ядре...
можно еще попробовать до 128k поднять буфера для raw сокетов, но вряд ли поможет.
Vladislav
17.02.2018
20:26:13
и
сравнить netstat -m
Misak
17.02.2018
20:28:11
Google
Misak
17.02.2018
20:29:44
Vladislav
17.02.2018
20:30:09
а покажите с проблемной машины
Misak
17.02.2018
20:30:22
это дублирующие друг друга машины - рутеры в двух разных дц
а покажите с проблемной машины
# netstat -m
3179/8461/11640 mbufs in use (current/cache/total)
3076/4024/7100/524288 mbuf clusters in use (current/cache/total/max)
3076/4008 mbuf+clusters out of packet secondary zone in use (current/cache)
0/182/182/126182 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/37387 9k jumbo clusters in use (current/cache/total/max)
0/0/0/21030 16k jumbo clusters in use (current/cache/total/max)
6946K/10891K/17838K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for mbufs delayed (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters delayed (4k/9k/16k)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
Anton
17.02.2018
20:30:44
а остальные setkey команды работают (e.g. setkey -D)?
Misak
17.02.2018
20:31:00
так что старались все одинаковые сделать
recv: Resource temporarily unavailable
а вот на проблемной, все остальные команды - flush, установка политик, и т. д. тоже ругаются на буферы
при этом туннели в ап е большую часть времени, просто весь лог засран
Anton
17.02.2018
20:33:32
а в netstat -s нет ничего про ipsec or pfkey? (у меня под рукой нет хоста с ipsec чтобы проверить)
Misak
17.02.2018
20:37:20
на работающей, которая по аптайму гораздо дольше:
233932 messages toward single socket
628 messages toward all sockets
7291356 messages toward registered sockets
232453 messages with memory allocation failure
Google
Anton
17.02.2018
20:38:58
1. судя по ману можно смотреть непосредственно netstat -s -p pfkey
растут ли ошибки messages with memory allocation failure при запуске setkey?
можно сбросить статистику и запустить setkey что то типа
sudo netstat -s -p pfkey -z; setkey -x ; netstat -s -p pfkey
и кстати к чему относятся эти allocation failure - к input или output?
Misak
17.02.2018
20:42:36
Anton
17.02.2018
20:44:36
а как полностью выглядит вывод netstat -s -p pfkey (лучше наверно на pastebin кинуть чтобы чат не засорять)?
Misak
17.02.2018
20:45:15
Anton
17.02.2018
20:48:26
насколько я вижу единственно место где счетчик out_nomem увеличивается тут: http://fxr.watson.org/fxr/source/netipsec/keysock.c?v=FREEBSD11#L110 осталось разобраться из за чего...
Misak
17.02.2018
20:49:12
началось 28-го января, последний раз ядро апгрейдил в сентябре по моему
на обоих
Anton
17.02.2018
20:51:08
хм. если в ядре нет явного бага то проблема может быть в сильно фрагментации ядерной памяти. Платформа кстати amd64?
Misak
17.02.2018
20:52:30
10.4-RELEASE-p1 FreeBSD 10.4-RELEASE-p1 #0: Mon Oct 30 21:13:49 +04 2017 ran@ххх:/usr/obj/usr/src/sys/RTR amd64
а как может память после перезагрузки сразу фрагментироваться?
да, причем у меня еще одна машина на 10.3 тоже в этой ситуации
в общем 4 машины, у 3 трех все плохо, но одна нормально
просто эти две считай одинаковые
Anton
17.02.2018
21:00:08
сразу после перезагрузки память не фрагментирована
идеи пока закончились
Misak
17.02.2018
21:02:24
спасибо огромное в любом случае!
я тоже пойду спать, буду уже завтра мучать
Google
Anton
17.02.2018
21:05:06
я тоже пойду спать, буду уже завтра мучать
я рекомендую написать в freebsd-net@ указав на то что растет счетчик messages with memory allocation failure в netstat -s -p pfkey
там несколько больше шансов что ответят чем тут.
Misak
17.02.2018
21:05:38
Olexande
18.02.2018
19:38:05
Доброго! puppet кто-то использует? На днях PostgreSQL рыпнулся поставить, написало, что FreeBSD не поддерживается "рецептом" ...
Или я "неудачно" рецепт методом тыка выбрал?..
Alexandr
19.02.2018
07:23:26
вроде написано с чем работает
ну и в целом, как я понял, папет факультативно работает на фре
Olexande
19.02.2018
07:31:49
Что-то порекомендуете из альтернатив? Пока к puppet'у "не сильно завязался"...
Puppet "сильно распиарен", как 1н из первых проектов.
Alexandr
19.02.2018
07:41:33
Вот такая http://joxi.net/4Ak35VMCyZ9g4A.png
Olexande
19.02.2018
09:53:55
Что имеется в виду? Не совсем понял ...
Alexandr
19.02.2018
10:23:20
Olexande
19.02.2018
10:24:17
ясн.
Dmitry
19.02.2018
10:37:36
просто обычно админы FreeBSD хостингов догадываются убирать из заголовков http ответов упоминание об операционке
ну и замаскировывать fingerprint системы
Konstantin
19.02.2018
10:40:12
зачем вообще писать операционку?
Alexandr
19.02.2018
10:46:14
Dmitry
19.02.2018
10:46:42
ага, засилие LAMP
и каждый может почуствовать себя админом :)
Google
Andrey
19.02.2018
11:12:23
Dmitry
19.02.2018
11:14:38
грустно, когда "мерилом" операционки, становится "наличие utf-8 в консоли" и "нескучные обои"
ну вот в консоли Windows - cp1251 а не utf8, и ничего, все привыкли
Andrey
19.02.2018
11:16:23
ой... слушай, ну вот если без пафоса то это ничуть не меньшая часть чем сисколы ;) да даже, как показала практика, тупо на халяву раздать дисков и то дело
Olexande
19.02.2018
11:16:27
иногда "новые обои" вызывает столько гордости, что объявляли своей ОС :) ;)
Kiril
19.02.2018
11:24:55
Dmitry
19.02.2018
11:39:09
ага, написано
Admin
Dmitry
19.02.2018
11:39:25
BSD support is important to us at Ansible. Even though the majority of our contributors use and target Linux we have an active BSD community and strive to be as BSD friendly as possible. Please feel free to report any issues or incompatibilities you discover with BSD; pull requests with an included fix are also welcome!
Ваш звонок очень важен для нас. Оставайтесь на линии.
Kiril
19.02.2018
11:49:10
Ахахаха
Andrey
19.02.2018
12:27:45
https://twitter.com/MiodVallat/status/965277916522303488
Olexande
19.02.2018
12:29:35
ага, написано
puppet тоже на Free ставится, только "не самописный рецепт" - не поддерживает систему ...
aborche
19.02.2018
15:15:56
парни, а сколько интересно сейчас стоит подержать на оборудовании оператора Full BGP View для PI ?
Andrey
19.02.2018
15:20:24
ты сначала ещё найди кто тебе нынче PI даст :)
aborche
19.02.2018
15:23:20
да вроде как продают
погуглил
Aleksey
19.02.2018
16:32:34
Anton
19.02.2018
16:32:36
парни, а сколько интересно сейчас стоит подержать на оборудовании оператора Full BGP View для PI ?
Сколько стоит что именно? Если ты платишь апстриму за канал и анонс твоего префикса, то за full view вряд ли попросят дополнительных денег.
Сколько стоит оборудование на котором ты сможешь держать full view зависит от трафика. Наличие full view главным образом означает что ты не смжешь использовать L3 switch - нужен именно маршрутизатор (или сервак с bsd/linux если трафик не очень большой).
Fro
19.02.2018
16:48:55
Google
Andrey
19.02.2018
16:49:33
берите /32 на халяву и не мучьтесь ;)
Fro
19.02.2018
16:50:18
Я ещё думаю в сторону cg-nat)
Ilya
19.02.2018
16:56:05
Я бы тоже /22 прикупил
Nikita
19.02.2018
17:22:18
Речь про v4?
Fro
19.02.2018
17:33:12
Ага
Goletsa
19.02.2018
17:43:00
aborche
19.02.2018
17:46:14
Отказ сервиса доступа = отказу обслуживания много чего
Andrey
19.02.2018
17:48:59
открою большую тайну, у многих цод резервирование канала, намного лучше чем ты обеспечишь за вменяемые деньги ;)
Aleksey
19.02.2018
17:49:03
Ну 1в1 как мы строили для Zyxel российского, сняли на двух площадках европейский по семь машин, построили там свой HA v4/v6 статику, но девайсы знали про разные адреса и все жжужит до сих пор очень кварашо
Andrey
19.02.2018
17:49:08
ну если цод не подвальный
Anton
19.02.2018
17:50:03
думаю что зависит от того насколько дорого в случае чего поменять ip сервера в настройках тупых железок. купить PI блок и платить двум операторам которые будут его анонсировать не очень бюджетно в случае v4.
aborche
19.02.2018
17:51:25
Aleksey
19.02.2018
17:51:38
Не вижу смысла для этой задачи свой блок таскать, совсем, в конце концов можно взять аренду серверную в разных ЦОДах географически одного оператора, с договором о том, что они сами проанансируют и прогонят в случае аварии нужный префикс по географии в целом, это прям в порядке дешевле, надежней и проще
Vadim
19.02.2018
17:52:05
о, юрекс
aborche
19.02.2018
17:52:25
Aleksey
19.02.2018
17:52:33