Jürgen
Jürgen
Можно конечно
NS 🇷🇺
Меня там уже не было
NS 🇷🇺
Шел разговор за эльбрусы
モズ
ребяты... а подскажите знающие Kolla-ansible
kolla-ansible -i ./all-in-one prechecks
ошибко-...
TASK [prechecks : Checking docker SDK version] *************************************************************************************************************************************
fatal: [localhost]: FAILED! => {"changed": false, "cmd": ["/usr/bin/python3", "-c", "import docker; print(docker.version)"], "delta": "0:00:00.148278", "end": "2023-06-16 22:14:05.355244", "failed_when_result": true, "msg": "non-zero return code", "rc": 1, "start": "2023-06-16 22:14:05.206966", "stderr": "Traceback (most recent call last):\n File \"<string>\", line 1, in <module>\nModuleNotFoundError: No module named 'docker'", "stderr_lines": ["Traceback (most recent call last):", " File \"<string>\", line 1, in <module>", "ModuleNotFoundError: No module named 'docker'"], "stdout": "", "stdout_lines": []}
(os) root@bootstrap-os:~# docker version
Client: Docker Engine - Community
Version: 24.0.2
API version: 1.43
Go version: go1.20.4
Git commit: cb74dfc
Built: Thu May 25 21:51:00 2023
OS/Arch: linux/amd64
Context: default
kolla-ansible --version
16.1.0
чояделаюнетак?)
モズ
какбэ....
TASK [prechecks : Checking Docker version] *****************************************************************************************************************************************
ok: [localhost]
Danila
ребяты... а подскажите знающие Kolla-ansible
kolla-ansible -i ./all-in-one prechecks
ошибко-...
TASK [prechecks : Checking docker SDK version] *************************************************************************************************************************************
fatal: [localhost]: FAILED! => {"changed": false, "cmd": ["/usr/bin/python3", "-c", "import docker; print(docker.version)"], "delta": "0:00:00.148278", "end": "2023-06-16 22:14:05.355244", "failed_when_result": true, "msg": "non-zero return code", "rc": 1, "start": "2023-06-16 22:14:05.206966", "stderr": "Traceback (most recent call last):\n File \"<string>\", line 1, in <module>\nModuleNotFoundError: No module named 'docker'", "stderr_lines": ["Traceback (most recent call last):", " File \"<string>\", line 1, in <module>", "ModuleNotFoundError: No module named 'docker'"], "stdout": "", "stdout_lines": []}
(os) root@bootstrap-os:~# docker version
Client: Docker Engine - Community
Version: 24.0.2
API version: 1.43
Go version: go1.20.4
Git commit: cb74dfc
Built: Thu May 25 21:51:00 2023
OS/Arch: linux/amd64
Context: default
kolla-ansible --version
16.1.0
чояделаюнетак?)
Docker найти не может?
Lorien
ребяты... а подскажите знающие Kolla-ansible
kolla-ansible -i ./all-in-one prechecks
ошибко-...
TASK [prechecks : Checking docker SDK version] *************************************************************************************************************************************
fatal: [localhost]: FAILED! => {"changed": false, "cmd": ["/usr/bin/python3", "-c", "import docker; print(docker.version)"], "delta": "0:00:00.148278", "end": "2023-06-16 22:14:05.355244", "failed_when_result": true, "msg": "non-zero return code", "rc": 1, "start": "2023-06-16 22:14:05.206966", "stderr": "Traceback (most recent call last):\n File \"<string>\", line 1, in <module>\nModuleNotFoundError: No module named 'docker'", "stderr_lines": ["Traceback (most recent call last):", " File \"<string>\", line 1, in <module>", "ModuleNotFoundError: No module named 'docker'"], "stdout": "", "stdout_lines": []}
(os) root@bootstrap-os:~# docker version
Client: Docker Engine - Community
Version: 24.0.2
API version: 1.43
Go version: go1.20.4
Git commit: cb74dfc
Built: Thu May 25 21:51:00 2023
OS/Arch: linux/amd64
Context: default
kolla-ansible --version
16.1.0
чояделаюнетак?)
Pip install docker
モズ
вот и я не пойму... оно же есть..
модуль в pip сатисфатует...
https://docs.openstack.org/kolla-ansible/latest/user/quickstart.html
Lorien
Делали?
モズ
Делали?
(os) root@bootstrap-os:~# pip install docker
Requirement already satisfied: docker in ./os/lib/python3.10/site-packages (6.1.3)
Requirement already satisfied: packaging>=14.0 in ./os/lib/python3.10/site-packages (from docker) (23.1)
Requirement already satisfied: requests>=2.26.0 in ./os/lib/python3.10/site-packages (from docker) (2.31.0)
Requirement already satisfied: urllib3>=1.26.0 in ./os/lib/python3.10/site-packages (from docker) (2.0.3)
Requirement already satisfied: websocket-client>=0.32.0 in ./os/lib/python3.10/site-packages (from docker) (1.5.3)
Requirement already satisfied: charset-normalizer<4,>=2 in ./os/lib/python3.10/site-packages (from requests>=2.26.0->docker) (3.1.0)
Requirement already satisfied: idna<4,>=2.5 in ./os/lib/python3.10/site-packages (from requests>=2.26.0->docker) (3.4)
Requirement already satisfied: certifi>=2017.4.17 in ./os/lib/python3.10/site-packages (from requests>=2.26.0->docker) (2023.5.7)
(os) root@bootstrap-os:~#mikrotik
モズ
вроде бы сказано что
Deployment¶
After configuration is set, we can proceed to the deployment phase. First we need to setup basic host-level dependencies, like docker.
Kolla Ansible provides a playbook that will install all required services in the correct versions.
типа сам все должен поставить корректной версии
モズ
и ведь ставил,а потом спотыкается..
Lorien
Python3
Import docker?
Valeriy
там в ансибле видно в модуль cmd аргументы, попробуй их воспроизвести
モズ
Python3
Import docker?
(os) root@bootstrap-os:~# python3
Python 3.10.6 (main, May 29 2023, 11:10:38) [GCC 11.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import docker
>>>
モズ
Valeriy
да
/usr/bin/python3 запусти и в нем попробуй
モズ
имеешь ввиду это
"cmd": ["/usr/bin/python3", "-c", "import docker; print(docker.version)"] ?
Valeriy
Valeriy
Lorien
Поставь питон докер версии 5
Lorien
Проверь
モズ
чою не надо было венвить)
モズ
понеслось) зашел в другой баш, дал комнду пипу поставить докер) и.... фсе)
モズ
да кажись именно в этом и было) пошли таски)
モズ
пасиб )
Valeriy
ну венв норм, просто нужно ансиблу указать пайтон по пути который в venv
モズ
ура) пречек прошел) пойду курну и дальше колхозить)
モズ
собсна яж верно понимаю что кола-ансибл если по дефолту ставит все именно на эту же машину коли по дефолту, если не править конфу? я по началу думал дело в kolla_base_distro начитался тут про роки) поставил его....
Valeriy
по дефолту ставит пакеты на хост с которого запускаешь kolla-ansible?
モズ
モズ
чо та опять не нравится..
RUNNING HANDLER [loadbalancer : Wait for haproxy to listen on VIP] *****************************************************************************************************************
fatal: [localhost]: FAILED! => {"changed": false, "elapsed": 300, "msg": "Timeout when waiting for :61313"}
в логах контейнера quay.io/openstack.kolla/haproxy:master-rocky-9
[WARNING] (31) : Server mariadb_back/bootstrap-os is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 0 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
Valeriy
ну типа да...
конечно, а куда еще зависимости устанавливать? только если это не psycopg какой нибудь
モズ
Valeriy
чо та опять не нравится..
RUNNING HANDLER [loadbalancer : Wait for haproxy to listen on VIP] *****************************************************************************************************************
fatal: [localhost]: FAILED! => {"changed": false, "elapsed": 300, "msg": "Timeout when waiting for :61313"}
в логах контейнера quay.io/openstack.kolla/haproxy:master-rocky-9
[WARNING] (31) : Server mariadb_back/bootstrap-os is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 0 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
Server mariadb_back/bootstrap-os is DOWN, reason: Layer4 connection problem, info: "Connection refused
haproxy до бекенда не может достучаться, судя по всему до mariadb
Valeriy
ты пытаешься на локалхосте коллу прогнать?
モズ
Valeriy
а какие контейнеры уже запустились? и какие порты прослушиваются?
еще можно конфиг haproxy посмотреть, типа куда он смотрит
モズ
root@bootstrap-os:~# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
552d95de9be6 quay.io/openstack.kolla/keepalived:master-rocky-9 "dumb-init --single-…" 3 minutes ago Up 3 minutes keepalived
b8da79a8cb06 quay.io/openstack.kolla/haproxy:master-rocky-9 "dumb-init --single-…" 3 minutes ago Up 3 minutes (healthy) haproxy
071c55fe0b6f quay.io/openstack.kolla/cron:master-rocky-9 "dumb-init --single-…" 4 minutes ago Up 4 minutes cron
123b6feffeaf quay.io/openstack.kolla/kolla-toolbox:master-rocky-9 "dumb-init --single-…" 4 minutes ago Up 4 minutes kolla_toolbox
1f7d4706cd2a quay.io/openstack.kolla/fluentd:master-rocky-9 "dumb-init --single-…" 4 minutes ago Up 4 minutes fluentd
モズ
root@bootstrap-os:~# ss -alntup
Netid State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
udp UNCONN 0 0 172.29.150.252:5140 0.0.0.0:* users:(("ruby",pid=32628,fd=24),("td-agent",pid=32456,fd=18))
udp UNCONN 0 0 0.0.0.0:42761 0.0.0.0:* users:(("haproxy",pid=34390,fd=35))
udp UNCONN 0 0 0.0.0.0:40097 0.0.0.0:* users:(("haproxy",pid=34390,fd=33))
udp UNCONN 0 0 0.0.0.0:40513 0.0.0.0:* users:(("haproxy",pid=34390,fd=37))
udp UNCONN 0 0 127.0.0.53%lo:53 0.0.0.0:* users:(("systemd-resolve",pid=731,fd=13))
udp UNCONN 0 0 172.29.150.252%ens192:68 0.0.0.0:* users:(("systemd-network",pid=621,fd=21))
udp UNCONN 0 0 172.29.134.50%ens224:68 0.0.0.0:* users:(("systemd-network",pid=621,fd=18))
udp UNCONN 0 0 0.0.0.0:41385 0.0.0.0:* users:(("haproxy",pid=34390,fd=36))
tcp LISTEN 0 4096 0.0.0.0:61313 0.0.0.0:* users:(("haproxy",pid=34390,fd=8))
tcp LISTEN 0 4096 172.29.150.252:61313 0.0.0.0:* users:(("haproxy",pid=34390,fd=7))
tcp LISTEN 0 4096 0.0.0.0:8004 0.0.0.0:* users:(("haproxy",pid=34390,fd=19))
tcp LISTEN 0 4096 0.0.0.0:8774 0.0.0.0:* users:(("haproxy",pid=34390,fd=16))
tcp LISTEN 0 4096 0.0.0.0:8775 0.0.0.0:* users:(("haproxy",pid=34390,fd=17))
tcp LISTEN 0 4096 0.0.0.0:5000 0.0.0.0:* users:(("haproxy",pid=34390,fd=10))
tcp LISTEN 0 4096 0.0.0.0:3306 0.0.0.0:* users:(("haproxy",pid=34390,fd=14))
tcp LISTEN 0 4096 0.0.0.0:9292 0.0.0.0:* users:(("haproxy",pid=34390,fd=20))
tcp LISTEN 0 4096 0.0.0.0:8780 0.0.0.0:* users:(("haproxy",pid=34390,fd=12))
tcp LISTEN 0 4096 0.0.0.0:80 0.0.0.0:* users:(("haproxy",pid=34390,fd=13))
tcp LISTEN 0 4096 127.0.0.53%lo:53 0.0.0.0:* users:(("systemd-resolve",pid=731,fd=14))
tcp LISTEN 0 128 0.0.0.0:22 0.0.0.0:* users:(("sshd",pid=924,fd=3))
tcp LISTEN 0 4096 0.0.0.0:15672 0.0.0.0:* users:(("haproxy",pid=34390,fd=15))
tcp LISTEN 0 4096 0.0.0.0:8000 0.0.0.0:* users:(("haproxy",pid=34390,fd=18))
tcp LISTEN 0 4096 0.0.0.0:6080 0.0.0.0:* users:(("haproxy",pid=34390,fd=11))
tcp LISTEN 0 4096 0.0.0.0:9696 0.0.0.0:* users:(("haproxy",pid=34390,fd=9))
tcp LISTEN 0 4096 172.29.150.252:1984 0.0.0.0:* users:(("haproxy",pid=34390,fd=6))
tcp LISTEN 0 128 [::]:22 [::]:* users:(("sshd",pid=924,fd=4))
モズ
сам конфиг в контейнере
(haproxy)[root@bootstrap-os /]$ cat /etc/haproxy/haproxy.cfg
global
chroot /var/lib/haproxy
user haproxy
group haproxy
daemon
log 172.29.150.252:5140 local1
maxconn 40000
nbproc 1
stats socket /var/lib/kolla/haproxy/haproxy.sock group kolla mode 660
defaults
log global
option redispatch
retries 3
timeout http-request 10s
timeout http-keep-alive 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout check 10s
balance roundrobin
maxconn 10000
listen stats
bind 172.29.150.252:1984
mode http
stats enable
stats uri /
stats refresh 15s
stats realm Haproxy\ Stats
stats auth openstack:lfMptnpTvIlHgO3QBFcIMtZ5Vvh7TE5bOOs8EYd9
frontend status
bind 172.29.150.252:61313
bind :61313
mode http
monitor-uri /
モズ
ok: [localhost] => (item=enable_mariadb_True)
но контейнера такого я чтото не вижу... или его не должно быть?
Valeriy
сейчас погрепаю в репозитории, посмотрю что таск делает
Valeriy
モズ
Valeriy
モズ
мож я не тот интерфейс выбрал... или адрес не указал который вроде как должен быть?
в globals.yaml
#kolla_internal_vip_address: "10.10.10.254"
не раскоментировал. я правильно понимаю что этот айпи должен быть свободным..
モズ
ооооо
Valeriy
vip это будет ip твоей виртуалки, если одна нода
モズ
повторно запустил...
root@bootstrap-os:~# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
819faf469352 quay.io/openstack.kolla/mariadb-server:master-rocky-9 "dumb-init -- kolla_…" 2 minutes ago Exited (1) 2 minutes ago mariadb
552d95de9be6 quay.io/openstack.kolla/keepalived:master-rocky-9 "dumb-init --single-…" 12 minutes ago Up 12 minutes keepalived
b8da79a8cb06 quay.io/openstack.kolla/haproxy:master-rocky-9 "dumb-init --single-…" 13 minutes ago Up 13 minutes (healthy) haproxy
071c55fe0b6f quay.io/openstack.kolla/cron:master-rocky-9 "dumb-init --single-…" 14 minutes ago Up 14 minutes cron
123b6feffeaf quay.io/openstack.kolla/kolla-toolbox:master-rocky-9 "dumb-init --single-…" 14 minutes ago Up 14 minutes kolla_toolbox
1f7d4706cd2a quay.io/openstack.kolla/fluentd:master-rocky-9 "dumb-init --single-…" 14 minutes ago Up 14 minutes fluentd
root@bootstrap-os:~#
появился
но упал)
Valeriy
посмотри логи почему упал
モズ
уже ископал их все)))
+ echo 'Running command: '\''/usr/bin/mysqld_safe --wsrep-new-cluster'\'''
+ exec /usr/bin/mysqld_safe --wsrep-new-cluster
Running command: '/usr/bin/mysqld_safe --wsrep-new-cluster'
230616 23:14:12 mysqld_safe Logging to '/var/log/kolla/mariadb/mariadb.log'.
230616 23:14:12 mysqld_safe Starting mariadbd daemon with databases from /var/lib/mysql/
это все
Valeriy
ip хоста у тебя один единственный - 10.10.10.254 ?
172.29.150.252 это же сеть докера?
モズ
モズ
видимо я тут и напутал чтото
Valeriy
モズ
ой я не могу...
Checking if kolla_internal_vip_address and kolla_external_vip_address are not pingable from any node] *********************************************************
failed: [localhost] (item=172.29.150.252) => {"ansible_loop_var": "item", "changed": false, "cmd": ["ping", "-c", "3", "172.29.150.252"], "delta": "0:00:02.043522", "end": "2023-06-16 23:22:31.174521", "failed_when_result": true, "item": "172.29.150.252", "msg": "", "rc": 0, "start": "2023-06-16 23:22:29.130999", "stderr": "", "stderr_lines": [], "stdout": "PING 172.29.150.252 (172.29.150.252) 56(84) bytes of data.\n64 bytes from 172.29.150.252: icmp_seq=1 ttl=64 time=0.050 ms\n64 bytes from 172.29.150.252: icmp_seq=2 ttl=64 time=0.045 ms\n64 bytes from 172.29.150.252: icmp_seq=3 ttl=64 time=0.030 ms\n\n--- 172.29.150.252 ping statistics ---\n3 packets transmitted, 3 received, 0% packet loss, time 2039ms\nrtt min/avg/max/mdev = 0.030/0.041/0.050/0.008 ms", "stdout_lines": ["PING 172.29.150.252 (172.29.150.252) 56(84) bytes of data.", "64 bytes from 172.29.150.252: icmp_seq=1 ttl=64 time=0.050 ms", "64 bytes from 172.29.150.252: icmp_seq=2 ttl=64 time=0.045 ms", "64 bytes from 172.29.150.252: icmp_seq=3 ttl=64 time=0.030 ms", "", "--- 172.29.150.252 ping statistics ---", "3 packets transmitted, 3 received, 0% packet loss, time 2039ms", "rtt min/avg/max/mdev = 0.030/0.041/0.050/0.008 ms"]}
failed: [localhost] (item=172.29.150.252) => {"ansible_loop_var": "item", "changed": false, "cmd": ["ping", "-c", "3", "172.29.150.252"], "delta": "0:00:02.057915", "end": "2023-06-16 23:22:33.606619", "failed_when_result": true, "item": "172.29.150.252", "msg": "", "rc": 0, "start": "2023-06-16 23:22:31.548704", "stderr": "", "stderr_lines": [], "stdout": "PING 172.29.150.252 (172.29.150.252) 56(84) bytes of data.\n64 bytes from 172.29.150.252: icmp_seq=1 ttl=64 time=0.030 ms\n64 bytes from 172.29.150.252: icmp_seq=2 ttl=64 time=0.044 ms\n64 bytes from 172.29.150.252: icmp_seq=3 ttl=64 time=0.030 ms\n\n--- 172.29.150.252 ping statistics ---\n3 packets transmitted, 3 received, 0% packet loss, time 2053ms\nrtt min/avg/max/mdev = 0.030/0.034/0.044/0.006 ms", "stdout_lines": ["PING 172.29.150.252 (172.29.150.252) 56(84) bytes of data.", "64 bytes from 172.29.150.252: icmp_seq=1 ttl=64 time=0.030 ms", "64 bytes from 172.29.150.252: icmp_seq=2 ttl=64 time=0.044 ms", "64 bytes from 172.29.150.252: icmp_seq=3 ttl=64 time=0.030 ms", "", "--- 172.29.150.252 ping statistics ---", "3 packets transmitted, 3 received, 0% packet loss, time 2053ms", "rtt min/avg/max/mdev = 0.030/0.034/0.044/0.006 ms"]}
モズ
поставил другой айпи, не занятый. прошло)))) это какой то прям секс с блэкджэком но не с бабами.... простите меня Женщины...
Илья | 😶☮️🐸
Илья | 😶☮️🐸
С женщинами это к вмвари, наверное
Valeriy
а почему у тебя на втором интерфейсе айпи есть? он должен быть без ip
Valeriy
モズ
вот жешь я лохалко))
Valeriy
ну и вот нагуглил гайд на сингл ноду:
https://kifarunix.com/deploy-all-in-one-openstack-with-kolla-ansible-on-ubuntu-18-04/
посмотри настройки globals.yml и адаптируй под свой хост
Илья | 😶☮️🐸
モズ
вы не поверите... но второй адрес что есть не помешал... пока что))
собственно так и есть))
2: ens192: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
link/ether 00:50:56:83:0b:e4 brd ff:ff:ff:ff:ff:ff
altname enp11s0
inet 172.29.150.252/24 metric 100 brd 172.29.150.255 scope global dynamic ens192
valid_lft 252808sec preferred_lft 252808sec
inet 172.29.150.251/32 scope global ens192
valid_lft forever preferred_lft forever
inet6 fe80::250:56ff:fe83:be4/64 scope link
valid_lft forever preferred_lft forever
3: ens224: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
link/ether 00:50:56:83:05:42 brd ff:ff:ff:ff:ff:ff
altname enp19s0
inet 172.29.134.50/24 metric 100 brd 172.29.134.255 scope global dynamic ens224
valid_lft 80008sec preferred_lft 80008sec
inet6 fe80::250:56ff:fe83:542/64 scope link
valid_lft forever preferred_lft forever
Илья | 😶☮️🐸
Перечитал конфиг, на network_interface не должно быть IP, факт
Илья | 😶☮️🐸
Интерфейс через который инстансы смотрят жопой в мир- должен быть пустой, а который для коллы- похер
Илья | 😶☮️🐸
Илья | 😶☮️🐸
А то вдруг у quay рейт лимит, земля металлом