NS 🇷🇺
Я говорил про оаэ
Так там повально хуавейный стек же?
Jürgen
Ну там и про ЕС проскакивало ) я не запоминал автора
Я за ес говорил только как релокация
Jürgen
Так там повально хуавейный стек же?
Не везде в абу даби любят g42 и тд но один хер опенстек
NS 🇷🇺
Я за ес говорил только как релокация
Ну оно и понятно. Стек нужен азиатам, арабам и некоторым в рф
Jürgen
Ну оно и понятно. Стек нужен азиатам, арабам и некоторым в рф
В техасе мне предлагали но мне влом и по опенстек у меня не знания архитектура
Jürgen
Можно конечно
NS 🇷🇺
Меня там уже не было
NS 🇷🇺
Шел разговор за эльбрусы
モズ
ребяты... а подскажите знающие Kolla-ansible kolla-ansible -i ./all-in-one prechecks ошибко-... TASK [prechecks : Checking docker SDK version] ************************************************************************************************************************************* fatal: [localhost]: FAILED! => {"changed": false, "cmd": ["/usr/bin/python3", "-c", "import docker; print(docker.version)"], "delta": "0:00:00.148278", "end": "2023-06-16 22:14:05.355244", "failed_when_result": true, "msg": "non-zero return code", "rc": 1, "start": "2023-06-16 22:14:05.206966", "stderr": "Traceback (most recent call last):\n File \"<string>\", line 1, in <module>\nModuleNotFoundError: No module named 'docker'", "stderr_lines": ["Traceback (most recent call last):", " File \"<string>\", line 1, in <module>", "ModuleNotFoundError: No module named 'docker'"], "stdout": "", "stdout_lines": []} (os) root@bootstrap-os:~# docker version Client: Docker Engine - Community Version: 24.0.2 API version: 1.43 Go version: go1.20.4 Git commit: cb74dfc Built: Thu May 25 21:51:00 2023 OS/Arch: linux/amd64 Context: default kolla-ansible --version 16.1.0 чояделаюнетак?)
モズ
какбэ.... TASK [prechecks : Checking Docker version] ***************************************************************************************************************************************** ok: [localhost]
Danila
ребяты... а подскажите знающие Kolla-ansible kolla-ansible -i ./all-in-one prechecks ошибко-... TASK [prechecks : Checking docker SDK version] ************************************************************************************************************************************* fatal: [localhost]: FAILED! => {"changed": false, "cmd": ["/usr/bin/python3", "-c", "import docker; print(docker.version)"], "delta": "0:00:00.148278", "end": "2023-06-16 22:14:05.355244", "failed_when_result": true, "msg": "non-zero return code", "rc": 1, "start": "2023-06-16 22:14:05.206966", "stderr": "Traceback (most recent call last):\n File \"<string>\", line 1, in <module>\nModuleNotFoundError: No module named 'docker'", "stderr_lines": ["Traceback (most recent call last):", " File \"<string>\", line 1, in <module>", "ModuleNotFoundError: No module named 'docker'"], "stdout": "", "stdout_lines": []} (os) root@bootstrap-os:~# docker version Client: Docker Engine - Community Version: 24.0.2 API version: 1.43 Go version: go1.20.4 Git commit: cb74dfc Built: Thu May 25 21:51:00 2023 OS/Arch: linux/amd64 Context: default kolla-ansible --version 16.1.0 чояделаюнетак?)
Docker найти не может?
Lorien
ребяты... а подскажите знающие Kolla-ansible kolla-ansible -i ./all-in-one prechecks ошибко-... TASK [prechecks : Checking docker SDK version] ************************************************************************************************************************************* fatal: [localhost]: FAILED! => {"changed": false, "cmd": ["/usr/bin/python3", "-c", "import docker; print(docker.version)"], "delta": "0:00:00.148278", "end": "2023-06-16 22:14:05.355244", "failed_when_result": true, "msg": "non-zero return code", "rc": 1, "start": "2023-06-16 22:14:05.206966", "stderr": "Traceback (most recent call last):\n File \"<string>\", line 1, in <module>\nModuleNotFoundError: No module named 'docker'", "stderr_lines": ["Traceback (most recent call last):", " File \"<string>\", line 1, in <module>", "ModuleNotFoundError: No module named 'docker'"], "stdout": "", "stdout_lines": []} (os) root@bootstrap-os:~# docker version Client: Docker Engine - Community Version: 24.0.2 API version: 1.43 Go version: go1.20.4 Git commit: cb74dfc Built: Thu May 25 21:51:00 2023 OS/Arch: linux/amd64 Context: default kolla-ansible --version 16.1.0 чояделаюнетак?)
Pip install docker
モズ
вот и я не пойму... оно же есть.. модуль в pip сатисфатует... https://docs.openstack.org/kolla-ansible/latest/user/quickstart.html
Lorien
Делали?
モズ
Делали?
(os) root@bootstrap-os:~# pip install docker Requirement already satisfied: docker in ./os/lib/python3.10/site-packages (6.1.3) Requirement already satisfied: packaging>=14.0 in ./os/lib/python3.10/site-packages (from docker) (23.1) Requirement already satisfied: requests>=2.26.0 in ./os/lib/python3.10/site-packages (from docker) (2.31.0) Requirement already satisfied: urllib3>=1.26.0 in ./os/lib/python3.10/site-packages (from docker) (2.0.3) Requirement already satisfied: websocket-client>=0.32.0 in ./os/lib/python3.10/site-packages (from docker) (1.5.3) Requirement already satisfied: charset-normalizer<4,>=2 in ./os/lib/python3.10/site-packages (from requests>=2.26.0->docker) (3.1.0) Requirement already satisfied: idna<4,>=2.5 in ./os/lib/python3.10/site-packages (from requests>=2.26.0->docker) (3.4) Requirement already satisfied: certifi>=2017.4.17 in ./os/lib/python3.10/site-packages (from requests>=2.26.0->docker) (2023.5.7) (os) root@bootstrap-os:~#mikrotik
モズ
вроде бы сказано что Deployment¶ After configuration is set, we can proceed to the deployment phase. First we need to setup basic host-level dependencies, like docker. Kolla Ansible provides a playbook that will install all required services in the correct versions. типа сам все должен поставить корректной версии
モズ
и ведь ставил,а потом спотыкается..
Lorien
Python3 Import docker?
Valeriy
там в ансибле видно в модуль cmd аргументы, попробуй их воспроизвести
モズ
Python3 Import docker?
(os) root@bootstrap-os:~# python3 Python 3.10.6 (main, May 29 2023, 11:10:38) [GCC 11.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import docker >>>
Valeriy
да /usr/bin/python3 запусти и в нем попробуй
モズ
имеешь ввиду это "cmd": ["/usr/bin/python3", "-c", "import docker; print(docker.version)"] ?
Lorien
Поставь питон докер версии 5
Lorien
Проверь
モズ
чою не надо было венвить)
Valeriy
(os) root@bootstrap-os:~# python3 Python 3.10.6 (main, May 29 2023, 11:10:38) [GCC 11.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import docker >>>
(os) это ты в virtualenv запускаешь, там у тебя свой интерпретатор для пайтона, который будет лежать в этой директории в папке bin kolla-ansible у тебя запускает пайтон по пути /usr/bin/python3 и у этого пайтона скорее всего и нет такого модуля. Вне venv попробуй запустить /usr/bin/python3 и там импорт
モズ
понеслось) зашел в другой баш, дал комнду пипу поставить докер) и.... фсе)
モズ
да кажись именно в этом и было) пошли таски)
モズ
пасиб )
Valeriy
ну венв норм, просто нужно ансиблу указать пайтон по пути который в venv
モズ
ура) пречек прошел) пойду курну и дальше колхозить)
モズ
собсна яж верно понимаю что кола-ансибл если по дефолту ставит все именно на эту же машину коли по дефолту, если не править конфу? я по началу думал дело в kolla_base_distro начитался тут про роки) поставил его....
Valeriy
по дефолту ставит пакеты на хост с которого запускаешь kolla-ansible?
モズ
чо та опять не нравится.. RUNNING HANDLER [loadbalancer : Wait for haproxy to listen on VIP] ***************************************************************************************************************** fatal: [localhost]: FAILED! => {"changed": false, "elapsed": 300, "msg": "Timeout when waiting for :61313"} в логах контейнера quay.io/openstack.kolla/haproxy:master-rocky-9 [WARNING] (31) : Server mariadb_back/bootstrap-os is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 0ms. 0 active and 0 backup servers left. 0 sessions active, 0 requeued, 0 remaining in queue.
Valeriy
ну типа да...
конечно, а куда еще зависимости устанавливать? только если это не psycopg какой нибудь
Valeriy
ты пытаешься на локалхосте коллу прогнать?
Valeriy
а какие контейнеры уже запустились? и какие порты прослушиваются? еще можно конфиг haproxy посмотреть, типа куда он смотрит
モズ
root@bootstrap-os:~# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 552d95de9be6 quay.io/openstack.kolla/keepalived:master-rocky-9 "dumb-init --single-…" 3 minutes ago Up 3 minutes keepalived b8da79a8cb06 quay.io/openstack.kolla/haproxy:master-rocky-9 "dumb-init --single-…" 3 minutes ago Up 3 minutes (healthy) haproxy 071c55fe0b6f quay.io/openstack.kolla/cron:master-rocky-9 "dumb-init --single-…" 4 minutes ago Up 4 minutes cron 123b6feffeaf quay.io/openstack.kolla/kolla-toolbox:master-rocky-9 "dumb-init --single-…" 4 minutes ago Up 4 minutes kolla_toolbox 1f7d4706cd2a quay.io/openstack.kolla/fluentd:master-rocky-9 "dumb-init --single-…" 4 minutes ago Up 4 minutes fluentd
モズ
root@bootstrap-os:~# ss -alntup Netid State Recv-Q Send-Q Local Address:Port Peer Address:Port Process udp UNCONN 0 0 172.29.150.252:5140 0.0.0.0:* users:(("ruby",pid=32628,fd=24),("td-agent",pid=32456,fd=18)) udp UNCONN 0 0 0.0.0.0:42761 0.0.0.0:* users:(("haproxy",pid=34390,fd=35)) udp UNCONN 0 0 0.0.0.0:40097 0.0.0.0:* users:(("haproxy",pid=34390,fd=33)) udp UNCONN 0 0 0.0.0.0:40513 0.0.0.0:* users:(("haproxy",pid=34390,fd=37)) udp UNCONN 0 0 127.0.0.53%lo:53 0.0.0.0:* users:(("systemd-resolve",pid=731,fd=13)) udp UNCONN 0 0 172.29.150.252%ens192:68 0.0.0.0:* users:(("systemd-network",pid=621,fd=21)) udp UNCONN 0 0 172.29.134.50%ens224:68 0.0.0.0:* users:(("systemd-network",pid=621,fd=18)) udp UNCONN 0 0 0.0.0.0:41385 0.0.0.0:* users:(("haproxy",pid=34390,fd=36)) tcp LISTEN 0 4096 0.0.0.0:61313 0.0.0.0:* users:(("haproxy",pid=34390,fd=8)) tcp LISTEN 0 4096 172.29.150.252:61313 0.0.0.0:* users:(("haproxy",pid=34390,fd=7)) tcp LISTEN 0 4096 0.0.0.0:8004 0.0.0.0:* users:(("haproxy",pid=34390,fd=19)) tcp LISTEN 0 4096 0.0.0.0:8774 0.0.0.0:* users:(("haproxy",pid=34390,fd=16)) tcp LISTEN 0 4096 0.0.0.0:8775 0.0.0.0:* users:(("haproxy",pid=34390,fd=17)) tcp LISTEN 0 4096 0.0.0.0:5000 0.0.0.0:* users:(("haproxy",pid=34390,fd=10)) tcp LISTEN 0 4096 0.0.0.0:3306 0.0.0.0:* users:(("haproxy",pid=34390,fd=14)) tcp LISTEN 0 4096 0.0.0.0:9292 0.0.0.0:* users:(("haproxy",pid=34390,fd=20)) tcp LISTEN 0 4096 0.0.0.0:8780 0.0.0.0:* users:(("haproxy",pid=34390,fd=12)) tcp LISTEN 0 4096 0.0.0.0:80 0.0.0.0:* users:(("haproxy",pid=34390,fd=13)) tcp LISTEN 0 4096 127.0.0.53%lo:53 0.0.0.0:* users:(("systemd-resolve",pid=731,fd=14)) tcp LISTEN 0 128 0.0.0.0:22 0.0.0.0:* users:(("sshd",pid=924,fd=3)) tcp LISTEN 0 4096 0.0.0.0:15672 0.0.0.0:* users:(("haproxy",pid=34390,fd=15)) tcp LISTEN 0 4096 0.0.0.0:8000 0.0.0.0:* users:(("haproxy",pid=34390,fd=18)) tcp LISTEN 0 4096 0.0.0.0:6080 0.0.0.0:* users:(("haproxy",pid=34390,fd=11)) tcp LISTEN 0 4096 0.0.0.0:9696 0.0.0.0:* users:(("haproxy",pid=34390,fd=9)) tcp LISTEN 0 4096 172.29.150.252:1984 0.0.0.0:* users:(("haproxy",pid=34390,fd=6)) tcp LISTEN 0 128 [::]:22 [::]:* users:(("sshd",pid=924,fd=4))
モズ
сам конфиг в контейнере (haproxy)[root@bootstrap-os /]$ cat /etc/haproxy/haproxy.cfg global chroot /var/lib/haproxy user haproxy group haproxy daemon log 172.29.150.252:5140 local1 maxconn 40000 nbproc 1 stats socket /var/lib/kolla/haproxy/haproxy.sock group kolla mode 660 defaults log global option redispatch retries 3 timeout http-request 10s timeout http-keep-alive 10s timeout queue 1m timeout connect 10s timeout client 1m timeout server 1m timeout check 10s balance roundrobin maxconn 10000 listen stats bind 172.29.150.252:1984 mode http stats enable stats uri / stats refresh 15s stats realm Haproxy\ Stats stats auth openstack:lfMptnpTvIlHgO3QBFcIMtZ5Vvh7TE5bOOs8EYd9 frontend status bind 172.29.150.252:61313 bind :61313 mode http monitor-uri /
モズ
ok: [localhost] => (item=enable_mariadb_True) но контейнера такого я чтото не вижу... или его не должно быть?
Valeriy
сейчас погрепаю в репозитории, посмотрю что таск делает
モズ
мож я не тот интерфейс выбрал... или адрес не указал который вроде как должен быть? в globals.yaml #kolla_internal_vip_address: "10.10.10.254" не раскоментировал. я правильно понимаю что этот айпи должен быть свободным..
モズ
ооооо
Valeriy
vip это будет ip твоей виртуалки, если одна нода
モズ
повторно запустил... root@bootstrap-os:~# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 819faf469352 quay.io/openstack.kolla/mariadb-server:master-rocky-9 "dumb-init -- kolla_…" 2 minutes ago Exited (1) 2 minutes ago mariadb 552d95de9be6 quay.io/openstack.kolla/keepalived:master-rocky-9 "dumb-init --single-…" 12 minutes ago Up 12 minutes keepalived b8da79a8cb06 quay.io/openstack.kolla/haproxy:master-rocky-9 "dumb-init --single-…" 13 minutes ago Up 13 minutes (healthy) haproxy 071c55fe0b6f quay.io/openstack.kolla/cron:master-rocky-9 "dumb-init --single-…" 14 minutes ago Up 14 minutes cron 123b6feffeaf quay.io/openstack.kolla/kolla-toolbox:master-rocky-9 "dumb-init --single-…" 14 minutes ago Up 14 minutes kolla_toolbox 1f7d4706cd2a quay.io/openstack.kolla/fluentd:master-rocky-9 "dumb-init --single-…" 14 minutes ago Up 14 minutes fluentd root@bootstrap-os:~# появился но упал)
Valeriy
посмотри логи почему упал
モズ
уже ископал их все))) + echo 'Running command: '\''/usr/bin/mysqld_safe --wsrep-new-cluster'\''' + exec /usr/bin/mysqld_safe --wsrep-new-cluster Running command: '/usr/bin/mysqld_safe --wsrep-new-cluster' 230616 23:14:12 mysqld_safe Logging to '/var/log/kolla/mariadb/mariadb.log'. 230616 23:14:12 mysqld_safe Starting mariadbd daemon with databases from /var/lib/mysql/ это все
Valeriy
ip хоста у тебя один единственный - 10.10.10.254 ? 172.29.150.252 это же сеть докера?
モズ
ip хоста у тебя один единственный - 10.10.10.254 ? 172.29.150.252 это же сеть докера?
не вот как раз 10.10 я не раскоментировал. у меня два интерфейса в globals.yaml network_interface: "ens192" c айпи 172.29.150.252 и neutron_external_interface: "ens224" с айпи 172.29.134.50
モズ
ip хоста у тебя один единственный - 10.10.10.254 ? 172.29.150.252 это же сеть докера?
это тот айпи на который я хожу по ссш на bootstrap-os вм...
モズ
видимо я тут и напутал чтото
モズ
ой я не могу... Checking if kolla_internal_vip_address and kolla_external_vip_address are not pingable from any node] ********************************************************* failed: [localhost] (item=172.29.150.252) => {"ansible_loop_var": "item", "changed": false, "cmd": ["ping", "-c", "3", "172.29.150.252"], "delta": "0:00:02.043522", "end": "2023-06-16 23:22:31.174521", "failed_when_result": true, "item": "172.29.150.252", "msg": "", "rc": 0, "start": "2023-06-16 23:22:29.130999", "stderr": "", "stderr_lines": [], "stdout": "PING 172.29.150.252 (172.29.150.252) 56(84) bytes of data.\n64 bytes from 172.29.150.252: icmp_seq=1 ttl=64 time=0.050 ms\n64 bytes from 172.29.150.252: icmp_seq=2 ttl=64 time=0.045 ms\n64 bytes from 172.29.150.252: icmp_seq=3 ttl=64 time=0.030 ms\n\n--- 172.29.150.252 ping statistics ---\n3 packets transmitted, 3 received, 0% packet loss, time 2039ms\nrtt min/avg/max/mdev = 0.030/0.041/0.050/0.008 ms", "stdout_lines": ["PING 172.29.150.252 (172.29.150.252) 56(84) bytes of data.", "64 bytes from 172.29.150.252: icmp_seq=1 ttl=64 time=0.050 ms", "64 bytes from 172.29.150.252: icmp_seq=2 ttl=64 time=0.045 ms", "64 bytes from 172.29.150.252: icmp_seq=3 ttl=64 time=0.030 ms", "", "--- 172.29.150.252 ping statistics ---", "3 packets transmitted, 3 received, 0% packet loss, time 2039ms", "rtt min/avg/max/mdev = 0.030/0.041/0.050/0.008 ms"]} failed: [localhost] (item=172.29.150.252) => {"ansible_loop_var": "item", "changed": false, "cmd": ["ping", "-c", "3", "172.29.150.252"], "delta": "0:00:02.057915", "end": "2023-06-16 23:22:33.606619", "failed_when_result": true, "item": "172.29.150.252", "msg": "", "rc": 0, "start": "2023-06-16 23:22:31.548704", "stderr": "", "stderr_lines": [], "stdout": "PING 172.29.150.252 (172.29.150.252) 56(84) bytes of data.\n64 bytes from 172.29.150.252: icmp_seq=1 ttl=64 time=0.030 ms\n64 bytes from 172.29.150.252: icmp_seq=2 ttl=64 time=0.044 ms\n64 bytes from 172.29.150.252: icmp_seq=3 ttl=64 time=0.030 ms\n\n--- 172.29.150.252 ping statistics ---\n3 packets transmitted, 3 received, 0% packet loss, time 2053ms\nrtt min/avg/max/mdev = 0.030/0.034/0.044/0.006 ms", "stdout_lines": ["PING 172.29.150.252 (172.29.150.252) 56(84) bytes of data.", "64 bytes from 172.29.150.252: icmp_seq=1 ttl=64 time=0.030 ms", "64 bytes from 172.29.150.252: icmp_seq=2 ttl=64 time=0.044 ms", "64 bytes from 172.29.150.252: icmp_seq=3 ttl=64 time=0.030 ms", "", "--- 172.29.150.252 ping statistics ---", "3 packets transmitted, 3 received, 0% packet loss, time 2053ms", "rtt min/avg/max/mdev = 0.030/0.034/0.044/0.006 ms"]}
モズ
поставил другой айпи, не занятый. прошло)))) это какой то прям секс с блэкджэком но не с бабами.... простите меня Женщины...
Илья | 😶☮️🐸
С женщинами это к вмвари, наверное
Valeriy
а почему у тебя на втором интерфейсе айпи есть? он должен быть без ip
Valeriy
モズ
вот жешь я лохалко))
Valeriy
ну и вот нагуглил гайд на сингл ноду: https://kifarunix.com/deploy-all-in-one-openstack-with-kolla-ansible-on-ubuntu-18-04/ посмотри настройки globals.yml и адаптируй под свой хост
Илья | 😶☮️🐸
а почему у тебя на втором интерфейсе айпи есть? он должен быть без ip
Хмм, а у меня с IP и колла добавляет еще 1 адрес на этот интерфейс
モズ
вы не поверите... но второй адрес что есть не помешал... пока что)) собственно так и есть)) 2: ens192: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000 link/ether 00:50:56:83:0b:e4 brd ff:ff:ff:ff:ff:ff altname enp11s0 inet 172.29.150.252/24 metric 100 brd 172.29.150.255 scope global dynamic ens192 valid_lft 252808sec preferred_lft 252808sec inet 172.29.150.251/32 scope global ens192 valid_lft forever preferred_lft forever inet6 fe80::250:56ff:fe83:be4/64 scope link valid_lft forever preferred_lft forever 3: ens224: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000 link/ether 00:50:56:83:05:42 brd ff:ff:ff:ff:ff:ff altname enp19s0 inet 172.29.134.50/24 metric 100 brd 172.29.134.255 scope global dynamic ens224 valid_lft 80008sec preferred_lft 80008sec inet6 fe80::250:56ff:fe83:542/64 scope link valid_lft forever preferred_lft forever
Valeriy
Хмм, а у меня с IP и колла добавляет еще 1 адрес на этот интерфейс
ну я вот сюда посмотрел https://docs.openstack.org/project-deploy-guide/kolla-ansible/latest/quickstart.html#deployment
Илья | 😶☮️🐸
Перечитал конфиг, на network_interface не должно быть IP, факт
Илья | 😶☮️🐸
Интерфейс через который инстансы смотрят жопой в мир- должен быть пустой, а который для коллы- похер
モズ
уже подходим к концу))) лишь бы ресурсов хватило 0ad423368e74 quay.io/openstack.kolla/rabbitmq:master-rocky-9 "dumb-init --single-…" 22 seconds ago Up 20 seconds (health: starting) rabbitmq 557d624bceb6 quay.io/openstack.kolla/memcached:master-rocky-9 "dumb-init --single-…" 48 seconds ago Up 45 seconds (healthy) memcached b73ce2c98bf1 quay.io/openstack.kolla/mariadb-clustercheck:master-rocky-9 "dumb-init --single-…" About a minute ago Up About a minute mariadb_clustercheck b477833d0417 quay.io/openstack.kolla/mariadb-server:master-rocky-9 "dumb-init -- kolla_…" About a minute ago Up About a minute (healthy) mariadb 41bc777bef9d quay.io/openstack.kolla/keepalived:master-rocky-9 "dumb-init --single-…" 2 minutes ago Up 2 minutes keepalived 6bef9207d80d quay.io/openstack.kolla/haproxy:master-rocky-9 "dumb-init --single-…" 2 minutes ago Up 2 minutes (healthy) haproxy dde4db82adb9 quay.io/openstack.kolla/cron:master-rocky-9 "dumb-init --single-…" 3 minutes ago Up 3 minutes cron 98faf57206a3 quay.io/openstack.kolla/kolla-toolbox:master-rocky-9 "dumb-init --single-…" 3 minutes ago Up 3 minutes kolla_toolbox 4871a0cd43a1 quay.io/openstack.kolla/fluentd:master-rocky-9 "dumb-init --single-…" 3 minutes ago Up 3 minutes fluentd
Илья | 😶☮️🐸
А то вдруг у quay рейт лимит, земля металлом
モズ
Посмотри потом на nexus, кайфанешь
ыыыы я вот дурак нет бы спать к жене под бок.... нет же сижу тут коллю.... чоза питница не питнца а?