Anonymous
Viktor Manyushin будет жить. Поприветствуем!
Victor
Коллеги, а никто не задумывался над тем, что cinder-volume не чистит за собой лок файлы? да, они 0 байт, но они все в одной директории и их очень много...
gwaewion
gwaewion
Тут вопрос: почему он этого не делает?
Victor
Потому что там нет метода удаления локов:))) скорее вопрос для чего он так делает ...
Victor
😂😂😂👍👍
Anonymous
@snipghost будет жить. Поприветствуем!
Fox
спасайте опенстеку поплохело, доступа по сети к виртуалкам нет, горизонт не открывается
Fox
в логах нейтрона ERROR oslo.messaging._drivers.impl_rabbit [-] AMQP server on 192.168.0.3:5673 is unreachable: [Errno 111] ECONNREFUSED. Trying again in 32 seconds.
Maksim
Rabbit проверяй
Fox
root@node-53:~# ps axf | grep rabb
32127 pts/1 S+ 0:00 \_ grep --color=auto rabb
19559 ? Ss 6:26 /usr/bin/python /usr/bin/rabbit-fence.py
Fox
может рабит сервер на обоих нодах перерестартовать?
Maksim
Это ни о чем не говорит. У тебя как минимум нейтрон не может до него достучаться
Fox
=WARNING REPORT==== 25-Jul-2018::06:04:41 ===
closing AMQP connection <0.4852.0> (192.168.0.3:54398 -> 192.168.0.5:5673, vhost: '/', user: 'nova'):
client unexpectedly closed TCP connection
=WARNING REPORT==== 25-Jul-2018::09:53:57 ===
closing AMQP connection <0.4843.0> (192.168.0.3:54394 -> 192.168.0.5:5673, vhost: '/', user: 'nova'):
client unexpectedly closed TCP connection
Maksim
Проверь что порт случается и доступен, проверь что работает сам rabbit корректно
Fox
=ERROR REPORT==== 23-Aug-2018::20:16:00 ===
Error on AMQP connection <0.616.2269> (192.168.0.4:36216 -> 192.168.0.5:5673, vhost: '/', user: 'nova', state: running), channel 0:
operation none caused a connection exception connection_forced: "broker forced connection closure with reason 'shutdown'"
=ERROR REPORT==== 23-Aug-2018::20:16:00 ===
Error on AMQP connection <0.442.2269> (192.168.0.4:36214 -> 192.168.0.5:5673, vhost: '/', user: 'nova', state: running), channel 0:
operation none caused a connection exception connection_forced: "broker forced connection closure with reason 'shutdown'"
=ERROR REPORT==== 23-Aug-2018::20:16:00 ===
Error on AMQP connection <0.5247.0> (192.168.0.3:54472 -> 192.168.0.5:5673, vhost: '/', user: 'nova', state: running), channel 0:
operation none caused a connection exception connection_forced: "broker forced connection closure with reason 'shutdown'"
=ERROR REPORT==== 23-Aug-2018::20:16:00 ===
Error on AMQP connection <0.4837.0> (192.168.0.3:54390 -> 192.168.0.5:5673, vhost: '/', user: 'nova', state: running), channel 0:
operation none caused a connection exception connection_forced: "broker forced connection closure with reason 'shutdown'"
=ERROR REPORT==== 23-Aug-2018::20:16:00 ===
Error on AMQP connection <0.917.2269> (192.168.0.5:57554 -> 192.168.0.5:5673, vhost: '/', user: 'nova', state: running), channel 0:
operation none caused a connection exception connection_forced: "broker forced connection closure with reason 'shutdown'"
=INFO REPORT==== 23-Aug-2018::20:16:00 ===
Stopping message store for directory '/var/lib/rabbitmq/mnesia/rabbit@messaging-node-54/msg_store_persistent'
=INFO REPORT==== 23-Aug-2018::20:16:00 ===
Message store for directory '/var/lib/rabbitmq/mnesia/rabbit@messaging-node-54/msg_store_persistent' is stopped
=INFO REPORT==== 23-Aug-2018::20:16:00 ===
Stopping message store for directory '/var/lib/rabbitmq/mnesia/rabbit@messaging-node-54/msg_store_transient'
=INFO REPORT==== 23-Aug-2018::20:16:00 ===
Message store for directory '/var/lib/rabbitmq/mnesia/rabbit@messaging-node-54/msg_store_transient' is stopped
=INFO REPORT==== 23-Aug-2018::20:16:00 ===
Stopping application 'mnesia'
=INFO REPORT==== 23-Aug-2018::20:16:00 ===
Stopping application 'rabbit_common'
=INFO REPORT==== 23-Aug-2018::20:16:00 ===
Stopping application 'os_mon'
=INFO REPORT==== 23-Aug-2018::20:16:00 ===
Successfully stopped RabbitMQ and its dependencies
=INFO REPORT==== 23-Aug-2018::20:16:00 ===
Halting Erlang VM with the following applications:
ranch
ssl
public_key
asn1
crypto
syntax_tools
compiler
xmerl
inets
sasl
stdlib
kernel
Fox
и после этого все падает судя по всему
Fox
Stopping rabbit application on node 'rabbit@messaging-node-54'
Stopping and halting node 'rabbit@messaging-node-54'
Maksim
Ну это лог вчерашний, судя по дате
Fox
да после этого все и неработало
Fox
судя по всему
Fox
во всех службах только одно ERROR oslo.messaging._drivers.impl_rabbit [-] AMQP server on 192.168.0.5:5673 is unreachable:
Maksim
Вспоминай что менялось в это время, перезапусти, проверь сетевую доступность
Maksim
Fox
ничего не менялось его не кто ни трогает
Fox
может его стартануть?
Fox
он вроде в шатдауне
Fox
в процессах нет
Maksim
Нет, не надо запускать, просто смотри на него🙂. Ну конечно запусти
Fox
root@node-54:~# rabbitmqctl status
Status of node 'rabbit@messaging-node-54'
Error: unable to connect to node 'rabbit@messaging-node-54': nodedown
DIAGNOSTICS
===========
attempted to contact: ['rabbit@messaging-node-54']
rabbit@messaging-node-54:
* connected to epmd (port 4369) on messaging-node-54
* epmd reports: node 'rabbit' not running at all
other nodes on messaging-node-54: ['rabbitmq-cli-26']
* suggestion: start the node
current node details:
- node name: 'rabbitmq-cli-26@node-54'
- home dir: /var/lib/rabbitmq
- cookie hash: soeIWU2jk2YNseTyDSlsEA==
Fox
запустил
Fox
чтотото отвечает
Fox
новое в логах oslo_messaging.rpc.dispatcher [req-aae76a6d-7398-4c33-a5a7-4ab84ffa55ae - - - - -] Exception during message handling: (_mysql_exceptions.OperationalError) (2003, "Can't connect to MySQL server on '192.168.0.2' (113)")
Fox
<29>Aug 24 05:51:09 node-54 mysqld_safe: WSREP: Running position recovery with --log_error='/var/lib/mysql/wsrep_recovery.4Eww7O' --pid-file='/var/lib/mysql/node-54.-recover.pid'
<27>Aug 24 05:51:10 node-54 mysqld: 2018-08-24 05:51:10 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
<27>Aug 24 05:51:10 node-54 mysqld: 2018-08-24 05:51:10 0 [Note] /usr/sbin/mysqld (mysqld 5.6.37-0~u14.04+mos0) starting as process 16960 ...
<29>Aug 24 05:51:13 node-54 mysqld_safe: WSREP: Recovered position e6a2cde4-d5db-11e7-8bd4-231b0c08b870:61064379
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 0 [Note] /usr/sbin/mysqld (mysqld 5.6.37-0~u14.04+mos0) starting as process 17019 ...
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: Read nil XID from storage engines, skipping position init
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: wsrep_load(): loading provider library '/usr/lib/galera/libgalera_smm.so'
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: wsrep_load(): Galera 3.10(r8182fa6) by Codership Oy <info@codership.com> loaded successfully.
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: CRC-32C: using hardware acceleration.
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: Found saved state: e6a2cde4-d5db-11e7-8bd4-231b0c08b870:61064379
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: Passing config to GCS: base_dir = /var/lib/mysql/; base_host = 192.168.0.5; base_port = 4567; cert.log_conflicts = no; debug = no; evs.auto_evict = 0; evs.delay_margin = PT1S; evs.delayed_keep_period = PT30S; evs.inactive_check_period = PT0.
5S; evs.inactive_timeout = PT15S; evs.join_retrans_period = PT1S; evs.max_install_timeouts = 3; evs.send_window = 4; evs.stats_report_period = PT1M; evs.suspect_timeout = PT5S; evs.user_send_window = 2; evs.view_forget_timeout = PT24H; gcache.dir = /var/lib/mysql/; gcache.keep_pages_size = 0; gcache.mem_size = 0; gc
ache.name = /var/lib/mysql//galera.cache; gcache.page_size = 128M; gcache.size = 512M; gcs.fc_debug = 0; gcs.fc_factor = 1.0; gcs.fc_limit = 16; gcs.fc_master_slave = no; gcs.max_packet_size = 64500; gcs.max_throttle = 0.25; gcs.recv_q_hard_limit = 9223372036854775807; gcs.recv_q_soft_limit = 0.25; gcs.sync_donor =
no; gmcast.listen_addr = tcp://192.168.0.5:4567; gmcast.segment = 0; gmcast.version = 0; pc.announce_timeout
<27>Aug 24 05:51:14 node-54 mysqld: = PT3S; pc.checksum = false; pc.
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: Service thread queue flushed.
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: Assign initial position for certification: 61064379, protocol version: -1
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: wsrep_sst_grab()
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: Start replication
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: Setting initial position to e6a2cde4-d5db-11e7-8bd4-231b0c08b870:61064379
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: protonet asio version 0
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: Using CRC-32C for message checksums.
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: backend: asio
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Warning] WSREP: access file(/var/lib/mysql//gvwstate.dat) failed(No such file or directory)
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: restore pc from disk failed
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSR
Fox
EP: GMCast version 0
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: (b63c3b8f, 'tcp://192.168.0.5:4567') listening at tcp://192.168.0.5:4567
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: (b63c3b8f, 'tcp://192.168.0.5:4567') multicast: , ttl: 1
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: EVS version 0
<27>Aug 24 05:51:14 node-54 mysqld: 2018-08-24 05:51:14 17019 [Note] WSREP: gcomm: connecting to group 'openstack', peer '192.168.0.3:,192.168.0.5:'
<27>Aug 24 05:51:17 node-54 mysqld: 2018-08-24 05:51:17 17019 [Warning] WSREP: no nodes coming from prim view, prim not possible
<27>Aug 24 05:51:17 node-54 mysqld: 2018-08-24 05:51:17 17019 [Note] WSREP: view(view_id(NON_PRIM,b63c3b8f,1) memb {
<27>Aug 24 05:51:17 node-54 mysqld: b63c3b8f,0
<27>Aug 24 05:51:17 node-54 mysqld: } joined {
<27>Aug 24 05:51:17 node-54 mysqld: } left {
<27>Aug 24 05:51:17 node-54 mysqld: } partitioned {
<27>Aug 24 05:51:17 node-54 mysqld: })
<27>Aug 24 05:51:18 node-54 mysqld: 2018-08-24 05:51:18 17019 [Warning] WSREP: last inactive check more than PT1.5S ago (PT3.50231S), skipping check
<27>Aug 24 05:51:47 node-54 mysqld: 2018-08-24 05:51:47 17019 [Note] WSREP: view((empty))
<27>Aug 24 05:51:47 node-54 mysqld: 2018-08-24 05:51:47 17019 [ERROR] WSREP: failed to open gcomm backend connection: 110: failed to reach primary view: 110 (Connection timed out)
<27>Aug 24 05:51:47 node-54 mysqld: at gcomm/src/pc.cpp:connect():162
<27>Aug 24 05:51:47 node-54 mysqld: 2018-08-24 05:51:47 17019 [ERROR] WSREP: gcs/src/gcs_core.cpp:long int gcs_core_open(gcs_core_t*, const char*, const char*, bool)():206: Failed to open backend connection: -110 (Connection timed out)
<27>Aug 24 05:51:47 node-54 mysqld: 2018-08-24 05:51:47 17019 [ERROR] WSREP: gcs/src/gcs.cpp:long int gcs_open(gcs_conn_t*, const char*, const char*, bool)():1379: Failed to open channel 'openstack' at 'gcomm://192.168.0.3,192.168.0.5': -110 (Connection timed out)
<27>Aug 24 05:51:47 node-54 mysqld: 2018-08-24 05:51:47 17019 [ERROR] WSREP: gcs connect failed: Connection timed out
<27>Aug 24 05:51:47 node-54 mysqld: 2018-08-24 05:51:47 17019 [ERROR] WSREP: wsrep::connect(gcomm://192.168.0.3,192.168.0.5) failed: 7
<27>Aug 24 05:51:47 node-54 mysqld: 2018-08-24 05:51:47 17019 [ERROR] Aborting
<27>Aug 24 05:51:47 node-54 mysqld:
<27>Aug 24 05:51:47 node-54 mysqld: 2018-08-24 05:51:47 17019 [Note] WSREP: Service disconnected.
<27>Aug 24 05:51:48 node-54 mysqld: 2018-08-24 05:51:48 17019 [Note] WSREP: Some threads may fail to exit.
<27>Aug 24 05:51:48 node-54 mysqld: 2018-08-24 05:51:48 17019 [Note] Binlog end
<27>Aug 24 05:51:48 node-54 mysqld: 2018-08-24 05:51:48 17019 [Note] /usr/sbin/mysqld: Shutdown complete
<27>Aug 24 05:51:48 node-54 mysqld:
<29>Aug 24 05:51:48 node-54 mysqld_safe: mysqld from pid file /var/lib/mysql/node-54.pid ended
Fox
чтото с mysql
Fox
первый раз такие ошибки вижу
Fox
ERROR] WSREP: failed to open gcomm backend connection: 110: failed to reach primary view: 110 (Connection timed out)
Fox
это вообще что? (((
Maksim
У тебя там судя по логам галера, копать туда
Fox
Mysql лежит
Fox
<150>Aug 23 20:15:45 node-54 glance-api: 2018-08-23 20:15:45.164 27927 INFO eventlet.wsgi.server [-] 192.168.0.2 - - [23/Aug/2018 20:15:45] "GET /healthcheck HTTP/1.0" 200 137 0.003893
<150>Aug 23 20:15:48 node-54 glance-glare: 2018-08-23 20:15:48.413 21201 INFO eventlet.wsgi.server [-] 192.168.0.2 - - [23/Aug/2018 20:15:48] "OPTIONS /versions HTTP/1.0" 200 268 0.001037
Fox
больше записей нет в логе
Fox
haproxy тоже не запущен
Fox
есть желание просто перезапустить контролеры
Inna
если само всё попадало, может что-нибудь банальное, вроде места на диске?
Fox
логи под 98 %
Fox
могло из за логов призойти ?
Fox
проще наверное перезагрузить
Inna
лучше не надо перезагружать) если остаток 2% это норма, то источник проблемы может найтись в самом большом логе
Fox
поздно...
Inna
проще наверное перезагрузить
не помню с каким дистром, не получалось даже зассшиться, когда совсем заканчивалось место в /var >_<
Fox
<27>Aug 24 06:15:30 node-53 mysqld: 2018-08-24 06:15:30 13796 [Note] WSREP: wsrep_notify_cmd is not defined, skipping notification.
<27>Aug 24 06:16:10 node-53 mysqld: 2018-08-24 06:16:10 13796 [Note] WSREP: (de200977, 'tcp://192.168.0.3:4567') reconnecting to 15d37120 (tcp://192.168.0.5:4567), attempt 30
<27>Aug 24 06:16:55 node-53 mysqld: 2018-08-24 06:16:55 13796 [Note] WSREP: (de200977, 'tcp://192.168.0.3:4567') reconnecting to 15d37120 (tcp://192.168.0.5:4567), attempt 60
<27>Aug 24 06:17:39 node-53 mysqld: 2018-08-24 06:17:39 13796 [Note] WSREP: (de200977, 'tcp://192.168.0.3:4567') reconnecting to 15d37120 (tcp://192.168.0.5:4567), attempt 90
<27>Aug 24 06:18:24 node-53 mysqld: 2018-08-24 06:18:24 13796 [Note] WSREP: (de200977, 'tcp://192.168.0.3:4567') reconnecting to 15d37120 (tcp://192.168.0.5:4567), attempt 120
<27>Aug 24 06:19:09 node-53 mysqld: 2018-08-24 06:19:09 13796 [Note] WSREP: (de200977, 'tcp://192.168.0.3:4567') reconnecting to 15d37120 (tcp://192.168.0.5:4567), attempt 150
<27>Aug 24 06:19:54 node-53 mysqld: 2018-08-24 06:19:54 13796 [Note] WSREP: (de200977, 'tcp://192.168.0.3:4567') reconnecting to 15d37120 (tcp://192.168.0.5:4567), attempt 180
<27>Aug 24 06:20:39 node-53 mysqld: 2018-08-24 06:20:39 13796 [Note] WSREP: (de200977, 'tcp://192.168.0.3:4567') reconnecting to 15d37120 (tcp://192.168.0.5:4567), attempt 210
<27>Aug 24 06:20:44 node-53 mysqld_safe: A mysqld process with pid=13796 is already running. Aborting!!
<29>Aug 24 06:20:51 node-53 mysqld_safe: Starting mysqld daemon with databases from /var/lib/mysql
<29>Aug 24 06:20:51 node-53 mysqld_safe: WSREP: Running position recovery with --log_error='/var/lib/mysql/wsrep_recovery.tSA18r' --pid-file='/var/lib/mysql/node-53.euro-prestige.ru-recover.pid'
<27>Aug 24 06:20:52 node-53 mysqld: 2018-08-24 06:20:52 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
<27>Aug 24 06:20:52 node-53 mysqld: 2018-08-24 06:20:52 0 [Note] /usr/sbin/mysqld (mysqld 5.6.37-0~u14.04+mos0) starting as process 30245 ...
<29>Aug 24 06:20:56 node-53 mysqld_safe: WSREP: Recovered position e6a2cde4-d5db-11e7-8bd4-231b0c08b870:48711679
<27>Aug 24 06:20:57 node-53 mysqld: 2018-08-24 06:20:57 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
<27>Aug 24 06:20:57 node-53 mysqld: 2018-08-24 06:20:57 0 [Note] /usr/sbin/mysqld (mysqld 5.6.37-0~u14.04+mos0) starting as process 31033 ...
<27>Aug 24 06:20:57 node-53 mysqld: 2018-08-24 06:20:57 31033 [Warning] Using unique option prefix myisam_recover instead of myisam-recover-options is deprecated and will be removed in a future release. Please use the full name instead.
<27>Aug 24 06:20:57 node-53 mysqld: 2018-08-24 06:20:57 31033 [Note] Plugin 'FEDERATED' is disabled.
<27>Aug 24 06:20:57 node-53 mysqld: 2018-08-24 06:20:57 31033 [ERROR] Function 'innodb' already exists
<27>Aug 24 06:20:57 node-53 mysqld: 2018-08-24 06:20:57 31033 [Warning] Couldn't load plugin named 'innodb' with soname 'ha_innodb.so'.
<27>Aug 24 06:20:57 node-53 mysqld: 2018-08-24 06:20:57 31033 [ERROR] Function 'federated' already exists
<27>Aug 24 06:20:57 node-53 mysqld: 2018-08-24 06:20:57 31033 [Warning] Couldn't load plugin named 'federated' with soname 'ha_federated.so'.
<27>Aug 24 06:20:57 node-53 mysqld: 2018-08-24 06:20:57 31033 [ERROR] Function 'blackhole' already exists
<27>Aug 24 06:20:57 node-53 mysqld: 2018-08-24 06:20:57 31033 [Warning] Couldn't load plugin named 'blackhole' with soname 'ha_blackhole.so'.
<27>Aug 24 06:20:57 node-53 mysqld: 2018-08-24 06:20:57 31033 [ERROR] Function 'archive' already exists
<27>Aug 24 06:20:57 node-53 mysqld: 2018-08-24 06:20:57 31033 [Warning] Couldn't load plugin named 'archive' with soname 'ha_archive.so'.
Fox
блин пардон что сюда
Fox
мускулл запуститься неможет
Ruslan
Если кластер, то гуглите, как запустить развалившуюся галеру с одного узла.
Fox
урассс
Fox
базы засинкались
Fox
ВСЕМ доброе утро! всем спасибо!!!
Fox
Блин вчера день рождения было, и такой подарок)))
Inna
👍 что было-то?)
Fox
хз но есть подозрение что вчера в забилась папка логов под зовязку
Fox
пока ротация не прошла
Ruslan
хз но есть подозрение что вчера в забилась папка логов под зовязку
По умолчанию скуль и кролик хранят файлы в /var/lib. Если под var отдельный раздел, то он может забиться и сервисы также не смогут писать данные.
Ruslan
В общем надо смотреть вашу разбивку дисковой системы.
Fox
Это я сразу проверил, отдельный раздел было занято 12% , а вот логи... 98% и скорее всего вчера забились полностью
Anonymous
Stanislav будет жить. Поприветствуем!
Anonymous
Алексей будет жить. Поприветствуем!
Алексей
Серьёзно тут)
Anonymous
@rkasimov будет жить. Поприветствуем!
Anonymous
@irklan будет жить. Поприветствуем!
Анатолий
Доброго времени суток
вопрос такой есть инстанс, я в нем запортачил файл /etc/network/interfaces
он пропал из сети
можно ли как нибудь другими способами войти на эту машинку?
Анатолий
подскажите команду...
Анатолий
оч нужно
Aleksandr
подскажите команду...
https://docs.openstack.org/python-openstackclient/pike/cli/command-objects/console-url.html
Анатолий
отклось но на инстанс вход был по ключм