
bee26
15.05.2017
10:38:08
где править?

Алексей
15.05.2017
10:38:10
что бы собрать вот такую схему

Bitbucket
15.05.2017
10:38:11
Dmitry Volodin pushed to noc/feature/dcs
ThreadPoolExecutor: Fix shutdown

bee26
15.05.2017
10:38:49
на 1 ноде это настроить можно?

Google

Алексей
15.05.2017
10:40:28
резервирование от падения ноды настроить на одной ноде ?
не думаю
вся эта схема нужна что бы можно было выключать ноды
и ничего не ломалось
это _не обязательно_ вовсе
минимальное колво хостов что бы инсталяция получилась отказоустойчивая к потере нод должна быть что то типа 6 нод.
надо посчитать внимательно

Bitbucket
15.05.2017
10:45:29
Aleksey Shirokih pushed to noc/feature/microservices
add checks
Dmitry Volodin pushed to noc/feature/dcs
activator: Configure http client
Dmitry Luhtionov pushed to noc/feature/microservices
Fix FreeBSD ansible roles
Aleksey Shirokih pushed to noc/feature/microservices
fix checks
Dmitry Volodin pushed to noc/feature/dcs
ThreadPoolExecutor: Fix metrics' name

Uburro
15.05.2017
11:47:08
Добрый день. Подскажите пожалуйста, а где в ноке можно задать частоту сбора конфигов с оборудования?

Google

Алексей
15.05.2017
11:47:47
sa -> setup -> mo profile

Uburro
15.05.2017
11:48:51
спасибо

E_zombie
15.05.2017
12:04:47
2017-05-15 15:02:11,538 [noc.lib.debug] PostgreSQL database error: column vc_vc.project_id does not exist
LINE 1: ...c_domain_id", "vc_vc"."name", "vc_vc"."state_id", "vc_vc"."p...
^
что то совсем всё плохо

Алексей
15.05.2017
12:07:08
миграцию прогони


E_zombie
15.05.2017
12:14:45
Running migrations for sa:
- Migrating forwards to 0140_move_object_path.
> sa:0139_object_data
Traceback (most recent call last):
File "./commands/migrate.py", line 16, in <module>
ignore_ghosts=True)
File "/opt/noc/lib/python2.7/site-packages/django/core/management/__init__.py", line 150, in call_command
return klass.execute(*args, **defaults)
File "/opt/noc/lib/python2.7/site-packages/django/core/management/base.py", line 232, in execute
output = self.handle(*args, **options)
File "/opt/noc/lib/python2.7/site-packages/south/management/commands/migrate.py", line 105, in handle
ignore_ghosts = ignore_ghosts,
File "/opt/noc/lib/python2.7/site-packages/south/migration/__init__.py", line 191, in migrate_app
success = migrator.migrate_many(target, workplan, database)
File "/opt/noc/lib/python2.7/site-packages/south/migration/migrators.py", line 292, in migrate_many
result = self.migrate(migration, database)
File "/opt/noc/lib/python2.7/site-packages/south/migration/migrators.py", line 125, in migrate
result = self.run(migration)
File "/opt/noc/lib/python2.7/site-packages/south/migration/migrators.py", line 99, in run
return self.run_migration(migration)
File "/opt/noc/lib/python2.7/site-packages/south/migration/migrators.py", line 81, in run_migration
migration_function()
File "/opt/noc/sa/migrations/0139_object_data.py", line 17, in forwards
bulk.execute()
File "/opt/noc/lib/python2.7/site-packages/pymongo/bulk.py", line 587, in execute
return self.__bulk.execute(write_concern)
File "/opt/noc/lib/python2.7/site-packages/pymongo/bulk.py", line 433, in execute
return self.execute_command(generator, write_concern)
File "/opt/noc/lib/python2.7/site-packages/pymongo/bulk.py", line 300, in execute_command
raise BulkWriteError(full_result)
pymongo.errors.BulkWriteError: batch op errors occurred


Andrey
15.05.2017
12:24:29
Running migrations for sa:
- Migrating forwards to 0140_move_object_path.
> sa:0139_object_data
Traceback (most recent call last):
File "./commands/migrate.py", line 16, in <module>
ignore_ghosts=True)
File "/opt/noc/lib/python2.7/site-packages/django/core/management/__init__.py", line 150, in call_command
return klass.execute(*args, **defaults)
File "/opt/noc/lib/python2.7/site-packages/django/core/management/base.py", line 232, in execute
output = self.handle(*args, **options)
File "/opt/noc/lib/python2.7/site-packages/south/management/commands/migrate.py", line 105, in handle
ignore_ghosts = ignore_ghosts,
File "/opt/noc/lib/python2.7/site-packages/south/migration/__init__.py", line 191, in migrate_app
success = migrator.migrate_many(target, workplan, database)
File "/opt/noc/lib/python2.7/site-packages/south/migration/migrators.py", line 292, in migrate_many
result = self.migrate(migration, database)
File "/opt/noc/lib/python2.7/site-packages/south/migration/migrators.py", line 125, in migrate
result = self.run(migration)
File "/opt/noc/lib/python2.7/site-packages/south/migration/migrators.py", line 99, in run
return self.run_migration(migration)
File "/opt/noc/lib/python2.7/site-packages/south/migration/migrators.py", line 81, in run_migration
migration_function()
File "/opt/noc/sa/migrations/0139_object_data.py", line 17, in forwards
bulk.execute()
File "/opt/noc/lib/python2.7/site-packages/pymongo/bulk.py", line 587, in execute
return self.__bulk.execute(write_concern)
File "/opt/noc/lib/python2.7/site-packages/pymongo/bulk.py", line 433, in execute
return self.execute_command(generator, write_concern)
File "/opt/noc/lib/python2.7/site-packages/pymongo/bulk.py", line 300, in execute_command
raise BulkWriteError(full_result)
pymongo.errors.BulkWriteError: batch op errors occurred
новая установка?


E_zombie
15.05.2017
12:24:41
нет. старая как гавно мамонта .

Andrey
15.05.2017
12:25:09
значит, какие-то косяки в БД
from noc.lib.nosql import get_db
uc = get_db()["noc.objectuplinks"]
dc = get_db()["noc.objectdata"]
bulk = dc.initialize_unordered_bulk_op()
n = 0
for d in uc.find():
bulk.insert({
"_id": d["_id"],
"uplinks": d.get("uplinks", [])
})
n += 1
if n:
bulk.execute()
это надо через shell попробовать

E_zombie
15.05.2017
12:29:02
а какой магический смысл?
»> if n:
... bulk.execute()
...
Traceback (most recent call last):
File "<stdin>", line 2, in <module>
File "/opt/noc/lib/python2.7/site-packages/pymongo/bulk.py", line 587, in execute
return self.__bulk.execute(write_concern)
File "/opt/noc/lib/python2.7/site-packages/pymongo/bulk.py", line 433, in execute
return self.execute_command(generator, write_concern)
File "/opt/noc/lib/python2.7/site-packages/pymongo/bulk.py", line 300, in execute_command
raise BulkWriteError(full_result)
pymongo.errors.BulkWriteError: batch op errors occurred
»>

Bitbucket
15.05.2017
12:36:14
Dmitry Luhtionov pushed to noc/feature/microservices
Fix FreeBSD consul role

Andrey
15.05.2017
12:39:25

E_zombie
15.05.2017
12:39:57
жора, ви таки меня изводите (с)

Andrey
15.05.2017
12:40:13
db.noc.objectuplinks.find().count()
в монге

Google

Andrey
15.05.2017
12:40:30
надо понять, что там не так

E_zombie
15.05.2017
12:40:57
noc:PRIMARY>
noc:PRIMARY> db.noc.objectuplinks.find().count()
54510
noc:PRIMARY> db.noc.objectuplinks.find().count()
54510
noc:PRIMARY> db.noc.objectuplinks.find()
{ "_id" : 1, "uplinks" : [ ] }
{ "_id" : 2, "uplinks" : [ ] }
{ "_id" : 3, "uplinks" : [ 1041 ] }
{ "_id" : 4, "uplinks" : [ 821, 1013 ] }
{ "_id" : 5, "uplinks" : [ ] }
{ "_id" : 6, "uplinks" : [ ] }
{ "_id" : 7, "uplinks" : [ ] }
{ "_id" : 8, "uplinks" : [ 1450 ] }
{ "_id" : 9, "uplinks" : [ 1159, 1403 ] }
{ "_id" : 10, "uplinks" : [ ] }
{ "_id" : 11, "uplinks" : [ ] }
{ "_id" : 12, "uplinks" : [ 2187, 2530 ] }
{ "_id" : 13, "uplinks" : [ ] }

Andrey
15.05.2017
12:45:27
db.noc.objectdata.find().count()

E_zombie
15.05.2017
12:45:53
noc:PRIMARY> db.noc.objectdata.find().count()
55373

Andrey
15.05.2017
12:46:53
db.noc.objectdata.drop()
и повторить миграцию
./noc migrate

E_zombie
15.05.2017
12:50:42
https://pastebin.com/4vgrNR3R

Andrey
15.05.2017
12:54:18
такое ощущение, что грохнулись записи о миграции
и система пытается повторить их с 0
и следует облом

E_zombie
15.05.2017
12:56:44
- noc.kb
- noc.support
- noc.phone
(use ./manage.py migrate to migrate these)
Running migrations for main:
- Nothing to migrate.
Running migrations for project:
- Nothing to migrate.
Running migrations for gis:
- Nothing to migrate.
Running migrations for inv:
- Nothing to migrate.
Running migrations for sa:
- Migrating forwards to 0140_move_object_path.
> sa:0139_object_data
> sa:0140_move_object_path
Running migrations for fm:
- Nothing to migrate.
Running migrations for pm:
- Migrating forwards to 0008_set_probe_credentials.
> pm:0008_set_probe_credentials
Running migrations for cm:
уж точно не все.


Andrey
15.05.2017
12:59:21
а...
миграция 0024_vcdomain_drop_selector зависит от миграции 0072_managedobject_set_vcdomain, а её отключили
вот, и получается, что пытается удалить колонку, которой нет
noc/vc/migrations/0024_vcdomain_drop_selector.py
вместо
def forwards(self):
db.drop_column("vc_vcdomain", "selector_id")
сделать
def forwards(self):
return
db.drop_column("vc_vcdomain", "selector_id")

Google

Andrey
15.05.2017
13:01:46
и запустить миграцию вручную

E_zombie
15.05.2017
13:01:57
# -*- coding: utf-8 -*-
## Third-party modules
from south.db import db
class Migration:
depends_on = [
("sa", "0072_managedobject_set_vcdomain")
]
def forwards(self):
db.drop_column("vc_vcdomain", "selector_id")
def backwards(self):
pass
прошло

Andrey
15.05.2017
13:03:04
теперь можно повторить деплой

E_zombie
15.05.2017
13:03:20
у меня деплой пошёл пиздой

Admin
ERROR: S client not available

Andrey
15.05.2017
13:04:15
ну, тогда ручками закончить
его

Ivan
15.05.2017
15:11:56
Контрольный

Bitbucket
15.05.2017
17:19:28
Aleksey Shirokih pushed to noc/feature/microservices
install systemd script on linux only
Aleksey Shirokih pushed to noc/feature/microservices
grafana service

Ilya
15.05.2017
17:54:43
?

Илья
15.05.2017
17:55:27
а вот так

Алексей
15.05.2017
19:51:22
Велкам обратно

Илья
15.05.2017
20:16:33
для чего этот параметр нужен?

Ivan
15.05.2017
22:20:30
мой ответ не подошёл?

Bitbucket
15.05.2017
22:26:52
Aleksey Shirokih pushed to noc/feature/dcs
Aleksey Shirokih: merge microservices to dcs
Aleksey Shirokih: grafana service
Aleksey Shirokih: install systemd script on linux only
Dmitry Luhtionov: Fix FreeBSD consul role
Aleksey Shirokih: fix checks
... See all

Alexey
16.05.2017
05:13:57
Коллеги, подскажите, экспорт из графаны в png должен работать? У меня 404 показывает

Алексей
16.05.2017
05:28:19

Google

Алексей
16.05.2017
05:28:31
Там есть набор граблей

Alexey
16.05.2017
05:43:43
Хорошо

E_zombie
16.05.2017
05:44:25
обновляться можно ?

Илья
16.05.2017
05:46:55
Вернее я так и не понял с твоего ответа

E_zombie
16.05.2017
06:28:11
это самое. а как бы нам для монги логротатор приделать в поставку
а то как то некошерна
у меня оно что то не работает
[root@nochost4 noc]# logrotate -f /etc/logrotate.conf
error: error creating output file /var/log/mongodb/mongod.log-20170516: File exists

Ivan
16.05.2017
06:38:45

E_zombie
16.05.2017
06:40:47
[root@nochost4 noc]# du -hs /var/lib/pgsql/9.4/data/* | grep G
4.0K /var/lib/pgsql/9.4/data/PG_VERSION
5.5G /var/lib/pgsql/9.4/data/pg_xlog

Ivan
16.05.2017
06:41:09

E_zombie
16.05.2017
06:46:18
логи в постгре тоже стоит поправить .
http://www.opennet.ru/opennews/art.shtml?num=46553