вот дальше смотри - после того как проверишь на рф3, смотри статы дисков

админам передам, спс

кстати, проксмокс, это же kvm, у тебя сами машины как настроены?

Знаю что это виртуалки а не контейнеры. Всё =)

если с дисками все ок - смотри логи кассандры

ну точнее эти вещи можно одновременно делать =)

Знаю что это виртуалки а не контейнеры. Всё =)

там тоже можно изрядно накосячить

ну а дальше траблшутить memtable sstable commitlog

кстати, проксмокс, это же kvm, у тебя сами машины как настроены?

согласен, проброс дисков на квм это всегда весело х)

согласен, проброс дисков на квм это всегда весело х)

подозреваю что там пробросом и выделенными дисками и не пахнет. и я даже не буду начинать про сам проксмокс - этот союз бульдога с носорогом

Я хз, админы там делают свои дела, им я доверяю, вроде толковые ребята

на самом деле ты размеры батчей попробуй уменьшить на запись

посмотри что будет

Я хз, админы там делают свои дела, им я доверяю, вроде толковые ребята

окей :)

на самом деле ты размеры батчей попробуй уменьшить на запись

Блин, я наврал, там чанк 2 стоит. Т.е. Батч 2 летит в БД

МОжет таки увеличить над?

тогда увеличь

10 пробую

Там документы большие и не проталкивался зарос - ругалась типа слишком большой, я вспомнил

на самом деле не понятно; я по одному пихал и все работало

на самом деле не понятно; я по одному пихал и все работало

+1

я на своих тестовых виртуалках спокойно получал около 10к в секунду записей без батчей

Меня огорчают такие высказывания

да даже полезнее по одному наверно) всегда паралелизацию делал на драйвере и пихал по одной

А какой язык ?

я на своих тестовых виртуалках спокойно получал около 10к в секунду записей без батчей

Касандра пустая была или запролнена?

набитая

Смерти моей хотите

последний раз делали тесты - несколко суток подряд долбили в нее записи 10к в секуну и потом смотрели все ли ок с данными

проблем не было

А с какого языка писали? Какой драйвер?

Может в драйвере дело?

но там правда сдд

джава

но там правда сдд

о как

У меня-то пых, и драйвер на cpp

ты же выше писал, что проверял через cqlsh

то есть проблема не в драйвере

верно

Ну тогда у меня открыто предложение - прошу помочь разобраться с проблемой за вознаграждение естессно

Ну тогда у меня открыто предложение - прошу помочь разобраться с проблемой за вознаграждение естессно

а какая версия кассандры?

[root@cassandra11 ~]# cqlsh Connected to Test Cluster at 127.0.0.1:9042. [cqlsh 5.0.1 | Cassandra 3.11.2 | CQL spec 3.4.4 | Native protocol v4]

Оно ?

да

?

а кто-то в курсе, как изнутри ec2 инстанса узнать, не спот ли он?

в http://169.254.169.254/latest/meta-data/ вроде нет

в http://169.254.169.254/latest/meta-data/ вроде нет

instance-type - не оно?

instance-type - не оно?

не, это типа m4.xlarge и прочее

а, тогда сорян

хотя можно через instance-id и describe-instances

точно

спасибо)

а, тогда пожалста

=)))

хотя я все же не уверен, что это сработает, отпиши плз получится или нет

хотя я все же не уверен, что это сработает, отпиши плз получится или нет

угу, InstanceLifecycle в describe_instances

сложно запрятано

спасибо

ERROR [main] regionserver.HRegionServer: Failed construction RegionServer Подскажите плз, это при запуске hbase в fully destribution mode Конфигурил по оф докам

шот не так

1. Указал регион сервера 2. так же создал фаил с бэкап мастер разлил все по хостам и в тории все должно быть ок

и так вот таким образом запустилось //<value>hdfs://name0.node:8020/hbase</value> <value>file:///home/hadoop/HA/data/hbase</value> Но это же не правильно, Гриш проведи ликбез, получается когда опция файл, не юзается hdfs?

угу, видимо у него какието пробелмы были с доступом к хадупу

смотри у меня и в хадупе вот так <name>dfs.namenode.name.dir</name> <value>file:///home/hadoop/HA/data/namenode/</value>

я делал все по ману с https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-high-availability/

смотри у меня и в хадупе вот так <name>dfs.namenode.name.dir</name> <value>file:///home/hadoop/HA/data/namenode/</value>

Получается тут тоже надо hdfs?

hdfs getconf -confKey fs.defaultFS file:/// а должен быть адрес типа hdfs://name0.node Подскажите плз а то похоже я собрал гавно с палками

неа

смотри, хадупо конфиги должны на локальные файлы ссылаться - да

потому что это адреса меты и дата ноды на хосте

в конфиге хбейза волюм должен хранитсья какраз на хдфс

т.е. там должно быть чтото типа <property> <name>hbase.rootdir</name> <value>hdfs://localhost:8030/hbase</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hadoop/zookeeper</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property>

да, все верно оф доки так и говорят

если короче хбейз завелся на локалфс

а не на хдфс

чекни что со всех тачек ты можешь достать кластер

копирни с каждой тачки руками чтнить через cli (самое простое что я могу предложить)

зато сразу поймешь работает или нет

типа в обе стороны типа вот так name <> data

ну я имел ввиду чекни как хдфс доступен с тачек хбейза

у меня ключи ток в одну сторону настроены с главной ноды на все остальные

попробуй открыть им все)

уверен что тут где-то факап

ну для примера выруби секурность и посмотри как общаться будут

ну я имел ввиду чекни как хдфс доступен с тачек хбейза

hbase стоит у меня на тех же тачках что и хадуп, отдельно не заводил кластер

а потом включи и посмотри где косяки

уверен что тут где-то факап

коненчо=)

ну для примера выруби секурность и посмотри как общаться будут

сеюрность на уровне ос?

да не; тыж ключи кинул)