если все есть

+

само собой всё полождил. ошибки обычно class not found,

та же кул стори

манифесты для динамик класслоада убил

значть бы что он пытается подгрузить и как

ну покажи ошибку

значть бы что он пытается подгрузить и как

гуглани по Java Service Provider Interface

щас нет под рукой

classy

дык, потыкался, забил и обошёл в итоге

но кривовато вышло. хотелось бы попроще

у меня просто 2 мавен профиля, 1 для локалки 2 для EMR, отличается только scope

лучше так вопрос сформулировать: где посмотреть что в емровском спарке отличается от ваниллы?

в плане сборки и зависимостей?

зайти в core и распотрошить jar)

ничего там не отличается в крадце

кор тотже

ты лучше ошибку покажи и увидим в чем дело

ну там как минимум s3 провайдер какой-то свой и spark.sql тоже немного отличный от

это все класспаса дело

ты себе на локал такое ж намутить можешь просто положитв в класспас теже джарники

да вот джаиников там и правда каша не очень приятная

да уж. глянул щас — страшно стало

а со spark.sql вообще выкидывало jni error, даже не клас нот фаунд. но блин тоже щас логов не найду. оно юзает нативные либы?

надо конкретную ошибку смотреть

джава сама пользуется ими

можно жнай ошибку словить просто на разных версиях джавы

всем привет, подскажите пожалуйста как погасить слишком детальный вывод лога от spark2-submit в консоли? делаю так: spark2-submit data_preprocess.py --driver-java-properties "-Dlog4j.configuration=file:///path/to/log4jcustom.properties"В log4jcustom.properties вроде все уровни переставил на ERROR, но в логе продолжает сыпаться INFO

@renardeinside а через log4j?

Инициализируешь объект Logger и дальше внутри него по цепочке выставляешь методы

@renardeinside а через log4j?

изнутри питоновского приложения? это так работает через spark.sparkContext.setLogLevel, но там и до непосредственного старта вываливается просто огромное INFO и прочее

ну еще можно попробовать --conf spark.driver.extraJavaOptions="-Dlog4j.configuration=file://${PWD}/conf/log4j.properties"

А почему нет?) тут приведены примеры https://stackoverflow.com/questions/25193488/how-to-turn-off-info-logging-in-spark

@renardeinside

А почему нет?) тут приведены примеры https://stackoverflow.com/questions/25193488/how-to-turn-off-info-logging-in-spark

это пробовал - он гасит логи после создания sparkContext объекта, но до там все равно вываливается куча мусора

в итоге дело решилось установкой SPARK_CONF_DIR в кастомную локацию и прописыванием туда log4j.properties в желаемом виде. интересно что все описанные варианты есть в доке: https://spark.apache.org/docs/latest/running-on-yarn.html в разделе Debugging Your Application, но сработал из них только первый

Recently, Intel bought Altera, one of the largest producers of FPGAs. Intel paid a whopping $16.7 billion, making it their largest acquisition ever. In other news, Microsoft is using FPGAs in its data centers, and Amazon is offering them on their cloud services. Previously, these FPGAs were mainly used in electronics engineering, but not so much in software engineering. Are FPGAs about to take off and become serious alternatives to CPUs and GPUs? https://blog.esciencecenter.nl/why-use-an-fpga-instead-of-a-cpu-or-gpu-b234cd4f309c

Привет Ребят могу обратиться за консультацией по Cassandra?

да, тут использовал кто-то активно

Мне бы проблемку решить, всё перепробовал - поднимаю руки Касандра периодически игнорирует запросы на запись когда она под нагрузкой. Причём ошибку не отдаёт. Пишу с php через драйвер DataStax

ааа ты уже спрашивал вроде тут

Мне бы проблемку решить, всё перепробовал - поднимаю руки Касандра периодически игнорирует запросы на запись когда она под нагрузкой. Причём ошибку не отдаёт. Пишу с php через драйвер DataStax

емнип она и должна отказываться писать если не может. ошибки cassandra-stress выдает

ааа ты уже спрашивал вроде тут

Да, тишина =((

емнип она и должна отказываться писать если не может. ошибки cassandra-stress выдает

Так так, ща гляну

Только она не отказывается, а говорит типа "всё гуд, давай след запрос, чувак" )))

А запись не появляется

даже через cqlsh

А запись не появляется

ну тут имхо вариантов два - или она кэширует и будет классический eventually consistent, или это баг

ну тут имхо вариантов два - или она кэширует и будет классический eventually consistent, или это баг

Если кеширует, то после репейра должна внести запись в БД, верно?

Если кеширует, то после репейра должна внести запись в БД, верно?

"eventually" :)

"eventually" :)

не понял))))

не понял))))

когданить будет консистентой

в конечном счете

Мне клиентам так же ответить? XD

не понял))))

ну по идее "когда нибудь" оно таки приземлится на диски. Или нет :) кассандра - офигенна по концепции но хреновата по имплементации. Но меня не надо слушать, я не без собственной адженды в этом плане

"имплементировать экспоненциальный бэк-офф" (с)

Мне клиентам так же ответить? XD

а как ты проверяешь ответ?

что вставилось

а как ты проверяешь ответ?

Пишу синхронно Если ошибок нет - значит вставилось

какой CL?

LQ

Менял кстати, - ваще пофигу

All делал))

All делал))

все больше на баг смахивает

Я уже начал грешить на свои гривые руки

можно забуриться в слак или IRC датастакс, поспрашивать. Наши на такое обычно достаточно оперативно отвечают

Мне бы проблемку решить, всё перепробовал - поднимаю руки Касандра периодически игнорирует запросы на запись когда она под нагрузкой. Причём ошибку не отдаёт. Пишу с php через драйвер DataStax

о какой нагрузке идет речь? И распиши плз конфиг кассандры, интересно)

о какой нагрузке идет речь? И распиши плз конфиг кассандры, интересно)

3 потока на чтение/запись в перемешку каждый пишет пачками по 1000 за 4сек, нонстоп Пример таблички: CREATE TABLE company.egrul_card ( id text PRIMARY KEY, data text ) WITH bloom_filter_fp_chance = 0.01 AND caching = {'keys': 'NONE', 'rows_per_partition': 'NONE'} AND comment = '' AND compaction = {'class': 'org.apache.cassandra.db.compaction.SizeTieredCompactionStrategy', 'max_threshold': '32', 'min_threshold': '4'} AND compression = {'chunk_length_in_kb': '64', 'class': 'org.apache.cassandra.io.compress.LZ4Compressor'} AND crc_check_chance = 1.0 AND dclocal_read_repair_chance = 0.1 AND default_time_to_live = 0 AND gc_grace_seconds = 864000 AND max_index_interval = 2048 AND memtable_flush_period_in_ms = 0 AND min_index_interval = 128 AND read_repair_chance = 0.0 AND speculative_retry = '99PERCENTILE';

а сам кластер?

физика/виртуалки? ssd/hdd ?

скок нод и т п

и еще describe keyspace

и какая версия кассандры

а сам кластер?

3 тачки, толстые в них proxmox на каждой тачке виртуалка для касандры 500гб, 34гб памяти, 64CPU cqlsh> DESCRIBE company; CREATE KEYSPACE company WITH replication = {'class': 'SimpleStrategy', 'replication_factor': '2'} AND durable_writes = true;

диски хдд или ссд?

xdd

вот это сразу в глаза бросается 'replication_factor': '2' Это было осознанное решение?

Ну да, по 66% хранить

Не 3 же делать

я бы на момент диагностики 3 включил

мало ли что, обычно не рекомендуют ниже 3 ставить

мало ли что, обычно не рекомендуют ниже 3 ставить

Это когда речь идёт о кластере в 20+ нод наверное

с моей точки зрения все равно, это условие нормального существования распределенной системы

Я могу попробовать, но что-то подсказывает что проблема не уйдёт =(

попробуй, я тоже думаю что не уйдет

мне кажется число 2 прост не любят у нас изза кворума зукипера (например; проблема не ток его))

А есть какие-то лимиты на одну ноду? По диску, по памяти? Может по кол-ву документов?

мне кажется число 2 прост не любят у нас изза кворума зукипера (например; проблема не ток его))

думаю это из-за любого кворума

но такие вещи проще сразу проверить) до того, как начнешь дампы sstables читать

Может у меня ноды перегружены

думаю это из-за любого кворума

ну конечно, я поправил там)

Может у меня ноды перегружены

кстати, проксмокс, это же kvm, у тебя сами машины как настроены?

вот дальше смотри - после того как проверишь на рф3, смотри статы дисков