что конечно не сложно но фимоз

просто тебе еще за ней следить придется

у меня есть крон)

крон 2.0?

само собой

отлично!

если что - то упадет мне письмо придет

1.0 уже не используют в продакшене

говорят он нестабилен

вот и локальные мемы подъехали

а 2.0 на джаве написан, с ним все ок, только хип сайз надо тюнить

в хбейз офф доку для спарка добавили

отлично

а когда они рещлизят новую версию?

потому что я писал свою лабуду чтоб в хбейз постить данные

а теперь ун их свою спарк модуль будет

там прям смотри как предлагают работать

(который я конечно же скопировал)

val sc = new SparkContext("local", "test") val config = new HBaseConfiguration() val hbaseContext = new HBaseContext(sc, config) val ssc = new StreamingContext(sc, Milliseconds(200)) val rdd1 = ... val rdd2 = ... val queue = mutable.Queue[RDD[(Array[Byte], Array[(Array[Byte], Array[Byte], Array[Byte])])]]() queue += rdd1 queue += rdd2 val dStream = ssc.queueStream(queue) dStream.hbaseBulkPut( hbaseContext, TableName.valueOf(tableName), (putRecord) => { val put = new Put(putRecord._1) putRecord._2.foreach((putValue) => put.addColumn(putValue._1, putValue._2, putValue._3)) put })

мы вот кстати кассандрочку используем в стриминге, оч нравится

любопытно, тут кликхаус много кто юзает?

KrivdaAllStars дык я по мотивам их апи делал свое

потому что у них давно сорцы на гитхабе лежат и не особо активно обвноляются

(спарк модуля)

Andrey а вы покупали где-нибудь поддержку или нафиг не нужна?

Я тоже использую Cassandra но есть страх нарваться на баг, который не даст двигаться дальше

А так тоже очень нравится

мы присматриваемся к датастаксу для одного из проектов, но пока точно не решили

в текущий момент у нас ванильная кассандра

а динаму никто не использовал?

ну типа почему кассандра именно

Кассандра зрелая

ну динама всего на 4 года моложе

(эт просто вопрос я не исползвоал динаму тоже особо ток палкой тыкал)

а динаму никто не использовал?

мы ж банк, кто нам даст в амазоне данные хранить

Хорошая интеграция со спарк

да у динамы тож

мы ж банк, кто нам даст в амазоне данные хранить

вот эт аргумент

постойте это какая у кассандры хорошая спарк интеграция?

ну, типа датафреймы там все дела

а

пушдаун неплохо работает

вы про датастакс жуткий вот этот плагин

мм ясн да она норм

в отличии от ластика, когда одна из нод кассандры умирает, спарк не отъезжает

фрозен типы поддерживаются

чо еще..

У меня (Псб) процесс выглядит так

В Кафку падают платёжки юриков

В касандре агрегированная история по юрикам

Стреминг читает Кафку, агрегирует входящие платёжки добавляет из истории

Потом прогоняет по мл модели и назад результат в Кафку

с кафкой проблем не было?

Пока нет)

а то интернеты прям на два лагеря разделились, одни топят за нее, другие считают ее ни разу не ентрепрайз реди

Я тогда в первый лагерь , потому как много процессов хочу на нее завернуть

а нагрузка большая у вас?

на ней

Пока нет, но мы только начали все строить

Из того что читал не должно быть проблем

ясно, потом расскажите обязательно как впечатления)

Обязательно )

против кафки обычно выступают те у кого нагрузка в миллионах рпс, потому что там начинаются проблемы со скейлингом

то есть до, скажем, 200к рпс ее можно смело использовать? ну разумеется с прямыми руками

ну 200к рпс у нас в одном жирном топике и живет это на 3х виртуалках проблем не было за полгода но у нас там ретеншн всего 2ч, поэтому он и ребалансится относительно нормально

ясно, спасибо

кстати, кафка сегодня зарелизила 1.0

mature technology)

300к рпс (два жирных топика + мелочь), год живем без проблем (ретеншен 8 часов на жирных, 3 физические тачки). за все время падала 1 раз по своим внутренним причинам и пару раз из-за кривых рук (хотя и тогда проблема была не в кафке, а в зукиперах). переезд всей кафки с зукиперами на новые серваки и обновление с 0.9 на 0.10 без даунтайма прошло

Всем привет Столкнулся с такой проблемой. Есть паркет файлы с данными +- 3гб. После того как читаю их спарком, делаю несколько фильтров и обратно записываю в паркет, получается 2гб. Все вроде ок. Но когда я добавляю к фильтрам dropDuplicates() и записываю, объём данных становится около 7гб. Что происходит? ??‍♂️

Всем привет Столкнулся с такой проблемой. Есть паркет файлы с данными +- 3гб. После того как читаю их спарком, делаю несколько фильтров и обратно записываю в паркет, получается 2гб. Все вроде ок. Но когда я добавляю к фильтрам dropDuplicates() и записываю, объём данных становится около 7гб. Что происходит? ??‍♂️

Привет. Скинь код сюда

Ну в код ничего особенного

contracts_df = spark.read.load(root_dir_DTContracts + date_path)\ .withColumn("search_guid", F.lower(F.col("search_guid")))\ .withColumn("contract_key", F.concat_ws("_", "supplier_code", "contract_key") )\ .filter((F.col("origin")!="") & (F.col("destination")!="")) contracts_df = contracts_df\ .dropDuplicates(subset=list(set(contracts_df.columns) - {"searched_on", "contract_id"})) contracts_df.coalesce(16).write.parquet("mnt/data-science-users/nikolai/DTContracts/" + date_path, mode="overwrite")

для начала я бы попробовал сохранить в json и посмотреть как там обстоят дела

Всем привет! Кто-нибудь пробовал подружить spark notebook и stanford-corenlp?

в apache ignite хотя ga завести

кароч и туда ml всунули)

все так игнит юзают что прям самому хочется заюзать

все?)

аахахаха

ну потрогать наверное смысл есть

в apache ignite хотя ga завести

ga?

ну потрогать наверное смысл есть

ну год назад хорошо работало только key-value storage

Ну и всякие авторизации через ldap

в gg

меня игнайт пугает

ну год назад хорошо работало только key-value storage

ну не, там уже ж давно транзакционность и sql есть

так был

мы его юзали

ga genetic algorithm

ну транзакции были, но типа read uncommited

но тут могу соврать

кароче

юзали sql, dist queue