:DDD

ну ок, тогда вопрос какое удобнее всего будет завести в авсе чтобы без геморроя

Кассандра докером подымается

dihydrotestosterone

ну ок, тогда вопрос какое удобнее всего будет завести в авсе чтобы без геморроя

Вопрос из разряда - есть сервер, что поставить :) почему не аэроспайк?

dihydrotestosterone

не туда поисковой запрос втсавил

Кассандра докером подымается

Ват

Ват

Рили, ват? Касандра без кластера О_о

Вопрос из разряда - есть сервер, что поставить :) почему не аэроспайк?

а я о нём не слышал. ща посмотрю, спасибо за наводку.

Ват

Ну без геморроя , создал тераформом инстансы , ансиблом все разлил и поднял через докер Кассандру

Рили, ват? Касандра без кластера О_о

А чо нет , ты переменные среды пропиши контейнеру и все

Ну без геморроя , создал тераформом инстансы , ансиблом все разлил и поднял через докер Кассандру

Кассандра здесь плейсхолдер? Поставь что угодно?

ну, амазоновское DynamoDB например обойдётся в нехилую копеечку монгу придётся загонять в кластер, одной ноды будет явно мало а чё ещё есть, чтобы взять и юзать?

На твоих нагрузках не такие уж и бешеные, хотя это понятие относительное.

Кассандра здесь плейсхолдер? Поставь что угодно?

Думаю да

Думаю да

Спасибо

Кассандра здесь плейсхолдер? Поставь что угодно?

тогда понятно)

Ну прост тип, а что из коробки то кластером будет проще ?

Ну прост тип, а что из коробки то кластером будет проще ?

Аэроспайк

Аэроспайк

+, но он после скольких то над в кластре не платный разве ?

Может еще что то, но это то что я видел. И втф в проде на порядок меньше.

Но вообще как бы сова правильно говорит :)

+, но он после скольких то над в кластре не платный разве ?

Свыше 6 и свыше 4 лярдов объектов на одной ноде

Аэроспайк

он же платный

и 4 млрд обьектов я вчера тупо на тестах записал

он же платный

Только что написали

и 4 млрд обьектов я вчера тупо на тестах записал

Вы молодец

и 4 млрд обьектов я вчера тупо на тестах записал

В вопросе была пара лярдов

Но тут несколько нод, две ноды уже 8 миллиардов

Вы молодец

пока не очень, тк не могу совершить чудо и заставить кассандру работать не 30/1 а 120/1

пока не очень, тк не могу совершить чудо и заставить кассандру работать не 30/1 а 120/1

Это как ?

Это как ?

ну мин тема в кассандре на 30 гб данных 1 гб оперативы на ноду, иначе не будет работать компакшен при хдд

(кассандра мне чёт не оч, если что. в предыдущей конторе её в конце концов ритуально сожгли, потому что затрахались. но там вообще психанули, и смигрировали на BigQuery)

(кассандра мне чёт не оч, если что. в предыдущей конторе её в конце концов ритуально сожгли, потому что затрахались. но там вообще психанули, и смигрировали на BigQuery)

у меня разрабы не захотели осваивать хадуп, и обвязки, они сложные а кассандра с примери ключами и тп им оч понравилась, и с го дружит из коробки

у меня разрабы не захотели осваивать хадуп, и обвязки, они сложные а кассандра с примери ключами и тп им оч понравилась, и с го дружит из коробки

все это хорошо, но проектировать схему данных для кассандры надо очень вдумчиво, расписывать какие запросы будут, иначе кина не будет. И что сложного в хадупе нашли?

ну мин тема в кассандре на 30 гб данных 1 гб оперативы на ноду, иначе не будет работать компакшен при хдд

Ну а зачем такой изврат

все это хорошо, но проектировать схему данных для кассандры надо очень вдумчиво, расписывать какие запросы будут, иначе кина не будет. И что сложного в хадупе нашли?

нету драйверов для го, нужна куча юзеров и прав, больше компонентов по которым читать

все это хорошо, но проектировать схему данных для кассандры надо очень вдумчиво, расписывать какие запросы будут, иначе кина не будет. И что сложного в хадупе нашли?

Это для всяк nosql

Это для всяк nosql

а для этого на ноде с кассандрой будет спарк

Это для всяк nosql

не для всякого, например эластик

ладно, для всех колоночных бд

а для этого на ноде с кассандрой будет спарк

как будто это спасет от неоптимального чтения

у меня получилось 150 нод с кассандра+спарк

по 30 тб

и 1,5 пб чистого пространства

не для всякого, например эластик

да всеравно эти миграции схем и перестроение индексов даже на эластике ниоч

ладно, для всех колоночных бд

кассандра не колоночная бд

кассандра не колоночная бд

ну да; давай не документо ориентированная; но я имел ввиду не кассандру а классические больше таблицы в своем предложении

для этого даже спец. термин придумали: https://en.wikipedia.org/wiki/Wide_column_store

ну ты прост эластик в пример привел)

ну да; давай не документо ориентированная; но я имел ввиду не кассандру а классические больше таблицы в своем предложении

мне предстоит брать json и по колонкам и строкам данные распределять, а потом через спарк делать будет датасатанист выборку и графики

правда у меня в паре колонок будет более 6 млрд записей

как вот это делать переваривать, не ясно

ну ты прост эластик в пример привел)

я его как пример NoSQL, кстати как kv с требованием пары сотен запросов в секунду справится :)

да один фиг в палне индексов большие таблицы скучные

а то как он расфигачивать будет и как хранить это не аткая проблема

как угодно можн (value часть)

мне предстоит брать json и по колонкам и строкам данные распределять, а потом через спарк делать будет датасатанист выборку и графики

и снова вангую, что такой подход будет работать очень-очень плохо, тебе надо чтобы запросы попадали в индекс касандры, если этого не будет, будет сплошное разочарование

а разве у эластика не над в индекс попадать

и снова вангую, что такой подход будет работать очень-очень плохо, тебе надо чтобы запросы попадали в индекс касандры, если этого не будет, будет сплошное разочарование

?ну я бумагу про это напишу, и мне пофиг

лексикграфические выборки то везде быстрее будут

но да вообще может те правда нужен эластик Хрыч

а разве у эластика не над в индекс попадать

там каждое поле может быть индексом в каком то смысле

там каждое поле может быть индексом в каком то смысле

очень условно

у меня начальство вообще думает сделать 640 гб вместо 1 тб на ноду, но если закупка будет так, то я сразу заявление напишу

а зачем тебе много места для тестов то

а зачем тебе много места для тестов то

не, эт прод

взлетит если тогда наращивайте мощу

взлетит если тогда наращивайте мощу

ну тесты у меня пройдут на 5120 голдах, 256 гб рамы и 21 обьём хдд

у меня начальство вообще думает сделать 640 гб вместо 1 тб на ноду, но если закупка будет так, то я сразу заявление напишу

много памяти на ноду

много памяти на ноду

наоборот мало, разрабы кассандры говорят 30 к 1

наоборот мало, разрабы кассандры говорят 30 к 1

так сделайте больше узлов

обнолвять проще будет

но я то не знаю ничего

наоборот мало, разрабы кассандры говорят 30 к 1

на ноду кассандры не более 32 гигов выделяй

на ноду кассандры не более 32 гигов выделяй

????а спарк я туда как тогда раз, а во вторых ты мне писюки тогда ставить советуешь?

????а спарк я туда как тогда раз, а во вторых ты мне писюки тогда ставить советуешь?

да у вас железные ж тачки я так понял

стойки рядом или в одной и все по локалке пустить

прост у вас тачки оч мощные

????а спарк я туда как тогда раз, а во вторых ты мне писюки тогда ставить советуешь?

не распарсил, почему в одной куче кассандра и спарк, они же в разных jvm будут

ага

а скок ядер на тачках

стойки рядом или в одной и все по локалке пустить

ну они будут воткнуты по 40г линии из 4 портов

я не понял

потомучто если по 30 ядер на тачке то не так и плохо

или 60

спарк чем будет управляться, сам по себе, раз вы хадуп не осилили?

я не понял

там к кассандре и кафке пожелание, чтобы ничего тяжелого на этой же физ ноде не было

там к кассандре и кафке пожелание, чтобы ничего тяжелого на этой же физ ноде не было

ну спарку впринципе плохо

главное чтоб диски выдрежали

и спу был

а скок ядер на тачках

20 ядер на ноду физических и 40 с потоками

ну спарку впринципе плохо

я про смену контекста

ааа

20 ядер на ноду физических и 40 с потоками

мало