Ну как пример вот это) https://blogs.oracle.com/datawarehousing/big-data-sql-quick-start-offloading-part2

Здравствуйте Уважаемые разработчики, кто-то работал с Aerospike? Мне бы проконсультироваться...

кто-то работал

Здравствуйте Уважаемые разработчики, кто-то работал с Aerospike? Мне бы проконсультироваться...

"don't ask to ask, just ask"

Мне надо хранить версии документов с сортировкой по дате В аэроспайк не увидел решений, там даже нет указания для порядка записи данных Это вообще реально сделать на данной БД ?

Мне надо хранить версии документов с сортировкой по дате В аэроспайк не увидел решений, там даже нет указания для порядка записи данных Это вообще реально сделать на данной БД ?

Ну это не типовая задача для аэроспайка

Можно ключ сделать

Если скажем не более одного документа в день

Мне надо хранить версии документов с сортировкой по дате В аэроспайк не увидел решений, там даже нет указания для порядка записи данных Это вообще реально сделать на данной БД ?

Если AWS, то может S3?

Что в данном случае представляет собой документ? Если набор атрибутов и есть HDFS, то версии есть у HBase из коробки.

Мне надо хранить версии документов с сортировкой по дате В аэроспайк не увидел решений, там даже нет указания для порядка записи данных Это вообще реально сделать на данной БД ?

это key-value, сортировок нет, но если хотите, можете в одной записи хранить все документы и как-то извратиться с map-ами (https://www.aerospike.com/docs/guide/cdt.html), где порядок указать можно

Спасибо, значит буду разруливать как-то. Может на другой БД Ещё один вопрос: Аэроскпайк же платное решение? Не понятен этот момент: оплата за количество серверов или за ПО ?

есть комьюнити версия с некоторыми лимитами (по количеству объектов, до 6 серверов и еще что-то)

почему именно аэроспайк?

почему именно аэроспайк?

Потому что касандра себя проявила крайне плохо

Потому что касандра себя проявила крайне плохо

выяснили почему или просто без диагностики решили сменить систему?

выяснили почему или просто без диагностики решили сменить систему?

1) Сложности в настройке 2) Сложност ив поиске специалиста 3) Сама БД, даже после настройки, тупо игнорирует запросы на запись не выдавая ошибок - Вот это было последней каплей...

Спасибо, значит буду разруливать как-то. Может на другой БД Ещё один вопрос: Аэроскпайк же платное решение? Не понятен этот момент: оплата за количество серверов или за ПО ?

For Community Edition, the maximum number of nodes is limited to 31 for versions prior to 4.0 and limited to 8 for versions 4.0 and above.

1) Сложности в настройке 2) Сложност ив поиске специалиста 3) Сама БД, даже после настройки, тупо игнорирует запросы на запись не выдавая ошибок - Вот это было последней каплей...

а сциллу не попробовали?

Hbase же вроде умеет это

По версиям.

Вот и будет документ и его версии. По дате

Hbase же вроде умеет это

вы видимо новичок в этом чате, сейчас ответят что надо тысячи чтений в секунду :)

а сциллу не попробовали?

Вот после аэроспайка буду пробовать Хотя, сутя по их лозунгу, мало что изменится при переходе на неё

Вот после аэроспайка буду пробовать Хотя, сутя по их лозунгу, мало что изменится при переходе на неё

там хотя бы помогут разобраться если проблемы будут

там хотя бы помогут разобраться если проблемы будут

Времени нет на это всё. Нужна распределённая БД и чтоб, блять, работала!!!!!! Извините ))

For Community Edition, the maximum number of nodes is limited to 31 for versions prior to 4.0 and limited to 8 for versions 4.0 and above.

Торгаш говорил 6. Вот жук.

Торгаш говорил 6. Вот жук.

может он и прав, может на сайте не поменяли, там есть 404 страницы.

А про кейс, я б глянул возможности udf. Напрашивается доки хранить по бинам, где дата имя бина.

Времени нет на это всё. Нужна распределённая БД и чтоб, блять, работала!!!!!! Извините ))

чтоб работала и без вопросов - надо брать дорогой хостед, чтоб самому ничем не заморачиваться, и то не факт что будет гладко

там много решений, ключ => id документа, value sorted map где ключ версия, а значение время и у них есть метод get_index(-1) самое последнее и будет

чтоб работала и без вопросов - надо брать дорогой хостед, чтоб самому ничем не заморачиваться, и то не факт что будет гладко

хостед - это что вы имеете в виду?

там много решений, ключ => id документа, value sorted map где ключ версия, а значение время и у них есть метод get_index(-1) самое последнее и будет

Это вы о какой БД ?

Это вы о какой БД ?

аэроспайк

хостед - это что вы имеете в виду?

cassandra as service

хостед - это что вы имеете в виду?

ааS какой нибудь. dynamoDB например

там много решений, ключ => id документа, value sorted map где ключ версия, а значение время и у них есть метод get_index(-1) самое последнее и будет

Не помню точно, но мапа там вроде не упорядоченная.

ааS какой нибудь. dynamoDB например

Вендор лок, который еще не известно насколько проблему уменьшит.

может быть упорядочена, Elements are stored based on the map's ordering type. Unordered maps have no persisted ordering, while K-ordered maps are stored based on key ordering. KV-ordered maps are also K-ordered but may have an additional value-order index depending the namespace configuration. Performance for different map types are detailed below. Element access can also be based on ordering - either through index (key ordering) or rank (value ordering).

Вендор лок, который еще не известно насколько проблему уменьшит.

и может стоить как самолет

Вендор лок, который еще не известно насколько проблему уменьшит.

несомненно. Но требовать бесплатный опенсорс который "чтоб, блять, работала!!!!!!" без усилий это немного абсурдно

Ну вот ElasticSearch работает как часы кстати

Ну вот ElasticSearch работает как часы кстати

ой не надо, я эту дрянь поддерживал на протяжении пары лет как логгер для больших опенстаков, хуже него разве что rabbitmq и opendaylight

ой не надо, я эту дрянь поддерживал на протяжении пары лет как логгер для больших опенстаков, хуже него разве что rabbitmq и opendaylight

Ну вот не поверите: Редис падал, Мускул падал, Даже мемкеш падал, Касандра постоянно борохлит Ластику всё побоку

ой не надо, я эту дрянь поддерживал на протяжении пары лет как логгер для больших опенстаков, хуже него разве что rabbitmq и opendaylight

смотря какие нагрузки, у нас работает отлично и то и другое

Ну вот не поверите: Редис падал, Мускул падал, Даже мемкеш падал, Касандра постоянно борохлит Ластику всё побоку

не поверю, ибо насмотрелся :)

смотря какие нагрузки, у нас работает отлично и то и другое

стандартный опенстак, пара тысяч серверов кидают логи. ELK на отдельном, мощном железе

стандартный опенстак, пара тысяч серверов кидают логи. ELK на отдельном, мощном железе

у какого какой стандарт, я меряю в рамках 20-30 серверов, у вас тысячи :)

у какого какой стандарт, я меряю в рамках 20-30 серверов, у вас тысячи :)

я до недавнего времени инфраструктуры строил а не бигдатой занимался, тут я новичек

год назад на митапе в рамблере говорили что у них кластер под аналитику (спарк и т.д.) состоит из 40 серверов, а у тут тысячи это на два порядка больше, т.е. это уровень одноклассников/вк. Проблемы формулы 1 мало трогают обычных автолюбителей.

Вот после аэроспайка буду пробовать Хотя, сутя по их лозунгу, мало что изменится при переходе на неё

еще есть Tarantool отечественного разлива

год назад на митапе в рамблере говорили что у них кластер под аналитику (спарк и т.д.) состоит из 40 серверов, а у тут тысячи это на два порядка больше, т.е. это уровень одноклассников/вк. Проблемы формулы 1 мало трогают обычных автолюбителей.

установки разные были, от сотен до тысяч хостов, и это не считая вспомогательные контроллеры

еще есть Tarantool отечественного разлива

он разве не сфокусирован на in memory?

А платные решения какие есть, не подскажете?

он разве не сфокусирован на in memory?

вроде с двиком vinyl ram как кеш https://tarantool.io/ru/doc/1.9/book/box/engines/ документация конечно поражает, куски на русском языке, куски на английском

вроде с двиком vinyl ram как кеш https://tarantool.io/ru/doc/1.9/book/box/engines/ документация конечно поражает, куски на русском языке, куски на английском

зато можно пинать мейл.рушечку

зато можно пинать мейл.рушечку

в смысле пинать?

Во всех смыслах, как разработчика

ага, приехать к метро аэропорт, и взять за грудки, с фразой когда пофиксишь баг?

Почти что. В крайнем случае отминусовать карму очередной бравурной статьи на хабре

Почти что. В крайнем случае отминусовать карму очередной бравурной статьи на хабре

хабр вроде как принадлежит майлу, не то место где можно пинать :)

хабр вроде как принадлежит майлу, не то место где можно пинать :)

Не принадлежит

Там на деньги яндексе его выкупили

Там на деньги яндексе его выкупили

да, вижу, спасибо https://habr.com/company/roem/blog/193488/

#job Всем привет! Ищем Data engineer и Архитекторов в нашу команду в СИБУРе. Если в вашей голове назревает вопрос «Шта? И где там большие данные?», то поверьте - поле для творчества очень большое. Данных, конечно не как в кликстриме, но много - производство тоже их постоянно генерит. У нас полный гринфилд, смелые эксперименты и последние технологии приветствуются. Пока мы строим, а все знают, что строить гораздо интересней, чем сопровождать. В плане источников есть всё, начиная от rdbms и заканчивая IIoT. Есть вопросы или интерес? Велкам ко мне в личку!

#job Всем привет! Ищем Data engineer и Архитекторов в нашу команду в СИБУРе. Если в вашей голове назревает вопрос «Шта? И где там большие данные?», то поверьте - поле для творчества очень большое. Данных, конечно не как в кликстриме, но много - производство тоже их постоянно генерит. У нас полный гринфилд, смелые эксперименты и последние технологии приветствуются. Пока мы строим, а все знают, что строить гораздо интересней, чем сопровождать. В плане источников есть всё, начиная от rdbms и заканчивая IIoT. Есть вопросы или интерес? Велкам ко мне в личку!

@devops_jobs запостите туда согласно правилам с вилкой и стеком, найдете себе человечка

@devops_jobs запостите туда согласно правилам с вилкой и стеком, найдете себе человечка

При чем здесь девопсы?

при том что недалеко ушли и людей там больше, соответственно шансов найти

Лан, не буду на тему кто и как далеко ушел.

и те и те в хадупе кассандре ковыряются

Ок ок

Привет! Кто-нибудь юзает спарк сабмит оператор в эйрфлоу?

Привет! Кто-нибудь юзает спарк сабмит оператор в эйрфлоу?

Наши юзали, но потом отказались а потом отказались и от эирфлоу; могу узнать в чем было дело со спарк сабмит оператором

Да, было бы интересно, не первый раз слышу нелестные отзывы

Наши юзали, но потом отказались а потом отказались и от эирфлоу; могу узнать в чем было дело со спарк сабмит оператором

а почему от аирфлоу ушли?

а почему от аирфлоу ушли?

я тут вбрасывал наш адр поэтому поводу; но в крадце- он достал и петонистов и девопосов

Постоянно что-то отваливалось и они забили

бгг, хорошо, что я так и не рискнул на нем

свой велосипед всяко приятнее

ну не знаю) в итоге авс завязка