эластик очень хорош, но боюсь если считать большие агрегаты не подойдет

Да, мы скоро упрёмся в потолок походу блин =(((

Ну и характер запросов тоже не ясен.

Если составлю требования "по науке", то подберёте БД ровно такую, которая нужна?)))

Да, мы скоро упрёмся в потолок походу блин =(((

можно разбивать по времени сами индексы (а ля kibana-logstash), но тут важны требования по объемам и времени отклика

аэроспайк есть бесплатный?

Если составлю требования "по науке", то подберёте БД ровно такую, которая нужна?)))

При требованиях сейчас подойдет любое кей вэлью. Но реальность сурова.

аэроспайк есть бесплатный?

Есть. Но там по фичам ограничения и с 4ой версии не более 6 нод.

При требованиях сейчас подойдет любое кей вэлью. Но реальность сурова.

Да да. Но вот касандра у меня не справляется, например. Что Ооооочень странно

Да да. Но вот касандра у меня не справляется, например. Что Ооооочень странно

У меня справляется. Но это опять разговор беспредметный.

Да да. Но вот касандра у меня не справляется, например. Что Ооооочень странно

ее надо хорошо готовить, капризная вещь

статистика юр , реестры фнс, суды и прочая лабуда из корпоративной среды

а потом понадобится поиск, все равно придется эластик поднимать, зачем тогда два раза вставать :)

а потом понадобится поиск, все равно придется эластик поднимать, зачем тогда два раза вставать :)

Ластик уже прекрасно пашет Но это же полнотекстовый движ, я не могу там терабайты документоы и их версий хранить

У меня справляется. Но это опять разговор беспредметный.

А не могли бы скинуть пример требований?

Ластик уже прекрасно пашет Но это же полнотекстовый движ, я не могу там терабайты документоы и их версий хранить

другие могут и ты сможешь, версионность в эластике вообще встроенная

А не могли бы скинуть пример требований?

Требований к чему? К моей кассандре? NDA

Требований к чему? К моей кассандре? NDA

Да что ж такое то XD

Лан, почитаю про аэроспайк

clickhouse ещё посоветовали. Благодарю!

Но про кассандру по чатику диагностику делать сложно. У нас были как тупые проблемы рук, так и двойные баги в кишках ее, которые и метриками не все видно.

Но про кассандру по чатику диагностику делать сложно. У нас были как тупые проблемы рук, так и двойные баги в кишках ее, которые и метриками не все видно.

На самом деле проблема очень актуальна, уже длительное время не могу добиться от админов нормальной настройки Касандры Периодически она вообще не пишет данные, не выдавая никаких ошибок. Бред... Сделали БД которая не пишет данные...

clickhouse ещё посоветовали. Благодарю!

не подойдет точно, забудь (у тебя требования к kv системам)

не подойдет точно, забудь (у тебя требования к kv системам)

спс

На самом деле проблема очень актуальна, уже длительное время не могу добиться от админов нормальной настройки Касандры Периодически она вообще не пишет данные, не выдавая никаких ошибок. Бред... Сделали БД которая не пишет данные...

Надо читать жиру, рассылку. У нас была бага с апдейтами, когда неуказанное поле затиралось нуллом. И была бага с падениями, которую админ только по рассылке смог диагностировать. Все пофиксилось обновлением.

Надо читать жиру, рассылку. У нас была бага с апдейтами, когда неуказанное поле затиралось нуллом. И была бага с падениями, которую админ только по рассылке смог диагностировать. Все пофиксилось обновлением.

у вас ванильная или от datastax?

Апачевское

датастакс не закрыл проекты разве? помню кассандру они похерили ж

Энтерпрайзная у них и сейчас есть

Кассандру отпустили в мир. Даж домен и сайте сделали. Только его никто не наполняет.

датастакс не закрыл проекты разве? помню кассандру они похерили ж

спасибо, не знал, как время бежит, в 2016-начале 2017 использовал от них кассандру

ну я осуществлял переезд на апачевую)

то еще адище.

Check out "BigData Interview Guide" https://play.google.com/store/apps/details?id=com.software.navnath.bigdatainterviewquestionbank

foundationdb, если нужны транзакции

опыта использования конечно нет

опыта использования конечно нет

особенно к месту рядом с рекламой приложения для подготовки к интервью

Any cloudera manager groups pls share

коллеги, а посоветуйте нормальный ЦОД в этой стране.

есть вообще hosted hadoop на tier III у кого-то окромя мэйлру?

коллеги, а посоветуйте нормальный ЦОД в этой стране.

в этой?

> клиентам в России необходимо, ЦОД был в России (по законодательству) вот чё мне начальство пишет. типа, ответить что в этой стране ЦОД нет, идём лесом?

Подскажите по airflow плиз - сервер работает, даги выполняет, но веб интерфейс примерно раз в день падает - куда смотреть, что копать?

коллеги, а посоветуйте нормальный ЦОД в этой стране.

Зависит от требований и формата заказа мощностей. Вам облако нужно? Есть у Ростелика, вроде. Есть Техносерв-Cloud.

есть вообще hosted hadoop на tier III у кого-то окромя мэйлру?

У Яндекса

У них там, правда, свой дистриб.

Зависит от требований и формата заказа мощностей. Вам облако нужно? Есть у Ростелика, вроде. Есть Техносерв-Cloud.

мне нужен облачный хадуп со спарком и аналог S3.

У Яндекса

так не в продакшене же ещё?

К мейловому у меня тоже много вопросов :)

мне нужен облачный хадуп со спарком и аналог S3.

а у ngenix нет?

К мейловому у меня тоже много вопросов :)

каких если не секрет ?

каких если не секрет ?

Мы тестируем у себя их кластер - много что приходится донастраивать (HDP запускается по дефолту на минималках), масштабирование вверх-вниз глючило. Ремонтируют, донастраивают - молодцы, да. Пока что не до конца решен вопрос безопасности хадупа и сертификации ЦОДа, что точно возбудит госзаказчика

не обязательно быть гос, чтобы подпадать под требования фз о персданных

короче, ясно всё. плохо всё.

коллеги, а посоветуйте нормальный ЦОД в этой стране.

Ок.ру dataLine юзает

там у мейл ру облака хдфс считается на ссд дисках

кстати

там у мейл ру облака хдфс считается на ссд дисках

Потому что могут? Hdd для хадупа лучше будет

https://mcs.mail.ru/bigdata/

там калькулятор внизу

Потому что могут? Hdd для хадупа лучше будет

При пошаренном дисковом пуле может стать все очень печально.

не обязательно быть гос, чтобы подпадать под требования фз о персданных

С персданными уже почти решили. А вот огораживание хадупа ляжет на плечи заказчика.

Ок.ру dataLine юзает

Облако мейла вроде там же. Но там тупо ЦОД, ни о каких хадупах речи не идет.

Облако мейла вроде там же. Но там тупо ЦОД, ни о каких хадупах речи не идет.

Да, хадупа там вроде нет.

#job #dataengineer #москва Контакты: job.ozon.ru, otalyzina@ozon.ru и можно в личку) Всем привет! Мы в ozon.ru сейчас очень растем, и планируем спроектировать и создать нашу новую data платформу включающую, data lake, olap, bi и т.п. Поэтому в поисках людей, которым интересно и смогут это сделать с нашей командой. Описание есть здесь: https://job.ozon.ru/vacancies/23563/ Готова ответить на все вопросы)

Потому что могут? Hdd для хадупа лучше будет

Если есть деньги, то лучше ssd

Если есть деньги, то лучше без хадупа =)

На пляже

Если есть деньги, то лучше ssd

своего опыта работы hadoop на ssd у меня не было (нет денег), только hdd, только hardcore. Нашел довольно старый обзор https://blog.cloudera.com/blog/2014/03/the-truth-about-mapreduce-performance-on-ssds/ From our tests, SSDs have up to 70 percent higher performance, for 2.5x higher $ per performance (average performance divided by cost). This is far lower than the 50x difference in $ per TB computed in the table below.

А смысла особого нет

На последовательном чтении hdd не настолько проигрывает ссд, а для hdfs как раз будет последовательное чтение запись

Если есть доступ к печатному станку, у флеша плотности выше

1u забитый линейками на 8-32TB

https://www.intel.com/content/www/us/en/products/memory-storage/solid-state-drives/data-center-ssds/dc-p4500-series/dc-p4500-8tb-ruler-3d1.html

Серьезно, если есть так много денег, то лучше отправить часть бюджета на лицензии на вертику.

Даже в дорогущем Oracle BDA (Cloudera Enterprise на Sun'овском железе) диски круглые, хоть и SAS: https://www.oracle.com/technetwork/database/bigdata-appliance/overview/bigdataappliance-datasheet-1883358.pdf

Все-таки, хадуп это решение для тех, кто экономит.

Все-таки, хадуп это решение для тех, кто экономит.

Не экономит , а рационально тратит бюджет

Смотря какой критерий ты оптимизируешь

HDFS выигрывает по цене гигабайта места и по цене сырого IO на full scan.

Смотря какой критерий ты оптимизируешь

Возможно вы правы,жизнь штука сложная, кто то hdfs в рам кладёт

Например банки не в рф

Но там импала не работает

А престо работает

я тут готовлю демку - спарк, сцилла/кассандра, и что нибудь time series, никто не делал похожее? Я ищу готовую базу и шаблоны нагрузок

Я бы взял просто bare metal и хадупил бы по своим хотелкам

Есть инициативы типа Alluxio, когда люди хотят поднять избранные куски hdfs в in-memory cache. Но это, опять-таки, не от хорошей жизни, а потому что хочется онлайн аналитику подешевле. :)

#job друзья, вакансия на удаленку в киберспортивном проекте https://hh.ru/vacancy/27621547 за подробностями пишите в личку @ivanovalla