оффтоп уже ж

а вот не совсем, у меня вон кейс как раз с этим чудом природы будет

ну пока 1 процесс на контейнер все нормально

какая группа сносится там?

джава в сигоуппы не влазит но это лечится костыльно да, проблема джавы

ну пока 1 процесс на контейнер все нормально

?ignite размером 46 тб работающий в кубере

и таких 16 нод

ну у кубера конкретно определенные проблемы с процессами которые больше чем 10% тачки едят же

спарк нативно на кубере тоже нехотя работает; не очень предназначен пока он для этого, цели у ребят были другие видимо

спарк нативно на кубере тоже нехотя работает; не очень предназначен пока он для этого, цели у ребят были другие видимо

только вот у меня разрабы говорят обратное

и заявляют, все уже всё давно в кубер перенесли

какие-то небылицы тут; оффтоп это уже потому что не докера проблемы а кубера

А чем те помогло бы руками разворачивать, что бы ты победил?

А чем те помогло бы руками разворачивать, что бы ты победил?

я бы вообще контейнеры не юзал

а чем это тебе помогло бы

чем тут конкретно контейнеры тебе мешают то

я мог бы от игнайта до приложения по юникс сокету отдавать данные, тем самым меньше нагружая сеть

а тут чо

плюс куда меньше возни с семтью

ну ток в начале

не меньше чем с мезосом

не меньше чем с мезосом

а зачем мне мезос?

а зачем мне мезос?

правильно, бери слёрм

правильно, бери слёрм

зачем? почему просто bare metall нельзя?

да конечно все шедулеры и менеджеры ресурсов не нужны

на самом деле даже ансибл не нужен

можно прост сшников накатать, и раскатывать

можно прост сшников накатать, и раскатывать

?ну если посмотреть на хортон и тд то так и есть

?ну если посмотреть на хортон и тд то так и есть

я к тому, что мож почитаешь зачем оно нужно а не спрашивать тут риторические вопросы

зачем? почему просто bare metall нельзя?

там и будет bare и что захочешь

там и будет bare и что захочешь

да брось, там небось запары с сетью

?ну если посмотреть на хортон и тд то так и есть

а ты на чем хортона ставил?

Я лучше дам сокет на эпп

у меня на центосе седьмом и рхеле седьмом все работало как надо

я к тому, что мож почитаешь зачем оно нужно а не спрашивать тут риторические вопросы

я знаю зачем оно, но его пихать стали везде, где надо и не надо

а ты на чем хортона ставил?

centos 7, работает уже норм. хипы настроил доконца и странно низкие варнинги увеличил

да брось, там небось запары с сетью

сеть ровно та же что на куче тачек, заморочки могут быть докеровские если на докерах пускать джобы, но эт ортогонально

сеть ровно та же что на куче тачек, заморочки могут быть докеровские если на докерах пускать джобы, но эт ортогонально

спасиб)) я видел это)))

я прост цитирую

у меня на центосе седьмом и рхеле седьмом все работало как надо

это было про sh скрипты

я знаю зачем оно, но его пихать стали везде, где надо и не надо

А если ты знаешь зачем оно, то зачем возмущаешься

если по назначению используешь жизнь прекрасна же

Если нет то это твоя проблема а не технологий

если по назначению используешь жизнь прекрасна же

а если говорят не по назначению юзать?

ну это твой личный багет просто

а если говорят не по назначению юзать?

тем более, лол

centos 7, работает уже норм. хипы настроил доконца и странно низкие варнинги увеличил

ненавижу редхатовские дистры =/ просто наследие фашизма

ненавижу редхатовские дистры =/ просто наследие фашизма

кому как, они хотя бы не помойка как дебы, где разрабы открытым текстом говорят - у нас там ещё 5-6 пакетов в репе валяются, проверь, авось рабочие

а пересобрать зависимые пакеты, обновляя в репе что-то, эт вообще не про дебы

вот и остается арч

вот и остается арч

ну я oracle cassandra hbase на fedora ставил

с ораклом отрадясь не было проблем (если не начинать на его фс ставить), а кассандру поставить это tar -xzf?

хбейз тож распаковать архив

ну ему еще небось настройки для мастера и нод надо прописать, тыркнуть мордой в зукипер

с ораклом отрадясь не было проблем (если не начинать на его фс ставить), а кассандру поставить это tar -xzf?

оракл как бы федорку не поддерживает, и проблемы там были при установке

ну ему еще небось настройки для мастера и нод надо прописать, тыркнуть мордой в зукипер

копирнуть просто

С контейнером изи будет

С контейнером изи будет

а сеть?

а сеть?

Нет хост

нет хоста нет проблем

Ну я про то что разницы какая ось хбейз ставить нет

И зк

Чо там может случиться

с зк понятно, ток конфиг поправить, а хбейз я не ставил

его как хадуп ставить

ток проще

Хдфс тип имею ввиду

да или также

Путь до хдфс да зк указал

если нет хдфс то можно локально

Самая простая и неприхотливая большая таблица

Нет хост

?а как ты потом это в кубер запихнёшь и туда же 40 нод?

ну для утарвлки

?а как ты потом это в кубер запихнёшь и туда же 40 нод?

тыж на федору чето ставишь

мы про это ж

зачем? почему просто bare metall нельзя?

Потому что люди адекватные и хотят абстрагироваться от железа

Доброе утро. Имеется hive на spark движке, индексированная таблица в 6млн строк в паркете. Поиск по индексированному полю одной записи занимает 20-30 секунд. Есть смысл тюнить или это норм?

А мощностей сколько?

А мощностей сколько?

15 железных жирных узлов.

есть смысл переложить в json, и сделать cat | jq ставлю что будет быстрее

на одном нежирном узле

15 железных жирных узлов.

чето очень долго

есть смысл переложить в json, и сделать cat | jq ставлю что будет быстрее

В orc и секунды не проходит)

Доброе утро. Имеется hive на spark движке, индексированная таблица в 6млн строк в паркете. Поиск по индексированному полю одной записи занимает 20-30 секунд. Есть смысл тюнить или это норм?

Нагрузка какая, мелкие запросы?

Нагрузка какая, мелкие запросы?

Один запрос пока.

Пытаемся разобраться как хранить.

на последнем митапе спаркистов в мск был отличный доклад про паркет

на последнем митапе спаркистов в мск был отличный доклад про паркет

А материалы в открытом доступе есть?

https://www.youtube.com/watch?v=YuiXHAiRmf8&feature=youtu.be

https://www.youtube.com/watch?v=YuiXHAiRmf8&feature=youtu.be

Спасибо

Пытаемся разобраться как хранить.

Я так понимаю, что с хранением проблем нет ) проблема с доставанием ) вся связка интересная - хайв на спарке с паркетом. Почему не хайв на тезе + орц? Да и при таких размерах, кеширующие прослойки здорово ускоряют запросы - хайв3, ллап, импала.

Я так понимаю, что с хранением проблем нет ) проблема с доставанием ) вся связка интересная - хайв на спарке с паркетом. Почему не хайв на тезе + орц? Да и при таких размерах, кеширующие прослойки здорово ускоряют запросы - хайв3, ллап, импала.

Хайв не на тезе потому что cdh5.13. На паркет есть запрос от заказчика, но можно попробовать по агитировать за orc. Размер только этой таблички тестовый, из источников придётся перегонять уже десятки ярдов записей.

Тут тоже вопрос чем...

sqoop в паркет опробовал. В orc ещё нет.

А да, источник - оракловая базенка.

Насколько я понимаю, данные считать вы собираетесь всё-таки через Спарк, а не через скл ждбц спарка?