сорян*

Значит буду пару нод выводить из кластера и ставить 3й. Потом все остальные декомишн/эд

мне вот интересно, как всё же убедить, что 7200 sas по 4-12 тб это не совместимо с нормальной работой, а не тупым хранением и вспоминанием раз в год

Тебе уже давали офиц документ Хортона. Такие же доки есть у Леново и остальных вендоров

Тебе уже давали офиц документ Хортона. Такие же доки есть у Леново и остальных вендоров

вот в том и беда, ничего не напарсил про большие диски

там в доках все четко написано

больше дисков больше пропускная способность

да это вообще на каждом столбе про хадуп написано

почему это вообще кому то наод доказывать?

можно попробовать нарисовать на примере труб с водой я не знаю ?

почему это вообще кому то наод доказывать?

пропускная способность и iops вещи разные, можно поставить ssd с 9к iops и 500 мб пропускной, а можно поставить hdd на большую значительно пропускную, например 5 гб, но iops там будет меньше чем у ссд с меньшей пропускной, напрмиер 2 гб, но на вытаскивании ключей и инфы ссд с меньшей будет вытягивать

можно попробовать нарисовать на примере труб с водой я не знаю ?

они надеятся на потоковую

топа чтение и тп идёт же блоками

?

это то конечно да

но хадуп он про нативный параллелизм и не факт что при чтении у тебя блоки будут подряд идти

да и при записи в общем то тоже

пропускная способность и iops вещи разные, можно поставить ssd с 9к iops и 500 мб пропускной, а можно поставить hdd на большую значительно пропускную, например 5 гб, но iops там будет меньше чем у ссд с меньшей пропускной, напрмиер 2 гб, но на вытаскивании ключей и инфы ссд с меньшей будет вытягивать

ну и вообще а отчего бы не затестить?

я так понял вы планируете купить конские количества железа

ну и вообще а отчего бы не затестить?

железо только через 8 недель

для тестов

на сколько я знаю в таких ситуациях вендора выделяют железки для тестов

т.е. можно будет и так и эдак попробовать

можно еще арендовать где то на короткий срок для тестов

ну и за 8 недель можно как раз описать подходы для тестирования и написать какой либо тестовый код

т.е. можно будет и так и эдак попробовать

вот если бы, я сейчас для сетевого буду час рассказывать, зачем покупаю такой свичт, а не работаю ли я на фсб...

ну и опять же данные для тестов подготовить

вот если бы, я сейчас для сетевого буду час рассказывать, зачем покупаю такой свичт, а не работаю ли я на фсб...

мне кажется Вам надо менять место работы ?

мне кажется Вам надо менять место работы ?

увы, в питере мало вакансий с бигдатой

@nblagodarnyy, вам не нужны?

?

@nblagodarnyy, вам не нужны?

Или это как раз твой коллега?)

@nblagodarnyy, вам не нужны?

я просто админ а не кодер, развернуть, железо и тп, мониторинг,, с кодом пока беда

я просто админ а не кодер, развернуть, железо и тп, мониторинг,, с кодом пока беда

надо начать, что бы что то получалось

@nblagodarnyy, вам не нужны?

До нг нет.

увы, в питере мало вакансий с бигдатой

Это очень спорное заявление

Это очень спорное заявление

ну на hh только программисты нужны

и то меньше 15 вакансий

и висят они круглый год, газпромовские сразу минус, у меня вышки нет

и висят они круглый год, газпромовские сразу минус, у меня вышки нет

получайте ? в жизни пригодится я думаю

Или это как раз твой коллега?)

бывший ?

Во-первых, это несколько однобокий путь только шерстить вакансии, далеко не все вывешивают. + толковых спецов часто ищут даже не под конкретную вакансию, а просто в штат и делают ставку под них. Если грамотно составить резюме и периодически его рефрешить, чтобы оно было в топе, то можно получить неплохой кликбейт. Я таким порядком 5 оферов получил меньше, чем за полгода. Не все огонь, но тем не менее.

Во-вторых, у нас, например, нет требований к образованию, я его намеренно убрал. Как и всякое остальное говно.

Или это как раз твой коллега?)

У нас нет такого ада про фсб и прочее. Одобрили тебе проект - можешь тратить выделенное финансирование

Во-вторых, у нас, например, нет требований к образованию, я его намеренно убрал. Как и всякое остальное говно.

у меня опыт работы на паре фнс проектов с бигдатой, хотелось бы из девопс перейти в data engineer, ибо первое превращается в фарс всё больше, сейчас вот надо кластер будет на 1,6 тб холодных и 300 тб горячих данных делать, причём на x3 денег нет и придётся x2, попутно доказывая, почему нельзя на дисках по 12 тб делать

х2 - так себе надежность

можно данные просрать

надо начать, что бы что то получалось

Это плохая концепция по опыту. Ты или хороший админ, или хороший кодер. Всего вместе не дано. Это абсолютно разные работы и разные склады ума. Я пытался уже переучить dba в разраба, это было больно и плохо.

х2 - так себе надежность

ну мне бумаги уже подписали про это

с себя я уже снял ответственность

с себя я уже снял ответственность

норм подход

норм подход

не все его одобряют в сообществе it

Это плохая концепция по опыту. Ты или хороший админ, или хороший кодер. Всего вместе не дано. Это абсолютно разные работы и разные склады ума. Я пытался уже переучить dba в разраба, это было больно и плохо.

позволю себе с тобой не согласиться

не все его одобряют в сообществе it

одобряют или нет дело второе, иногда проще прикрыть свой зад, чем делать все по феншую…

позволю себе с тобой не согласиться

главное желание, а остальное приложится

позволю себе с тобой не согласиться

на самом деле он прав, я вот сам понимаю, что не смогу править алгоритмы, etl\elt процедуры, править узкий код с машинным обучением

просто бонально потому, что у меня нет хорошей мат. подготовки

вся та математика за два года учится

позволю себе с тобой не согласиться

Исключения только доказывают правила. Ты можешь назвать хоть 3 прогеро-админа, одинаково хороших в обеих областях? Думают, что нет.

вся та математика за два года учится

через 2 года мне уже будет 28, и я скажут что я совсем пенс

70% enterprise кода вообще написана людьми которые слабо понимают что есть алгоритм, про юнит тетсты и прочие полезности я вообще молчу

Исключения только доказывают правила. Ты можешь назвать хоть 3 прогеро-админа, одинаково хороших в обеих областях? Думают, что нет.

я могу 5, но 4 из них уже не в рф

одобряют или нет дело второе, иногда проще прикрыть свой зад, чем делать все по феншую…

Добро пожаловать в корпорацию, юный падован.

через 2 года мне уже будет 28, и я скажут что я совсем пенс

хорошо, пусть все будет как есть сейчас

Исключения только доказывают правила. Ты можешь назвать хоть 3 прогеро-админа, одинаково хороших в обеих областях? Думают, что нет.

я не говорил что можно быть хорошим и там и там, хотя можно. я сказал что можно переучиться с одного на другое

это увы замкнутый круг

через 2 года мне уже будет 28, и я скажут что я совсем пенс

https://postnauka.ru/tests/83977

Кароч жизнь боль посоны.

это увы замкнутый круг

я вот думаю что замкнутый круг и другие ограничения они только в Вашей голове

я вот думаю что замкнутый круг и другие ограничения они только в Вашей голове

Тони Робинс, ты что делаешь в этом чате??

я дата инженер пЁс xD

самое печальное в требованиях это опыт коммерческой разработки на скала

?

70% enterprise кода вообще написана людьми которые слабо понимают что есть алгоритм, про юнит тетсты и прочие полезности я вообще молчу

нунунунуну. в ынторпрайзе код пишут не те люди, которые ставят задачи, и уже тем более не те, которые принимают результат.

нунунунуну. в ынторпрайзе код пишут не те люди, которые ставят задачи, и уже тем более не те, которые принимают результат.

с этим не спорю

но такого видал, что аж страшно становилось

но такого видал, что аж страшно становилось

это ты не видел ещё как 15 студентов проектируют систему на пб на монге

?

It’s time for another 2.12 minor release! Please review: release-notable merged 2.12.7 PRs the 2.12.7 milestone We intend to close the PR queue in the next few days, and stage the release by the end of the week. First, a few more PRs (mostly compiler performance) remain to be reviewed (your help always appreciated!), and I still need to backport the work @retronym did in 2.13.x on fixing some issues with reproducible compilation. If you feel we missed any critical, release-blocking issues for 2.12.7, please let us know! We’re very excited that Spark 2.4 is now also building on 2.12 (thanks for #7156, @sadhen!). Spark 2.4 should be out soon, with beta support for Scala 2.12. Barring unforeseen issues, we plan to wait with 2.12.8 until after the 2.13.0 final. As a reminder, 2.12.x is in maintenance mode, and 2.13.x is feature frozen, ramping down. Our focus is on polish for the 2.13.0 final release: performance, stability, documentation, and improved cross-building between 2.12 & 2.13. I will post separately about the themes for 2.14 soon!

It’s time for another 2.12 minor release! Please review: release-notable merged 2.12.7 PRs the 2.12.7 milestone We intend to close the PR queue in the next few days, and stage the release by the end of the week. First, a few more PRs (mostly compiler performance) remain to be reviewed (your help always appreciated!), and I still need to backport the work @retronym did in 2.13.x on fixing some issues with reproducible compilation. If you feel we missed any critical, release-blocking issues for 2.12.7, please let us know! We’re very excited that Spark 2.4 is now also building on 2.12 (thanks for #7156, @sadhen!). Spark 2.4 should be out soon, with beta support for Scala 2.12. Barring unforeseen issues, we plan to wait with 2.12.8 until after the 2.13.0 final. As a reminder, 2.12.x is in maintenance mode, and 2.13.x is feature frozen, ramping down. Our focus is on polish for the 2.13.0 final release: performance, stability, documentation, and improved cross-building between 2.12 & 2.13. I will post separately about the themes for 2.14 soon!

@pomadchin

А , я походу too slow

кстати какой лучше фреймворк взять если нужны ток kafka+hdfs+hbase+storm