Опять гифка со звуком!
прекрати употреблять эти вещества
Igor
Ivan
Sergey
файлы хрянятся в hdfs а там они нарезаются кусками, по дефолту 128 метров
Sergey
так что похуй что там батч джоба или hbase
Sergey
там дефолты менялись когда я трогал последний раз был 128
Sergey
ну это не принципиально
Sergey
Hadoop 1 - 64MB Hadoop 2 - 128MB
Sergey
так файлы то в hdfs хранятся а он их бьет на чанки с заданым размером
Sergey
что там хайв наоптимизирует?
Sergey
ну если он привязан к hdfs с его моделью хранения - то и играет по его правилам
Старый
😕лучше бы борщ шла готовить чем хадуп изучала
Старый
или изучало, пока не ясно
Sergey
он может со своей стороны наоптимизировать как хош, а hdfs все нарежит на чанк сайз и погнали)
Sergey
чисто технически ты при заливке какого-то файла в hdfs можешь указать чанк сайз для него
Sergey
hdfs не про скорость доступа
Sergey
вообще ни разу
Старый
😐где тебя гусь отрыл
Трайбор
чо у вас тут
Sergey
чисто технически при запуске джобы хадуп будет ее шедулить на той ноде, где данные максимально доступны локально
Sergey
сам по себе hdfs не про скорость
Старый
ну потому ты и не был директором в епаме, и не получил от епама 10m$
Sergey
скорость достигается тем, что тот же yarn задачу делит на кусочки и шедулить эти кусочки на выполнение на тех нодах, где данные для этого кусочка есть локально
Sergey
ну потому ты и не был директором в епаме, и не получил от епама 10m$
слава Боже что я не был в епаме
Старый
слава Боже что я не был в епаме
епам ещё не самая плохая контора, люксофт хуже, да и вообще 98% предложений на территории рф будут хуже
Sergey
епам ещё не самая плохая контора, люксофт хуже, да и вообще 98% предложений на территории рф будут хуже
я давно не работаю на галеры на пост снг
Vladimir
а как же яндекс, мэйлру и прочие касперские?
Vladimir
чем в, например, яндексе плохо-то?
Vladimir
хз, у меня кореш работает там, не жалуется, збс говорит вообще
Igor
в касперском?
Vladimir
до
Igor
там СБ яйца выкручивает всем и жить не даёт
Старый
хз, у меня кореш работает там, не жалуется, збс говорит вообще
я тож знал 8 тел из касперского, делятся они на 2 лагеря, одни сидели нихуя не делали и получали з\п, и довольные, их 2 тела, и 6 тел которые вьёбывали да ещё и не за самую высокую з\п, компы там дерьмо, пиздец полный с режимом дня
Старый
хотя варгейминг сейчас всех переплюнул
Uncel
Ты наверно про всякую хуитку типа orc/parquet/etc
Старый
штрафы за улыбки, штрафы за смех, штрафы за чай на столе, штрафы за общение с коллегами, и ёбнутый nda
Vladimir
цифры в 180-200 для среднего админа/сре там никого не удивляют
Sergey
цифры в 180-200 для среднего админа/сре там никого не удивляют
это очень средне в пересчете на бакс
Vladimir
а, да, я забыл, тут у всех 300 млн баксов в наносекунду, да
Vladimir
это неоспоримый факт, увы
Vladimir
а какие у них требования?
Старый
и уж таким конторам как яндекс вот уж совсем негоже про "рынок труда рф" пиздеть
Vladimir
чёйто?)
Старый
а с того это, бабки они отнюдь не на уровне шалтай конторы васи пупкина имеют, во вторых, в яндекс набор почти как в гугл, а вот з\п даже близко не стояли
Vladimir
тем не менее, в россиюшке это один из топовых работодателей, кмк
Vladimir
и после яндекса можно смело валить за бугор в условный гугль или майкрософт
Старый
тем не менее, в россиюшке это один из топовых работодателей, кмк
то что в рф хуёво с работой явно не звала яндексу
emik0
хер там плавал
Соглашусь, собеседовали нескольких опсов, ничего не знают, чуть ли не зип архивы деплоят руками
Sergey
отработавши по контракту на порочку галер среднего пошиба на прямую в пендосии куда больше у тебя профита попасть в большую компанию, чем с яндекса на прямую
Uncel
Че тут срач за яндекс?
Vladimir
хрыч считает, что яндекс говно и унылый
Старый
в одном монреале больше вакансий например для devops чем в мск+питере+казани+новосибе+краснодаре+ростове
Sergey
Uncel
Тогда наброшу за гугл
Старый
Соглашусь, собеседовали нескольких опсов, ничего не знают, чуть ли не зип архивы деплоят руками
как они тогда 15 собеседований прошли?
Sergey
основная масса в яндекс входит через нее
Uncel
https://github.com/jhuangtw-dev/xg2xg
Uncel
Цените репу
Sergey
https://github.com/jhuangtw-dev/xg2xg
я может открою секрет, в штатах экс гуглеры на рынке труда не катируются из-за того, что они сильно узко ценные спецы в гугле и нифга не нужны за пределами его
Sergey
года 3
Sergey
короче если ты в гугле не попал в кор тим и не занимаешься какими-то фундаментальными разработками, все сотальное на рынке труда после гугла такое себе
Uncel
Uncel
Ты хуй
Sergey
Ты хуй
у меня хуй 10 см, так что мне приятно, но я человек здравомыслящий, так что я не могу молчать, хуем я быть не могу, разве что хуйчиком
Vladimir
так и чо, получается в яндекс идти работать - зашквар и уныние?
Старый
я может открою секрет, в штатах экс гуглеры на рынке труда не катируются из-за того, что они сильно узко ценные спецы в гугле и нифга не нужны за пределами его
хз, общаюсь с народом из redhat\dell в штатах и канаде, там очень все узкозаточенные, и такого пиздеца как у нас там нет, это у нас сейчас есть замена дба, сетевика, билд инженера, тестера, автотестера, опс админа инженера по мониторингу - devops, у нас иногда вакансии читаешь, не хватает только горлового минета по утру гендиру
Sergey
но не засиживаться