но таки какого хрена в москве зарплаты бешаные, хотя по уровню всё то же самое

но таки какого хрена в москве зарплаты бешаные, хотя по уровню всё то же самое

спрос большой, только и всего. У тебя в мск куча всяких интеграторов, ит отделов банков - спрос на гребцов огромный, отсюда и рост зп

дык гребец это мидл максимум.

но таки какого хрена в москве зарплаты бешаные, хотя по уровню всё то же самое

потому что вне мск считают, что жить дешевле и зачем типа платить

гребец может быть какой угодно - и миддл, и джун и сеньор

плюс вне мск бизнес только закрывается по факту, в питере вон 4 год стагнация бизнеса

да не сильно она дешевле на самом-то деле... жильё да, остальное примерно одно и то же.

но поскольку сеньор стоит сильно дороже обычного миддла, растут зарплаты у миддлов, но не выше планки сеньоров) занимательная экономика рынка труда)

я чё, настолько похож на дебила, что ли? ее, спринг, и вся экосистема. хадуп вон, год уже.

тогда hh в помощь, 230-280 можно получить

может потом про деньги?

может потом про деньги?

деньги это основа

hadoop сейчас из каждого утюга, его даже в почте россии внедрят

я вот заметил, что разрабы с з\п до 200к в питере и после работают сильно по разному

но поскольку сеньор стоит сильно дороже обычного миддла, растут зарплаты у миддлов, но не выше планки сеньоров) занимательная экономика рынка труда)

ну вот скажем я три года в епаме сеньорил, там вообще вилки мидл/сеньор перекрываются. более того, некоторые лиды меньше сеньоров имеют.

но московские любые зарплаты минимум вдвое больше чем нге московские. с теми же грейдами

ну вот скажем я три года в епаме сеньорил, там вообще вилки мидл/сеньор перекрываются. более того, некоторые лиды меньше сеньоров имеют.

наверное от проекта зависит, как смогли его продать, так и поделили

hadoop сейчас из каждого утюга, его даже в почте россии внедрят

почему даже?

https://m.hh.ru/vacancy/28033111

рандомный гугл

они давно практикуют

наверное от проекта зависит, как смогли его продать, так и поделили

ну там проекты такие что либо зелёный банк и 10 нулей на контракт в рублях, либо голубой банк :)

почему даже?

просто почта россии у меня ассоцируется с застоем, отделения почты мрак (иногда в прямом смысле, лампочек мало, и это в мск)

вообще я не понимаю почему вы как DE так по этому поводу печетесь. Через пять-десять лет будет IoT в буквальном смысле каждого утюга, потоков данных хватит на всех + если с квантовыми компами чего-нибудь намудрят, вообще будет жарко-денежно в DE. То ли дело в DS - допилит через 10 лет гугл AutoML и все DS пойдут в питон-разработчики обратно)))

просто почта россии у меня ассоцируется с застоем, отделения почты мрак (иногда в прямом смысле, лампочек мало, и это в мск)

Международная почта в рф одна из лучших кстати

Так что стереотипы прошлого, да

https://m.hh.ru/vacancy/28033111

жаль вилку не указали, сравнили бы с этой вакансией которая вызвала столько споров

проект в почте очень крутой

тут вам полный стек: Опыт проектирования и применения Hadoop, Cassandra, PostgreSQL, Akka, JMS, Kafka, Apache Samza, Apache Spark, Apache Zookeeper, ESB, API management systems;

вот да. вилки обычно не указывают. а соваться просто так и спрашивать как-то не уомильфо

тут вам полный стек: Опыт проектирования и применения Hadoop, Cassandra, PostgreSQL, Akka, JMS, Kafka, Apache Samza, Apache Spark, Apache Zookeeper, ESB, API management systems;

Нормальный стек минимальный

тут вам полный стек: Опыт проектирования и применения Hadoop, Cassandra, PostgreSQL, Akka, JMS, Kafka, Apache Samza, Apache Spark, Apache Zookeeper, ESB, API management systems;

там все это есть

но это архитектор

но это архитектор

Минимум 999999(9) неких единиц должны платить же да (это сарказм эсли что, спам о зарплатах вечный тут)

^ к поддержанию настроений чятика о зарплатах

но это архитектор

о да: "Опыт моделирования архитектуры по формальной методологии (согласно четко заданным правилам и ограничениям, какого типа объекты или символы архитектуры могут использоваться в определенной ситуации);"

о да: "Опыт моделирования архитектуры по формальной методологии (согласно четко заданным правилам и ограничениям, какого типа объекты или символы архитектуры могут использоваться в определенной ситуации);"

а что тут такого?

А за наводку на глассдор спасибо. Я вот не знал такого сайта.

В Германии ещё актуально смотреть на kununu.

А админы хадупа почём нынче для народа?

А админы хадупа почём нынче для народа?

Лучше назваться DevOps Engineer и подучить куберы/докеры etc - выйдет прибыльнее

Лучше назваться DevOps Engineer и подучить куберы/докеры etc - выйдет прибыльнее

Прибыльнее чем что? И что почему не Data engineer?

Прибыльнее чем просто админ) Ну дата инженер - это про ETL пайплайны, а не про админку хадупа

Devops на рынке мало кому нужен. А вот вакансий инженеров пруд пруди

В частности Лондон

Потому что помойка говнокода в виде кубера требует глубокого вендерспецифичного познания от немаленькой команды. И просят эти вендорлокнутые овердофига.

Ну и пихают это поделие куда не попадя

Имхо - дата инженер это очень перспективная тема. Хайп вокруг DS/AI/DevOps - не вечен, а хороший программист с опытом и навыками в CS нужен всегда. Если для примера взглянуть на европейский рынок - для DE найдётся предложений на любой вкус и цвет. Лично я хоть и работаю DS, но стараюсь не терять своих навыков в DE)

https://m.hh.ru/vacancy/28033111

Это не для вас, ребята. Вы гайки крутите, архитектуру пишем МЫ.

Devops на рынке мало кому нужен. А вот вакансий инженеров пруд пруди

Не правда сейчас в Берлине огромный спрос на девопсов и ЗП там на уровне или выше чем у дата инженеров

А на Лондон с их брекситом я бы даже не стала сейчас смотреть, потому что не ясно какой статус будет у понаехов-спецов и что с возможностью гражданства

Был в начале года на саммите хортона в Берлине. Стенды искали в основном инженеров и сатанистов

Ребят, кто с кафкой работал из питона?

Ребят, кто с кафкой работал из питона?

Я работал, вот примерчик (и Producer, и Consumer): https://github.com/renardeinside/rtvis-proj

Я работал, вот примерчик (и Producer, и Consumer): https://github.com/renardeinside/rtvis-proj

А я делал чтение метрик Kafka из Python по JMX через JPype. И это реально круто работало ?

А я делал чтение метрик Kafka из Python по JMX через JPype. И это реально круто работало ?

Ну я предположил что нужен простой пример таки)

Я работал, вот примерчик (и Producer, и Consumer): https://github.com/renardeinside/rtvis-proj

Спасибо! А не подскажешь, как выставлять offset? Например, мне нужно получить кусок данных с начала дня, а дальше только свежие

Спасибо! А не подскажешь, как выставлять offset? Например, мне нужно получить кусок данных с начала дня, а дальше только свежие

тут надо API Docs смотреть, я делал такой функционал а потом убрал, но делал вот по этой части доки: https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html

тут надо API Docs смотреть, я делал такой функционал а потом убрал, но делал вот по этой части доки: https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html

Это я видел уже, спасибо) Не могу найти пример, где показано, как использовать этот offset. Документация чёт не блещет примерами)

Кто-то сталкивался с geoNear агрегацией в mongoDB? Очень смущает поправка в документации “You can only use $geoNear as the first stage of a pipeline.” У меня коллекция будет очень быстро увеличиваться, а агрегировать по локации нужно не все документы, как быть? Или оно все таки будет быстро отрабатывать если например коллекция будет расти каждый день на пару миллионов?

коллеги, кто-то использует методологию DataVault2 в этих хадупах?

Кто-то сталкивался с geoNear агрегацией в mongoDB? Очень смущает поправка в документации “You can only use $geoNear as the first stage of a pipeline.” У меня коллекция будет очень быстро увеличиваться, а агрегировать по локации нужно не все документы, как быть? Или оно все таки будет быстро отрабатывать если например коллекция будет расти каждый день на пару миллионов?

А в чем проблема использования $near?

Он хорошо работает особенно пока в кем попадает

А в чем проблема использования $near?

Записей для каждого пользователя много, мне нужно брать последнюю запись per-user отсортированные по расстоянию к точке Пытался сначала без агрегации с использованием near и distinct, но не выходило

Коллеги, не встречались с тем, что в спарке 2.3.0 saveAsTable внутри спарк-шелла дозаписывает партицию в таблицу, а тот же самый код в спарк-сабмит - падает с ошибкой TableAlreadyExistsException? Пишу через .mode(SaveMode.Appen).saveAsTable(...)

Причем на тестах с derby все ок

а hive metastore в обоих случаях одинаковый?

да

на одном и том же кластере приложеньку и шелл запускаю

Я однажды полдня потратил из-за неверного отступа в писпарке.

Подставлялась глобальная ссылка на спарк вместо создаваемой мной. Где то стоял таб вместо пробелов

Поведение было такое же.

Но ошибка другая, не мог найти таблицу в метастор. Тут наверное другое.

Но лучше чекнуть)

Еще может юзер разнится.

да все также, 1000 раз уже проверил

у вас конфиги с —files ...hive-site.xml перекочевали на spark2?

без них все также не работает?

Коллеги, не встречались с тем, что в спарке 2.3.0 saveAsTable внутри спарк-шелла дозаписывает партицию в таблицу, а тот же самый код в спарк-сабмит - падает с ошибкой TableAlreadyExistsException? Пишу через .mode(SaveMode.Appen).saveAsTable(...)

Аппен или аппенд?

Хотя он бы тогда упал типа не знаю такого

без них все также не работает?

Не оч понял.. А как проверял, распечатывал в лог describe table?

Коллеги, не встречались с тем, что в спарке 2.3.0 saveAsTable внутри спарк-шелла дозаписывает партицию в таблицу, а тот же самый код в спарк-сабмит - падает с ошибкой TableAlreadyExistsException? Пишу через .mode(SaveMode.Appen).saveAsTable(...)

Я бы расковырял конфиги, которые использует спарк шелл. Это ж по сути тоже интерфейс к спарк сабмитам.

Не оч понял.. А как проверял, распечатывал в лог describe table?

ее тупо нет в местасторе. Он ругается на таблицу, которой нет >.<

И сравнил бы конфигом сабмита

И сравнил бы конфигом сабмита

сейчас как раз это делаю, пока тухло

Я как-то для пайспарка подобное делал.