Bogdan (SirEdvin)
Что-то похожее я видел тут: https://www.youtube.com/watch?v=P__hN6u9yCw :)
Vladimir
я не вижу принципиальной разницы в твоей задаче, потом задаче как-то распределять данные с церна, потом как-то собирать с телескопа astron, поддерживать групповые чаты в вк, телеграмм и т.п.
требования к объемам и скорости к сожалению накладывают особенности выполнения задач
Евгений
> обрабатываете большое количество данных
> обрабатываете данные
Говорю же про статистику
Vladimir
@dmitryja тот же церн кстати очень интересен объемами данных
Vladimir
и подходом к их обработке
Vladimir
я ща найду докладик про них
Vladimir
https://youtu.be/kHx8no2q3-Y?t=902
Vladimir
примерно 25 минут
Bogdan (SirEdvin)
> обрабатываете большое количество данных
> обрабатываете данные
Говорю же про статистику
Помимо статистики, данные еще можно чистить, преобразовывать и просто обрабатывать. В основном проблема то как раз в этих трех пунктах, со статистикой то все просто.
Евгений
Фильтрация данных это разновидность статистистических методов
Евгений
Вообще основная задача мат статистики — по многомерному дискретному массиву построить математическую модель
Евгений
То что вы называете обработкой данных оно и есть
Bogdan (SirEdvin)
Я имел ввиду фильтрацию до статистики. Например, у вас хранятся данные о 1кк пользователя, а вам надо выбрать поведение пользователей определенной групы (скажем, 50к) за три дня. Причем тут аппарты математической статистики?
Евгений
Евгений
congrat
Something
Евгений , тут чат про девпос, а не про математику
Something
я не аналитик, не датасайентист, не разработчик
Евгений
Ну я и говорю, не разбираетесь чо значит понятие — не используйте его.
Bogdan (SirEdvin)
Отлично, похожее понятие есть в математики, и?
Евгений
Нет просто бигдата это про определённый раздел математики. И всё
Bogdan (SirEdvin)
Я до сих пор не понимаю, причем тут математическая стастика, которая абстрактная, к прикладной BigData?
Bogdan (SirEdvin)
Эм ... то есть если я предсказывают, сколько у меня будет свободного места на жестком диске через 4 часа линейной моделью - у меня BigData?
Евгений
Эм ... то есть если я предсказывают, сколько у меня будет свободного места на жестком диске через 4 часа линейной моделью - у меня BigData?
Ну типа вы представляете какая выборка нужна, что сделать такое предсказание?
А чтобы что-нибудь голословно утверждать ничего не нужно. Это не матстат, не бигдата, а гадание на кофейной гуще
Tadeusz
https://www.tubefilter.com/2018/03/19/tyler-blevins-ninja-twitch-subscribers/
Tadeusz
а вы говорите devops’ить
Bogdan (SirEdvin)
Ну типа вы представляете какая выборка нужна, что сделать такое предсказание?
А чтобы что-нибудь голословно утверждать ничего не нужно. Это не матстат, не бигдата, а гадание на кофейной гуще
Тут есть такая штука о том, что весь матстат - это более-менее гадание на кофейной гуще и апроксимации. Мне данных за час хватает, что бы более-менее точно предсказывать на 4 часа место на жестком диске, так как ошибка предсказания меня вполне устраивает.
Так у меня есть bigdata или нет?
Bogdan (SirEdvin)
Или есть ваша компания занимается просто трансформацией данных из одного вида в другой, у вас нет BigData, потому что у вас нет мат. статистики?
Something
neural networks?)
Something
чем не бигдата
Something
я бы сказал самое дорогое, что есть, вспоминаем за сколько интел купил mobileye
Bogdan (SirEdvin)
Запустил на сервере туториал по keras и можно писать на сайте компании, что вы в тренде BigData?)
Евгений
Тут есть такая штука о том, что весь матстат - это более-менее гадание на кофейной гуще и апроксимации. Мне данных за час хватает, что бы более-менее точно предсказывать на 4 часа место на жестком диске, так как ошибка предсказания меня вполне устраивает.
Так у меня есть bigdata или нет?
"Весь матстат" это результат странных и контринтуитивных свойств полукольца натуральных чисел. Просто многомерные пространства натуральных ведут себя совсем не так как вы привыкли оперируя с числами от 1 до 10
Bogdan (SirEdvin)
Эм ... что?
Евгений
neural networks?)
Нейрал нетворкс это базворд для одного из подходов в матстате. Шикарный пример
Bogdan (SirEdvin)
У вас свой матстат с натуральными числами?
Bogdan (SirEdvin)
Ну и да, натуральные числа - не полукольцо. Потому что там нет нуля.
Something
Нейрал нетворкс это базворд для одного из подходов в матстате. Шикарный пример
кейс - это собирать данные для модели через мобильную сеть от всех машин.. вот как организовать эндпоинт, как хранить и .т.п - вот это девопс, как кластер поднять для обучения.. вот сама модель - это твоя часть.. короч, не путай
Something
я астрон привел не просто так.. по факту там наука вынуждена помогать инженерии, т.к. подзодов для обработки таких больших данных - почти нет
Something
вот когда ибм по факту запилит с твоей помощью новый инструментарий и практики управления эксабайтами - вот это будет девопс, а не математика
Tadeusz
@Civiloid а есть такая компания, в которой ты "пиздец как" хотел бы рабоать?
Bogdan (SirEdvin)
Ойвсё
Ну, ты же за буквоедство. Надо было писать "натуральные числа с нулем"
Vladimir
@Civiloid а есть такая компания, в которой ты "пиздец как" хотел бы рабоать?
я считаю что я могу многому научиться в фейсбуке и гугле, например
Vladimir
еще мне интересен палантир и дропбокс
Tadeusz
а netflix? мне вот оч нравятся
Uncel
>Палантир
Vladimir
я не хочу жить и работать в US
Uncel
Тонкий лед ежжи
Vladimir
по возможности
Vladimir
в командировку - да хоть на полгода
Vladimir
жить и работать - не-не-не
Vladimir
лично мне
Vladimir
мне не близок стиль жизни где машина является обязательным аттрибутом
Vladimir
нормальный домашний интернет сложно найти
Tadeusz
ну катайся на байке :)
Vladimir
ну катайся на байке :)
если работать в Калифорнии, то тебе придется 30-40км в день кататься на байке
Vladimir
а то и больше
Tadeusz
так это ж понты… на мотобайке
Vladimir
не говоря про мото
Vladimir
@aabramovich плюс на мото - ну покатайся ты там в дождь
Vladimir
или метель
Vladimir
удачи
Tadeusz
хм, метель в LA?
Tadeusz
ну 30-40 км это вообще херня… NY не нужен, имхо) слишком людно
Vladimir
в LA тоже
Tadeusz
там больше китайцев чем в китае… как и в сиэттле
Vladimir
@aabramovich а, ну еще там довольно сложно отказаться от ВНЖ если ты его получил
Tadeusz
в LA много работы и хороший штат 🙂
Vladimir
насколько я помню
Vladimir
некоторые особенности переезда с семьей, типа того что если не по L1 то жена не будет иметь право работать
Vladimir
и т.п.
Vladimir
короче я не вижу плюсов которые певесят минусы
Vladimir
в LA еще пипецки дорого