вот и корячился

Ну дык. Сиплюсплюс не знает, под гпу кодить не может, на кагл не замечен. Куда ему

Но если серьёзно, идея здравая, мне кажется. Просто она довольно фундаментальная, и меняет подход к обучению сеток. Поэтому обучается трудно и медленно. Думаю, скоро появятся результаты на датасетах побольше, там и прояснится

Но если серьёзно, идея здравая, мне кажется. Просто она довольно фундаментальная, и меняет подход к обучению сеток. Поэтому обучается трудно и медленно. Думаю, скоро появятся результаты на датасетах побольше, там и прояснится

ну сам Хинтон говорил, что ыполне возможно что конволюции это локальный минимум. Просто первое что заработало и после этого было многократно улучшено

Если бы капсулы придумали одновременно с конволюциями, все могло бы быть по другому)

ну сам Хинтон говорил, что ыполне возможно что конволюции это локальный минимум. Просто первое что заработало и после этого было многократно улучшено

Тру. Ну реально почему свертки, а не еще какие нить вейвлеты. Я согласен, есть много преимуществ именно практических, наработан матаппарат, есть спецвычислители etc. Но вот именно с точки того, как нужно смотреть на мир, совершенно неочевидно, что именно свертки. Тут дело не в том, что надо пытаться что-то найти получше, а в том являются ли именно капсулы этим лучшим, или это ложная тревога

Ну тебе виднее. Видишь, как ты круто во всем разобрался, а мужик несколько лет корячился

Много людей много над чем много лет корячится, и не всё у всех получилось. Те же RBM от Хинтона наверное в каждой сети уже должны быть.

Много людей много над чем много лет корячится, и не всё у всех получилось. Те же RBM от Хинтона наверное в каждой сети уже должны быть.

не уловил мысль, сорри

О том, что фундаментально критиковать проще

О том, что фундаментально критиковать проще

не помогло)

Мужик как раз не критикует, он предлагает, и этим кардинально отличается от тысяч околонаучных диплернеров. То есть поначалу критиковал, а теперь пытается привнести. Этим и ценен

делать намного сложнее, чем критиковать, а изобретать ещё сложнее, чем делать. это понятно. "мужик несколько лет корячился" поэтому тут не совсем тот аргумент: некоторые всю жизнь корячатся и у них ничего не выходит.

я не отрицаю ценность самой попытки, но лишь говорю, что я не первый раз уже сталкиваюсь с тем, что какая-то технология даже ценой более высокой вычислительной нагрузки показывает выигрыш на одной или нескольких моделях, а на других не может.

и как правило такой выигрыш происходит на моделях где у свёрточных сетей большой оверфит (большая разница между тест и трейн). CIFAR10/100 как раз такие.

делать намного сложнее, чем критиковать, а изобретать ещё сложнее, чем делать. это понятно. "мужик несколько лет корячился" поэтому тут не совсем тот аргумент: некоторые всю жизнь корячатся и у них ничего не выходит.

ааа, я только сейчас сообразил)) Ты там тег <ирония> не заметил просто

ааа, я только сейчас сообразил)) Ты там тег <ирония> не заметил просто

а у меня не было такого тега

мозг не отобразил почему-то

а у меня не было такого тега

да, извини) в следующий раз буду попрямолинейней

ага, извиняюсь, заработался

Я сыронизировал над тем, как ты все с дивана разложил, мол, тут вот оверфит, тут не доказано, тут routing приводитк потерям )

в качестве извинений задвину вам модель мозга Алексея Редозубова, как время будет.

Я сыронизировал над тем, как ты все с дивана разложил, мол, тут вот оверфит, тут не доказано, тут routing приводитк потерям )

дык я не первый раз такое вижу, и всегда почему-то те же симптомы...

и про капсули тоже уже дискутировал раньше

вот пусть кто на ImageNet покажет прирост качества.

потому что, что ни говори, convnets неплохо моделируют bottom-up processing в мозгу.

вот пусть кто на ImageNet покажет прирост качества.

Это звучит именно с дивана. Покажет, и ты такой благосклонно кивнешь?

Тру. Ну реально почему свертки, а не еще какие нить вейвлеты. Я согласен, есть много преимуществ именно практических, наработан матаппарат, есть спецвычислители etc. Но вот именно с точки того, как нужно смотреть на мир, совершенно неочевидно, что именно свертки. Тут дело не в том, что надо пытаться что-то найти получше, а в том являются ли именно капсулы этим лучшим, или это ложная тревога

проблема в том, что пропихнуть что-то альтернативное очень сложно

всем подавай Sota

всем подавай Sota

ну вот двумя сообщениями выше

Это звучит именно с дивана. Покажет, и ты такой благосклонно кивнешь?

конечно, буду славить и понесу идею в массы.

всем подавай Sota

а чем плох сота как критерий полезности?

всем подавай Sota

Никогда не понимал. На имаджнете десять сеток с минимальной разницей, в памяти остается только победитель. Но в остальных-то девяти тоже были какие то интерерсные идеи, почему о них никто не вспоминает?

а чем плох сота как критерий полезности?

тем что сравнивать работу одного ученого с работами тысячи человек на протяжении десятка лет необъективно

Никогда не понимал. На имаджнете десять сеток с минимальной разницей, в памяти остается только победитель. Но в остальных-то девяти тоже были какие то интерерсные идеи, почему о них никто не вспоминает?

ну в итоге их кто-то вытягивает, модифицирует и дает SoTA

тем что сравнивать работу одного ученого с работами тысячи человек на протяжении десятка лет необъективно

признание заслуг — необъективно. а вот полезность — вполне себе объективна.

признание заслуг — необъективно. а вот полезность — вполне себе объективна.

полезность в долгосрочной перспективе - необъективно

Никогда не понимал. На имаджнете десять сеток с минимальной разницей, в памяти остается только победитель. Но в остальных-то девяти тоже были какие то интерерсные идеи, почему о них никто не вспоминает?

AlexNet забыли? ResNet и Inception v1 забыли?

конечно, буду славить и понесу идею в массы.

я скорее о том, что ты себя неявно возвысил. Мол, работайте-работайте, а я буду принимать вашу работу

увы, здесь нет сторон. польза — она общая.

а вот роли занять может любой.

а то так договоритесь, что если король казнит бунтарей, то он козёл и не оценивает вклад бунтарей в развитие общества)

и да, "интеллекта" для роли критика нужно гораздо меньше, чем для роли создателя.

AlexNet забыли? ResNet и Inception v1 забыли?

что за манера обсуждения блин? Как твой вопрос коррелирует с моей фразой про 9 остальных. Нет, не забыли, и что это говорит о местах со 2 по 10?

что за манера обсуждения блин? Как твой вопрос коррелирует с моей фразой про 9 остальных. Нет, не забыли, и что это говорит о местах со 2 по 10?

что и первое место забудут, когда появится новый на первом месте. запоминают идеи, а не конкретные особенности реализации.

я сразу на следующий вопрос просто пытался ответить...

что и первое место забудут, когда появится новый на первом месте. запоминают идеи, а не конкретные особенности реализации.

Это пиздец какой то. Цитирую: "Но в остальных-то девяти тоже были какие то интерерсные идеи, почему о них никто не вспоминает?" Я и пишу об идеях

Это пиздец какой то. Цитирую: "Но в остальных-то девяти тоже были какие то интерерсные идеи, почему о них никто не вспоминает?" Я и пишу об идеях

ты любой чих считаешь за полезную идею?

точнее, интересные-то идеи может и были, а вот полезных мало идей на все работы.

ты любой чих считаешь за полезную идею?

Нет, но мне нравится твоя манера беседы - задавать дурацкие вопросы никак не связанные с моими словами

хорошо, буду более конкретно отвечать. виноват.

Просто как то выматывает. Я что то написал, и тут ты такой, прищурившись, задаешь наводящий вопрос))

получается диалог слепого с глухим)

ок-ок, давай сосредоточимся на каком-то конкретном вопросе, на который я отвечу.

>Но в остальных-то девяти тоже были какие то интерерсные идеи, почему о них никто не вспоминает? потому что идеи может и интересные, но средняя ценность их на мой взгляд низкая. большинство идей — просто оптимизация архитектуры под задачу, результат метода проб и ошибок, а не инсайты.

Вопрос был в СОТА. Получается, ресерч превратился в соревновательный дата саенс. Вот представь, пишет Эйнштейн Е=мс^2. И тут ему: а давай протестим на миллионах соединений, точно ли это, а то вот тут предлагают костыль к твоей формуле, так он точность на 0,01% лучше дает на углероде

А ведь какая нить "He" инициализация весов - это тот самый костыль и есть

вот на мой взгляд как раз не превратился ресёрч в соревновательный дата-саенс. да, SOTA — критерий ценности, но это не значит, что уменьшение точности на 1% снижает ценность реализации до нуля.

Вопрос был в СОТА. Получается, ресерч превратился в соревновательный дата саенс. Вот представь, пишет Эйнштейн Е=мс^2. И тут ему: а давай протестим на миллионах соединений, точно ли это, а то вот тут предлагают костыль к твоей формуле, так он точность на 0,01% лучше дает на углероде

это мы еще вопрос reproducibility не подняли

наоборот, скорее, все понимают, что E=mc^2+q(m) при малом q — не сильно отличается от E=mc^2 и примерно ему эквивалентен, и мы не можем даже, если вспомним физику и рассчёт ошибок измерения, отличить одну формулу от другой на практике.

это мы еще вопрос reproducibility не подняли

вопрос reproducibility опять же становится важным только если считать выигрыш 0.01% точности как "100% ценности данной реализации и 0% остальных"

вопрос reproducibility опять же становится важным только если считать выигрыш 0.01% точности как "100% ценности данной реализации и 0% остальных"

а иначе (если важно не относительное лидерство в SOTA, а абсолютная точность, то) , скорее, похожие работы с похожей точностью помогают подтвердить точность друг друга.

"помогают подтвердить точность друг друга" — опять же как различные измерения одной и той же величины в физике помогают точнее оценить правильность формулы и оценить распределение ошибки этих измерений.

так что и я как раз против того, чтобы считать преимущества модели капсюлей в CIFAR существенными (на основании SOTA). более того, объясняю, что ошибка измерений точности в данной модели достаточно высокая.

Ну почему же. Здесь мы вступаем в область споров о том, что является стопудовой валидацией. Они на мнисте тренились, а на аффнисте тестили, увидели прирост. Доказательство? Навряд ли. Evidence? Пожалуй да

вопрос reproducibility опять же становится важным только если считать выигрыш 0.01% точности как "100% ценности данной реализации и 0% остальных"

ну то есть если чуваки пропихивают в топ конференции методы которые не работают, это норм?

Ну почему же. Здесь мы вступаем в область споров о том, что является стопудовой валидацией. Они на мнисте тренились, а на аффнисте тестили, увидели прирост. Доказательство? Навряд ли. Evidence? Пожалуй да

А, видимо, это сообщение я неправильно прочитал. Я не помню этот момент в работе: они сравнивали это с другими моделями, которые тренировались на аффнете?

ну то есть если чуваки пропихивают в топ конференции методы которые не работают, это норм?

Не норм, ибо вносит "шум измерений ценности идей"

или если например метод работает только на очень маленьком интервале гиперпараметров, который в статье не указан, но при этом дает SoTA на этом единственном наборе параметров и единственном датасете

или вдруг оказывается что целая теория о которой восторженно отзывались лучшие профи опровергается сменой функции активации

или если например метод работает только на очень маленьком интервале гиперпараметров, который в статье не указан, но при этом дает SoTA на этом единственном наборе параметров и единственном датасете

это проблема только если ценность победы считать за 100% а ценность второго места за 0.

это проблема только если ценность победы считать за 100% а ценность второго места за 0.

при чем тут места?

Если вы не считаете проблемой что куча статей делает заявления не имеющие ничего общего с реальностью и предлагают методы которые не работают ни на чем кроме единственного примера, то я пожалуй пойду

при чем тут места?

Потому что иначе анализ идей работы расставит всё на свои места. Нельзя оценивать всю систему одним параметром. Даже если в определенном контексте этот параметр позволяет оценить качество системы.

Если вы не считаете проблемой что куча статей делает заявления не имеющие ничего общего с реальностью и предлагают методы которые не работают ни на чем кроме единственного примера, то я пожалуй пойду

Это усложнение работы для инженерии и мерянья письками, но проблемой я это не считаю.

Это усложнение работы для инженерии и мерянья письками, но проблемой я это не считаю.

Инженерия имеет методы, чтобы с этим справляться, а наука вообще не доделкой чужих решений занимается.

Инженерия имеет методы, чтобы с этим справляться, а наука вообще не доделкой чужих решений занимается.

при чем тут доделки непонятно

при чем тут доделки непонятно

А зачем одному учёному смотреть на идеи других учёных, приведшие к Sota?

А зачем одному учёному смотреть на идеи других учёных, приведшие к Sota?

то есть по твоему ни один ученый на идеи других не смотрит?

а самостоятельно разрабатывает все науку с нуля видимо

то есть по твоему ни один ученый на идеи других не смотрит?

Смотрит, но с другими целями: диссекции идей и не повторения в точности

Смотрит, но с другими целями: диссекции идей и не повторения в точности

и при этом ложные выводы в статьях ему не мешают? ?‍♂

Смотрит, но с другими целями: диссекции идей и не повторения в точности

иногда и повторения тоже. Как раз потому, что достоверность и репрезентативность - это бич современных научных публикаций, особенно, если это архив

и при этом ложные выводы в статьях ему не мешают? ?‍♂

Если он плохо умеет проводить анализ в конкретной области -- мешает.

Если он плохо умеет проводить анализ в конкретной области -- мешает.

лол, а если хорошо, это значит что ему придется перерыть кучу говна и качественно проанализировать

Вообще, спорный вопрос, согласен, иначе мы придём к вопросу о ценности опыта учёных, что не совсем корректный вопрос уже, ведь именно учёные как класс двигают науку.

лол, а если хорошо, это значит что ему придется перерыть кучу говна и качественно проанализировать

И тогда он научится нормально анализировать идеи других людей, да, а не просто брать их на веру.

И тогда он научится нормально анализировать идеи других людей, да, а не просто брать их на веру.

позовите меня когда научитесь читать то что вам пишут, буду рад подискутировать в таком случае

позовите меня когда научитесь читать то что вам пишут, буду рад подискутировать в таком случае

Что теперь-то не так?

Всегда и везде приходится перерыть кучу говна, чтобы научиться анализу, но только в самой быстро развивающейся области знаний это почему-то ненормально

Что теперь-то не так?

я написал, что если ученый умеет анализировать, то ему понадобится потратить кучу времени на анализ кучи ложных статей. Вы написали что тогда он научится анализировать

я написал, что если ученый умеет анализировать, то ему понадобится потратить кучу времени на анализ кучи ложных статей. Вы написали что тогда он научится анализировать

Вот про "долго" вы ничего не писали как раз.

Наоборот, чем навык выше, тем быстрее идёт процесс.

Наоборот, чем навык выше, тем быстрее идёт процесс.

быстрее не значит быстро

особенно если любая неинтуивная идея может сработать

Да уж, не моментально, но, увы, так мир устроен.

Да уж, не моментально, но, увы, так мир устроен.

но тем не менее откровенное вранье в статьях - это нормально и никакая не проблема?)

особенно если любая неинтуивная идея может сработать

Вот тут очень спорно. Может улучшить Sota на 0.01% - наверняка.

но тем не менее откровенное вранье в статьях - это нормально и никакая не проблема?)

Это плата за скорость. Научные журналы большую часть вранья исправляют, но это вам долго.

Это плата за скорость. Научные журналы большую часть вранья исправляют, но это вам долго.

топ конференции так же охотно принимают невоспроизводимые работы

Ну уж тут ценность я вообще не вижу. Свойство такое у людей -- уметь врать и приукрашивать свои достижения. Просто надо его учитывать.