Anonymous
минус перевозчик
Evgenii
примерно
Dmitry
самолеты давно сами взлетают, летят и садятся
Dmitry
при желании.
Anonymous
самолеты давно сами взлетают, летят и садятся
Про это вкурсе, но речь об убирании пилота там нету даже близко
Dmitry
ну в общем да, какое-то время еще полетают
Dmitry
так что этот поезд не совсем ушел, для тех, кому IT осточертело
Anonymous
на эту жизнь хватит
Cinder
А че сложно пилотом стать? сколько учиться нужно?
Средний программист не проходит по здоровью
Dmitry
это в РФ, где одни нормативы для пилотов и космонавтов
Dmitry
мои знакомые делали операции, что бы по зрению проходить
Dmitry
Ладно, раз в этом анимешном канале речь про самолёты зашла, задам вопрос по теме: а как для нейронки подбирать количество скрытых слоёв и их размер? Есть какие-то общие рекомендации?
Anonymous
надо просто заранее этот момент выяснить, что бы потом не было облома
Cinder
Ладно, раз в этом анимешном канале речь про самолёты зашла, задам вопрос по теме: а как для нейронки подбирать количество скрытых слоёв и их размер? Есть какие-то общие рекомендации?
Опытным путем сравнивать разные топологии на выборках
Dmitry
Our Robots, Ourselves: Robotics and the Myths of Autonomy
https://www.amazon.com/Our-Robots-Ourselves-Robotics-Autonomy-ebook/dp/B00SI02AWK
Evgenii
Dmitry
Про эти ваши роботы-самолеты
Dmitry
@dmalkr этому точно книга какая-нибудь не посвящена? и там еще разные разделы, типа для чего какая нейронка и как подбирать
Evgenii
random search если неохота заморачиваться
правило большого пальца - количество параметров не должно быть сильно больше чем количество данных
Dmitry
Не могу каких-то внятно книг, где бы это написано было, найти
Dmitry
ну по ML-ю книг много, неужели именно про нейронки ничего нет? просто тема какая-то дюже общая
Evgenii
Не могу каких-то внятно книг, где бы это написано было, найти
да потому что интуиция и метод проб и ошибок либо Автоматизация
Dmitry
Ладно, значит, перебор :(
Dmitry
Ну я про него, да. Всё множество параметров не перебрать.
Dmitry
Ну, разве что ген.алгоритмы добавить
Dmitry
мой опыт использования нейронок пришел к тому, что когда у тебя хороший вектор, который ты в нейронку пихаешь, то нейронка и не нужна становится
Dmitry
но это было больше десяти лет назад
Dmitry
Это как?
Dmitry
это как что?
Alexander
перевод: как получается так что нейронка не нужна
Dmitry
Что такое "хороший вектор" и почему при нём нейронка становится не нужна?
Евгений
мой опыт использования нейронок пришел к тому, что когда у тебя хороший вектор, который ты в нейронку пихаешь, то нейронка и не нужна становится
Нейронка это же обывательский термин для метода обратного распространения ошибки, нет?
Dmitry
Да
Dmitry
ну вот распознаешь ты символы
Dmitry
ты ж не будешь прям пикселы в нейронку пихать?
Dmitry
ты строишь некий от них инвариант
Dmitry
стойкий там к таким преообразованиям, сяким преобразованиям
Dmitry
и когда ты его научился строить
Dmitry
то оно прекрасно распознается тупым k-means
Dmitry
но да это было 10 лет назад и может с тех пор корабли бороздят и всё такое.
Евгений
Прям пиксели и суют, насколько я понимаю. Как раз чтобы найти эти инварианты
Dmitry
может и суют, но тогда совали не пиксели. а собирали какой-то набор фактов о символах + какие-то геометрические производные
Dmitry
-деривативы- в смысле. ну там находили центр масс, вектора строили еще что-то вот такое.
Евгений
Насколько я понимаю, вся суть хайпа в том, что монополии набрали себе таких вычислительных мощностей, что могут в нейронки пихать огромные вектора
Dmitry
ну я не знаю. учоные что-то изучают, пейперы пишутся, всё это происходит уже мнго лет, не стоит наверное так вот обобщать. как показывает практика, 1% всего этого должен быть по делу
Dmitry
ну, 0.1% - 1%
Евгений
Ну так они много лет изучают, чо
Евгений
Я говорю не о теории, а о практике
Dmitry
ну я бы остерегся говорить, что нейросети - 100% шлак
Евгений
Если ты гугл, то нихера не шлак 😆
Dmitry
но если сравнивать с той областью ноуке, что я окунулся лет пять назад - то где-то 99% публикаций - шлак
Evgenii
Ну я про него, да. Всё множество параметров не перебрать.
есть всякие градиент-десент стайл алгоритмы
Danila
ну по ML-ю книг много, неужели именно про нейронки ничего нет? просто тема какая-то дюже общая
Просто чем больше слоев, тем в общем случае "умнее" сеть, но тем дольше ее учит. Но это как я понял. Плюс там еще фишечки с переобучением
Евгений
Ну моя позиция такая: монополии набрали себе ресурсов, чтобы подешёвке приближённо решать сложные задачи статистическим анализом, вместо того, чтобы нанимать дорогостоющие лаборатории и ждать десятки лет. А все мелкие компании тянутся за ними в хвосте и не понимают, что за этим хайпом стоят многомиллионные кластеры
Danila
В общем, только эмпирически подбирать, ИМО
Dmitry
@LuckAttractor "умнее" тут как-то смотриться... профанически.
Dmitry
т.е этих сетей 9000 видов
Dmitry
не только слои определяют её свойство
Danila
В сетях-то
Dmitry
там есть и прочие какие-то архитектурные вещи
Dmitry
какие-то. мне казалось, даже у меня в книжках по ML-ю разбиралась пара-тройка видов сетей
Danila
Я просто всего пару раз их тыкал по работе, и то не сам
Danila
Тут и правда от задачи зависит, сколько слоев городить
Dmitry
мы десять лет назад пытались строить что-то наподобие Decision tree, только в узлах были простые персептроны, и всё это дело учить при помощи генетических алгоритмов
Dmitry
но быстро устали
Dmitry
пока собирается ghcjs можно обсудить широкий круг тем
Dmitry
по нескольку раз
Danila
Понятно. По-моему, кстати, куча стат задач решается без сети, просто с обучением, или я не понимаю?
Danila
Ну то есть обычный монте-карло, эволюция и прочие алгоритмы
Dmitry
ну я это и пытался сказать. при хорошем препроцессинге и инвариантах символы получалось распознавать без всяких нейросетей простым kmeans
Dmitry
ну в смысле nearest neighbor
Danila
Они же не особо связаны с сетями, но подходят там, где сейчас пытаются нейросети делать
Danila
Ну да
Danila
У нас просто недавно было сборище по бионинформатике, решали задачки разные. Сначала все такие - а давайте тут нейронку, и еще там и потом еще сверху одну