А такой вопрос: в data science джуны за еду вообще нужны? Или везде только с опытом? Прост, я готов и бесплатно вписаться, лишь бы обучали и опыт капал. Бэкграунд: 2 года системного программирования(С/С++/Assm), из них рабочий опыт 3 месяца над гос.заказом в сфере операционных систем. Data Science только-только начал осваивать. В питон могу, но слабо, т.к. либы не знаю практически. Сейчас пока мат.часть ботаю: introduction to statistical learning, потом хочу уже серьезную statistical learning освоить, а дальше уже можно deeplearningbook. Параллельно ещё специализация на курсере от МФТИ. Вообще, как стоит выстроить программу обучения, чтобы просто "за еду" взяли? Потому что там обучение в разы быстрее уже пойдёт.

Я могу ошибаться конечно в данном конкретном случае, но знаю людей которые закладывают полгода-год для переквалификации. С учетом того что уже специалисты в чем то. А потом можно уже и идти на джуна.

Я могу ошибаться конечно в данном конкретном случае, но знаю людей которые закладывают полгода-год для переквалификации. С учетом того что уже специалисты в чем то. А потом можно уже и идти на джуна.

но смотря как сильно заниматься всем эти полгода-год

но смотря как сильно заниматься всем эти полгода-год

Конечно ) Плюс сильно зависит от бэкграунда и много еще от чего.

Всем привет У меня возникла проблема при обучение cnn для распознания кошек и собак За несколько эпох loss перестает меняться а точность ведет себя рандомно Помогите найти ошибку кому не сложно ) http://stackoverflow.com/questions/43118676/training-cnn-behaves-very-strangely-tensorflow

вот полный код

за помощь и объяснение ошибки награда 1000руб

за помощь и объяснение ошибки награда 1000руб

а пробовали на форумах fast.ai спрашивать?

Там как раз первая cnn в курсе разбиралась на кошках и собаках через Theano

http://forums.fast.ai/

У Вас размерности, на мой взгляд, маленькие взяты. x = tf.placeholder(tf.float32, [None, x_train.shape[1]]) y_ = tf.placeholder(tf.float32, [None, y_train.shape[1]]) w_conv1 = weight_variable([5, 5, 3, 32]) b_conv1 = bias_variable([32]) x_image = tf.reshape(x, [-1, 32, 32, 3]) h_conv1 = tf.nn.relu(conv2d(x_image, w_conv1) + b_conv1) h_pool1 = max_pool_2x2(h_conv1) w_conv2 = weight_variable([5, 5, 32, 64]) b_conv2 = bias_variable([64]) h_conv2 = tf.nn.relu(conv2d(h_pool1, w_conv2) + b_conv2) h_pool2 = max_pool_2x2(h_conv2) w_fc1 = weight_variable([8 * 8 * 64, 1024]) b_fc1 = bias_variable([1024]) h_pool2_flat = tf.reshape(h_pool2, [-1, 8 * 8 * 64]) h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, w_fc1) + b_fc1) keep_prob = tf.placeholder(tf.float32) h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob) w_fc2 = weight_variable([1024, 2]) b_fc2 = bias_variable([2]) y_conv = tf.matmul(h_fc1_drop, w_fc2) + b_fc2 cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y_conv)) train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1)) accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

Там как раз первая cnn в курсе разбиралась на кошках и собаках через Theano

не пробовал , сейчас спрошу

У Вас размерности, на мой взгляд, маленькие взяты. x = tf.placeholder(tf.float32, [None, x_train.shape[1]]) y_ = tf.placeholder(tf.float32, [None, y_train.shape[1]]) w_conv1 = weight_variable([5, 5, 3, 32]) b_conv1 = bias_variable([32]) x_image = tf.reshape(x, [-1, 32, 32, 3]) h_conv1 = tf.nn.relu(conv2d(x_image, w_conv1) + b_conv1) h_pool1 = max_pool_2x2(h_conv1) w_conv2 = weight_variable([5, 5, 32, 64]) b_conv2 = bias_variable([64]) h_conv2 = tf.nn.relu(conv2d(h_pool1, w_conv2) + b_conv2) h_pool2 = max_pool_2x2(h_conv2) w_fc1 = weight_variable([8 * 8 * 64, 1024]) b_fc1 = bias_variable([1024]) h_pool2_flat = tf.reshape(h_pool2, [-1, 8 * 8 * 64]) h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, w_fc1) + b_fc1) keep_prob = tf.placeholder(tf.float32) h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob) w_fc2 = weight_variable([1024, 2]) b_fc2 = bias_variable([2]) y_conv = tf.matmul(h_fc1_drop, w_fc2) + b_fc2 cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y_conv)) train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1)) accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

я эксперементировал и с размерностями и с гиперпараметрами

всегда одно и тоже

я и архитектуры разные пробывал

И всё же вниматльней перепроверьте. Представленный Вами на SO код избыточен для данной задачи, а размерности малы. Не так давно делал на собеседовании такую же задачу, код которой и привёл. Точность 91%. with tf.Session() as sess: sess.run(tf.global_variables_initializer()) counter = max_counter = max_accuracy = 0 while True: counter += 1 indexes = np.random.randint(x_train.shape[0], size=50) if counter % 100 == 0: accuracy_ = sess.run(accuracy, feed_dict={x: x_test, y_: y_test, keep_prob: 1.0}) if accuracy_ > max_accuracy: max_accuracy = accuracy_ max_counter = counter print(counter, '-->', accuracy_, '|', max_counter, '-->', max_accuracy) if accuracy_ >= 0.9: break sess.run(train_step, feed_dict={x: x_train[indexes], y_: y_train[indexes], keep_prob: 0.5}) print(confusion_matrix(sess.run(tf.argmax(y_, 1), feed_dict={y_: y_test}), sess.run(tf.argmax(y_conv, 1), feed_dict={x: x_test, keep_prob: 1.0})))

Обновите телеграмм, теперь звонить можно

У кого не заработают звонки - напишите в личку, отзвонюсь вам и звонить можно будет.

Так, походу же, можно звонить тем, кто в Западной Европе находится

Так, походу же, можно звонить тем, кто в Западной Европе находится

Не, у меня все звонится нормально, Киев.

Хм

Так, походу же, можно звонить тем, кто в Западной Европе находится

Пока вам кто-то не позвонит, эта функция недоступна.

И всё же вниматльней перепроверьте. Представленный Вами на SO код избыточен для данной задачи, а размерности малы. Не так давно делал на собеседовании такую же задачу, код которой и привёл. Точность 91%. with tf.Session() as sess: sess.run(tf.global_variables_initializer()) counter = max_counter = max_accuracy = 0 while True: counter += 1 indexes = np.random.randint(x_train.shape[0], size=50) if counter % 100 == 0: accuracy_ = sess.run(accuracy, feed_dict={x: x_test, y_: y_test, keep_prob: 1.0}) if accuracy_ > max_accuracy: max_accuracy = accuracy_ max_counter = counter print(counter, '-->', accuracy_, '|', max_counter, '-->', max_accuracy) if accuracy_ >= 0.9: break sess.run(train_step, feed_dict={x: x_train[indexes], y_: y_train[indexes], keep_prob: 0.5}) print(confusion_matrix(sess.run(tf.argmax(y_, 1), feed_dict={y_: y_test}), sess.run(tf.argmax(y_conv, 1), feed_dict={x: x_test, keep_prob: 1.0})))

это к сожалению тоже не помогло

Какие есть вообще алгоритмы (включая нейросети мб) перцептивного хеширования изображений?

У кого не заработают звонки - напишите в личку, отзвонюсь вам и звонить можно будет.

аналогично ;)

т. е. могу набрать

Какие есть вообще алгоритмы (включая нейросети мб) перцептивного хеширования изображений?

Опишите задачу, пожалуйста

Опишите задачу, пожалуйста

нужно определять "одинаковые" изображения независимо от трансформаций: масштабирования, поворота и так же обрезки (целая картинка и её половина должны иметь малую дистанцию при сравнении)

но мне скорее всего понадобятся в дальнейшем более мощные средства вроде SSDH, так что я хочу какой-нибудь обзор решений увидеть, если такой уже составляли

Что в вашем случае значит "одинаковость"? Картинка целиком или какие-то отдельные признаки?

попиксельная идентичность

одно и то же изображение, но повернутое, обрезанное по краям например, может быть с небольшим шумом поверх

на мой взгляд, собственное портфолио (пет проект как говорят) и участие в соревнованиях с последующим выкладыванием кода - это хороший способ наработки опыта

С этой частью я согласен

С этой частью я согласен

А с какой не согласны?

Не могу сказать; в остальных постах обсуждалось другое. Как приведут историю неуспеха, напишу, что не согласен)

Это, а никто дампа телеграмных чатов не встречал?

групп в смысле. а в виде json api ответов?

Есть тьма сайтов, которые парсят каналы, насчет чатов не в курсе

Почему бы собственно и нет

А ктонибуть юзает https://www.floydhub.com/?

или какиенибуть другие похожие облака

посоветуйте что то хорошее плз

Ребяяяяят. Очень нужна помощь. Пытаюсь обучить сеть. Использую caffe, взял deploy, solver и train файлы из alexnet вроде, только изменил что в слое InnerProduct 11 выходов (у меня столько классов). Пока обучаю сеть максимум 10 итераций (просто чтоб проверить что это работает), но на любую картинку выдает одну и ту же категорию. В чем моя ошибка?

Это разные фото

А вот код

Скриншот кода ?

Ну так красивее, чем просто скинуть код ?

Ну так красивее, чем просто скинуть код ?

используй кавычки

`

\`\`\` code \`\`\`

like this

like this

Есть же гист, ну

Ребяяяяят. Очень нужна помощь. Пытаюсь обучить сеть. Использую caffe, взял deploy, solver и train файлы из alexnet вроде, только изменил что в слое InnerProduct 11 выходов (у меня столько классов). Пока обучаю сеть максимум 10 итераций (просто чтоб проверить что это работает), но на любую картинку выдает одну и ту же категорию. В чем моя ошибка?

Асимметрия в количестве представителей разных классов?

Асимметрия в количестве представителей разных классов?

Тоесть разное количество фотографий одного класса?

Тоесть разное количество фотографий одного класса?

Ну, типа Сколько представителей каждого класса?

Для каждого разное. Где-то по 800 фото, а где-то 100

Ну, типа Сколько представителей каждого класса?

Я ведь правильно вас понял?

Для каждого разное. Где-то по 800 фото, а где-то 100

Это корень всех зол

Читайте о dealing with biased train dataset

ERROR: S client not available

Это корень всех зол

А если фотографии будут повторяться это будет нормально ? Или лучше применить хоть какую-то трансформацию?

А если фотографии будут повторяться это будет нормально ? Или лучше применить хоть какую-то трансформацию?

Фотографии аугметировать нужно (почти) всегда

Фотографии аугметировать нужно (почти) всегда

Есть какие-то уже написание скрипты например, или нужно ручками делать под себя? Простите за такие глупые вопросы ?

Есть какие-то уже написание скрипты например, или нужно ручками делать под себя? Простите за такие глупые вопросы ?

У кафи не знаю, не люблю его, у керас одной строкой делается. Ну и вообще, skiamge позволяет все, что угодно

Хотя у кафи есть слой прямо ауг, вроде бы

Хотя у кафи есть слой прямо ауг, вроде бы

А если я просто оставлю везде одинаковое количество фото, это должно решить проблему? Но сильно увеличится ошибка?

А если я просто оставлю везде одинаковое количество фото, это должно решить проблему? Но сильно увеличится ошибка?

Ну, вы экспериментируйте, для каждой ситуации все по-разному. Вообще добавить один слой в кафе, вроде, несложно. Плюс не знаю, неужели всякие алекснеты по дефолту его не содержат? Это может решить проблему, а может и не решить. Я не знаю, в чем у вас там дело. Кстати, если уж только въезжаете — рекоммендую керас, а не кафе

Волобуев! Вот ваш меч!

Там было другое слово)

гре арендовать сервер с gpu ? чтобы цены были норм и подключили быстро , надо срочно

гре арендовать сервер с gpu ? чтобы цены были норм и подключили быстро , надо срочно

https://ru.hetzner.com/hosting/produkte_rootserver/ex51ssd-gpu http://hyperlee.com/

по поводу hyperlee можешь подробнее рассказать ?цены вроде очень привлекательные ,про hetzner слышал ,друг пользовался

по поводу hyperlee можешь подробнее рассказать ?цены вроде очень привлекательные ,про hetzner слышал ,друг пользовался

а что сказать?) дешево)

https://www.floydhub.com/ Простой хостинг для DL GPU. С free тарифом (100 часов?), поддерживает jupyter, своя консольная утилита. FloydHub is Heroku for DL Platform-as-a-Service for training and deploying your DL models in the cloud. Start running your first project in < 30 sec! Floyd takes care of the grunt work so you can focus on the core of your problem.

гре арендовать сервер с gpu ? чтобы цены были норм и подключили быстро , надо срочно

☝?️

Всем привет! Подскажите пожалуйста, чем можно мониторить PostgreSQL БД? Интересуют аналоги awr/ash как для Oracle.

спасибо. сейчас попробую всем позвонить ,посмотрим кто сможет быстрее подключить

hyperlee подключили , всем спасибо ✌?

Всем привет. Вопрос следующий: как подойти к выбору критерия для обнаружения аномалий во временных рядах?

Посоветуйте материал какой-нибудь.

Выбору алгоритма, точнее

google ARIMA

о, спасибо) заодно как раз нашёл переписанную с R на питон AnomalyDetection от твиттера

Всем привет! Подскажите пожалуйста, чем можно мониторить PostgreSQL БД? Интересуют аналоги awr/ash как для Oracle.

не в тот чат наверное. Но посмотри pgbadger

предварительно бд надо настроить для сбора информации

а почему не в тот?)

не бейте, если что)) я нубас

хаха