Вчера ночью Гугл выложил в опенсорс свою текущую реализацию системы семантической сегментации на tensorflow. Непонятно? Это система, позволяющая различить какая область фотографии чем занята. Говоря очень грубо, компьютер понимает где на фотографии человек, где дом, где машина и так далее. Это важно не только для каких-то сложных штук (вроде самоуправляемый автомобилей), но и для банального размытия фона на фотографиях. Собственно для этого изначально deeplab и использовался для обработки фотографий. Кроме исходных кодов реализации Гугл так же щедро выложил и уже предтренированные модели. Пользуйтесь, я сегодня вечером тоже попробую. https://research.googleblog.com/2018/03/semantic-image-segmentation-with.html

мопед не мой

Норм ?

Надо юзать

@noexpr здесь нельзя вакансить

(пока еще)

@noexpr здесь нельзя вакансить

сорри, а где можно) А то больно уж актуален вопрос с нахождением разработчика для работы вы дубайском офисе?

Посмотрите чаты и каналы с вакансиями. Например тут github.com/goq/telegram-list или в гугле

сорри, а где можно) А то больно уж актуален вопрос с нахождением разработчика для работы вы дубайском офисе?

Я тут

Не то, чтобы я был против одной хорошей вакансии, но HRы не дремлют, и если кому-то одному можно, то "а почему мне нельзя?" и начнётся снова ад из вакансий

А эдвайзера то можно тут поискать в проект?))

А эдвайзера то можно тут поискать в проект?))

Пишите в личку. Уж я вам насоветую!!!111

Народ, может кто в курсе, есть ли БД которые осуществляют поиск по базе n-мерного протсранства? Конкретно - 128- мерного. Ну, типа, есть вектор, и нужно по нему найти ближайший вектор в БД.

https://github.com/facebookresearch/faiss

спс, но мне б в бд это всё запихнуть. Типа sql там какого-нибудь

Народ, может кто в курсе, есть ли БД которые осуществляют поиск по базе n-мерного протсранства? Конкретно - 128- мерного. Ну, типа, есть вектор, и нужно по нему найти ближайший вектор в БД.

А какой нибудь monetdb не пробовали?

А какой нибудь monetdb не пробовали?

Нет, не слышал про такой. Гуглю, спасибо

Нет, не слышал про такой. Гуглю, спасибо

Тогда Гугл в помощь по запросу «векторные СУБД», там ща много разный наклепали уже

Тогда Гугл в помощь по запросу «векторные СУБД», там ща много разный наклепали уже

спасибо

спс, но мне б в бд это всё запихнуть. Типа sql там какого-нибудь

за o(n) можно найти прямым sql запросом, но если нужно быстрее, потребуется индекс, и я не знаю бд, которые бы предлагали такие индексы. если данные обновляются редко, можно хранить сущности в бд и использовать faiss как внешний индекс, он позволяет сохранять построенный индекс в файл

Всем привет, скажите а как правильно сканировать изображения рисунков начерченых на бумаге ручкой ? Чтобы на их основе натренировать сеть рисовать фигуры

на сколько я в курсе... можно просто фоткать.. или вебка... или даже самому рисовать в пейнте. главное нормализовать потом правильно

а из чего этот процесс состоит ?? В Керасе уже есть эти функции ?

подробно разжеваная хабростатейка https://habrahabr.ru/company/wunderfund/blog/314242/

Спасибо большое , почитаю :)

там какраз есть пример кода про картинки. дело по хорошему совдится что бы представить правильно данные в тот же керас

А какие настройки лучше выбрать для сканера когда сканируешь рисунки из альбомов ?

увы сканера нету ) но думаю зависит от способа обработки (нормализации) ну и архитектуы сети.... я не заморачивался и просто фоткал на телефон %) вебки тоже нету )) думаю более опытные старожили сумеют подсказать

Ок всеравно спасибо, надеюсь :) А то я думаю сразу в чернобелом формате сканировать чтобы лишнюю инфу отсечь , но незнаю нужно это или нет.

ну смотря под что расчитывать.... по хорошему приведение в оттенки серого делается достаточно просто

ну это да, в opencv есть такие методы, просто я буду штук 100 изображений сканить поэтому думаю как бы все грамотно сделать.

Кстати, насчёт "векторных бд" и similarity search. Есть словарь в pickle, где каждому ключу соответствует набор пар векторов. Где бы это лучше хранить и откуда быстрее читать?

Или в таком кейсе pickle - оптимальное решение?

Кстати, насчёт "векторных бд" и similarity search. Есть словарь в pickle, где каждому ключу соответствует набор пар векторов. Где бы это лучше хранить и откуда быстрее читать?

в памяти?

Очень много и все равно довольно долго пробегает

Очень много и все равно довольно долго пробегает

докупить памяти)

Кстати, насчёт "векторных бд" и similarity search. Есть словарь в pickle, где каждому ключу соответствует набор пар векторов. Где бы это лучше хранить и откуда быстрее читать?

Не понятно, ключ это набор пар векторов или значение это набор пар векторов?

Во втором случае есть известный антипаттерн описанный тут Не из-за этого https://stackoverflow.com/questions/19103785/efficient-dictionary-searching а так питоний хэш должен быстро работать. Если ключи должны быть упорядочены, нужно взять дерево. А если набор пар векторов это ключ - то faiss как минимум ускорит, хотя метрика мне в такой формулировке не понятна

Не понятно, ключ это набор пар векторов или значение это набор пар векторов?

Ключ - просто некий лейбл. Набор пар векторов - значения

Спасибо за ссылку, посмотрю

Я же говорил)

Люди, помогите пожалуйста))) вот у меня есть датасет с набором транзакций , который совершал какой то пользователь и я хочу их кластеризовать на те которые были произведена рядом с домом и работой, но не могу понять, как запихнуть такой датасет на котором можно было бы построить модель кластеризатора. Может надо Циклом каждый раз для каждого пользователя делить?

Просто везде примеры , где одному объекту соответствует одна строка признаков , а тут их много

вам надо транспонировать датасет. Условно, сейчас у вас клиент1: [операция1, операция2, операция3], надо: клиент1, операция1;клиент1, операция2;клиент1, операция3

Наверно, будет лучше если вы приведёте пример датасета

Люди, помогите пожалуйста))) вот у меня есть датасет с набором транзакций , который совершал какой то пользователь и я хочу их кластеризовать на те которые были произведена рядом с домом и работой, но не могу понять, как запихнуть такой датасет на котором можно было бы построить модель кластеризатора. Может надо Циклом каждый раз для каждого пользователя делить?

Катя? Киреева? Ты ли это?) Лол

Нет, у меня как раз наоборот, клиент 1 операция , потом следующая строка клиент операция

ERROR: S client not available

А я не могу понять , как кластеризовать операции который совершает один клиент , если у меня клиентов много

вы для каждого клиента хотите кластеры построить?

Да

тогда да, разбиваете датасет по клиентам и для каждого строите кластер. Другое вопрос, что у вас будет Over 9000 кластеров и что вы хотите с ними делать дальше? )

Ну я хочу все его операции разбить на 2 кластера и потом по ним уже предсказать , где будет находится точка

Или я совсем дурак и таким образом я ничего не добьюсь ?

кластеризация не поможет в предсказаниях. Это алгоритм без обучения, максимум что вы узнаете - есть ли некоторое устойчивое кол-во групп транзакций. И уже после этого строить алгоритм прогнозирования

Смысл в том что у меня есть координаты и я хочу взять и сделать два квадрата , в которые влезают наибольшее количество точек , а потом когда я уже сгруппирую их таким образом -эти квадраты и будет предсказанный адрес

Вот я так и хочу, чтобы потом на них прогнозирование построить

А потом их уже регрессором обработать

Это не очень?))

И потом модель регресси получается тоже циклом строить ?

Вы можете кластеризовать, а потом уже использовать эти данные для обучения какого-то классификатора

Спасибо)

#вопрос Подскажите толковый учебник по статистике где будут просто и понятно донесены основные концепции не только текстом но и графически? Спасибо

https://www.livelib.ru/book/1000537245-head-first-statistics-dawn-griffiths

https://www.livelib.ru/book/1000537245-head-first-statistics-dawn-griffiths

Спс)

Статистика и котики?)

У udacity есть отличный курс по статистике. На английском, правда.

https://www.udacity.com/course/intro-to-statistics--st101 этот ?

Полезная информация от наших друзей. 22 марта в 20:00 — онлайн день открытых дверей курса “Разработчик BigData”. Проходите тестирование и подключайтесь https://otus.pw/6tQ5/ Ответим на все вопросы о программе, расскажем про обучение, перспективы трудоустройства и про особые условия для выпускников от компании-партнера курса. По традиции разыграем бесплатные места на курсе для успешно прошедших вступительное тестирование. До встречи!

Can someone share the content for data science .?