@ru_python - страница 1573 - Telegram web archive

Anonymous

он медленный и тупой

Anonymous

+ гемор с интеграцией

Anonymous

А ты хочешь денс сеть?

Anonymous

Или сверточную?

Anonymous

я хочу ocr

Anonymous

и сеть на керасе

Anonymous

Просто если тессеракт для тебя медленный

Anonymous

Удачи

Denis

и сеть на керасе

архитектура какая?

Anonymous

какая то

Anonymous

мнистовская наверно

Denis

мнист это датасет, а не архитектура

Anonymous

лда

Akari

Anonymous

мнист это датасет, а не архитектура

https://www.kaggle.com/adityaecdrid/mnist-with-keras-for-beginners-99457

Anonymous

c

многовато для мниста

Anonymous

многовато для мниста

а для моей задачи?

Slam!

а для моей задачи?

ты вообще на каком железе обучаешь?

Anonymous

нвидиа тесла

Anonymous

от колаба

c

а для моей задачи?

задача на уровне мниста

c

может чуть сложнее

Anonymous

а какую посоветуешь?)

Anonymous

архитектуру

c

взять готовую

c

в книжке у Колетта есть

c

может чутка увеличить

c

https://github.com/fchollet/deep-learning-with-python-notebooks/blob/master/5.1-introduction-to-convnets.ipynb вот

Anonymous

спасибо) а как вместо mnist.load_data() подкинуть свои картинки?

c

train_images и test_images это картинки в виде массивов numpy

c

train_labels и test_labels это предикшоны

c

тоже в виде массивов numpy

Dmitry

кстати в тему вопрос Как бы в бд хранить numpy arrays? я читал что можно сделать numpy.dumps и вроде как сохранить его в blob от postgresql, а потом восстанавливать через numpy.loads но мне кажется это займет очень много времени

Sergey

кстати в тему вопрос Как бы в бд хранить numpy arrays? я читал что можно сделать numpy.dumps и вроде как сохранить его в blob от postgresql, а потом восстанавливать через numpy.loads но мне кажется это займет очень много времени

в базе же массивы есть, в нем и хранить

c

кстати в тему вопрос Как бы в бд хранить numpy arrays? я читал что можно сделать numpy.dumps и вроде как сохранить его в blob от postgresql, а потом восстанавливать через numpy.loads но мне кажется это займет очень много времени

psycopg2 может в списки

Dmitry

а нет разницы numpy array или обычный?

Sergey

а нет разницы numpy array или обычный?

https://stackoverflow.com/questions/18621513/python-insert-numpy-array-into-sqlite3-database

Проксимов

кстати в тему вопрос Как бы в бд хранить numpy arrays? я читал что можно сделать numpy.dumps и вроде как сохранить его в blob от postgresql, а потом восстанавливать через numpy.loads но мне кажется это займет очень много времени

numpy dumps вроде как юзает пикл

Проксимов

в базе же массивы есть, в нем и хранить

Зачем хранить массивы в базе? Особенно реляционной?

c

Зачем хранить массивы в базе? Особенно реляционной?

делать свой FindFace)

Sergey

Зачем хранить массивы в базе? Особенно реляционной?

потому что можно это сделать)

Dmitry

делать свой FindFace)

так не палим мою задумку и то что я делаю)

c

так не палим мою задумку и то что я делаю)

не нужно быть шерлоком)

Dmitry

ну вообще немного не то но факт что есть numpy arrays и я пытаюсь их как-то сохранить кроме стандартных файлов Numpy

Sergey

ну вообще немного не то но факт что есть numpy arrays и я пытаюсь их как-то сохранить кроме стандартных файлов Numpy

скинул же ссылку где показано как это сделать

Dmitry

да я видел

Dmitry

ещё предлагали redis

c

Зачем хранить массивы в базе? Особенно реляционной?

кстати, как хранить массивы правильно?

Sergey

кстати, как хранить массивы правильно?

как понять правильно?

c

ну не в реляционной, тогда в какой?

c

особенно, если поиск не точный, а на ближайшее совпадение

Sergey

ну не в реляционной, тогда в какой?

можно и в реляционной же, ну если тебе искать по ним не надо

c

а зачем тогда

c

писать и не читать?

Dmitry

для потомков

Sergey

а зачем тогда

ну один из примеров хранения массива если у тебя есть иерархические данные в таблице, чтобы каждый раз не строить рекурсией путь, можно сделать это один раз и в массиве сохранить полный путь в виде идентификаторов записей

Проксимов

ну вообще немного не то но факт что есть numpy arrays и я пытаюсь их как-то сохранить кроме стандартных файлов Numpy

Чем не устраивают стандартные нампаевские файлы?

c

Чем не устраивают стандартные нампаевские файлы?

как по ним искать

Проксимов

как по ним искать

Искать что?

c

массив с ближайшим совпадением

c

я просто сам не знаю, как лучше всего хранить подобные штуки

c

и еще потом делать поиск по ним

Sergey

ну если поиск по ним то не реляционки наверно

c

ну если поиск по ним то не реляционки наверно

скорее всего какой-то хитрый индекс

c

для картинок есть phash

c

но это для одинаковых картинок

c

а для одинаковых лиц

Dmitry

ну конкретно в моём случае это евклидово расстояние

Dmitry

между векторами

c

ну конкретно в моём случае это евклидово расстояние

евклидово расстояние это сравнить a и b

Dmitry

в принципе да, но не совсем

c

https://douglasduhaime.com/posts/identifying-similar-images-with-tensorflow.html

Alex

@Tishka17 как бы ты переписал этот простой участок кода, чтобы это не выглядело как говно, но при этом чтобы mypy был счастлив? Identifier = t.Union[int, str] def _parse_identifiers(string: str) -> t.Tuple[Identifier, ...]: result: t.List[Identifier] = [] for chunk in string.split('.'): if chunk[0] != '0' and chunk.isnumeric(): chunk = int(chunk) # type: int result.append(chunk) return tuple(result) parser.py:59: error: Name 'chunk' already defined on line 57

Alex

в mypy добавили опцию —allow-redefinition но видимо она не работает в этом конкретном случае

Anonymous

@Saluev Привет, а как вы решаете проблемы Join'ов в монге, все в денормализованном виде храните?)

Почти как в ORM Django. Один из ключей документа хранит ссылку на документ другой коллекции

c

@Tishka17 как бы ты переписал этот простой участок кода, чтобы это не выглядело как говно, но при этом чтобы mypy был счастлив? Identifier = t.Union[int, str] def _parse_identifiers(string: str) -> t.Tuple[Identifier, ...]: result: t.List[Identifier] = [] for chunk in string.split('.'): if chunk[0] != '0' and chunk.isnumeric(): chunk = int(chunk) # type: int result.append(chunk) return tuple(result) parser.py:59: error: Name 'chunk' already defined on line 57

Identifier = t.Union[int, str] def _parse_identifiers(string: str) -> t.Tuple[Identifier, ...]: result: t.List[Identifier] = [] for chunk in string.split('.'): if chunk[0] != '0' and chunk.isnumeric(): result.append(int(chunk)) else: result.append(chunk) return tuple(result)

Alex

Identifier = t.Union[int, str] def _parse_identifiers(string: str) -> t.Tuple[Identifier, ...]: result: t.List[Identifier] = [] for chunk in string.split('.'): if chunk[0] != '0' and chunk.isnumeric(): result.append(int(chunk)) else: result.append(chunk) return tuple(result)

очевидный вариант, который был до этого

Андрей

@Saluev Привет, а как вы решаете проблемы Join'ов в монге, все в денормализованном виде храните?)

какие проблемы? у монги агрегейшн фреймворк вроде умеет джойнить коллекции и не пиши про нормализацию в одном предложении с монгой. Нормализация - понятие реляционное хотя жду пинков за такие слова

Je

Почти как в ORM Django. Один из ключей документа хранит ссылку на документ другой коллекции

Спасибо, кэп) вопрос был джойнить на клиенте или в базе