Chrome 110.0.0.0
Что можете посоветовать почитать/посмотреть Python разработчику, которого перевели на проект с Hadoopом?
Aragaer
про тексты на том же гитхабе есть пример на 1000 строк на чистом нумпи генерация текста через реккурентные сети
Aragaer
https://gist.github.com/karpathy/d4dee566867f8291f086
Aragaer
конкретно вот
Aragaer
ну так значит надо начать с алгебры
tfhx8
Aragaer
можно начать с простеньких курсов - например курс эндрю ына на курсере. Или есть еще курс от самсунга на степике
B
а где уверенность, что у них будет тот слой который надо? К примеру если стоит задача научиться писать стихотворения как Пушкин?)
Давайте определимся с тем, что делает слой. Слой описывает связи между нейронами этого слоя и предыдущего. Это строительный блок нейросети. Проверить его функциональность можно хотя бы тестами. Подать на вход единичку (индикатор) и проверить выходы. А функциональность нейросети в целом обеспечивается ее общей архитектурой. Современные нейросети имеют порядка сотен слоев + вспомогательные нейронки + различные связи сквозь толщу слоев. Если Вам нужно генерировать текст, попробуйте char-rnn от человека по фамилии Carpathy.
Anonymous
Кто шарит в парсинге, как мне найти последнюю страницу на сайте (просто ее номер), я нашел div, который отвечает за пагинацию divs = soup.find_all('div', attrs={'data-qa': 'pager-block'}) Если так смотреть, то он только 3 выбирает, которые показаны
Anonymous
Anonymous
Господа, джангисты есть? Нада помощь. В чате джангистов помощи не дают
B
а с самой регуляркой не поможете ☺️
Сейчас под рукой питона нет, извините.
Anonymous
Почему так? В чем проблема?
Anonymous
divs = soup.find_all('div', attrs={'data-qa': 'pager-block'}) for div in divs: print(div.find('span', attrs={'bloko-button-group'}).text) покажет только 5 страниц, а как по другим шагать
Anonymous
можно к page + 5 делать?
Anonymous
ты это имеешь в виду
B
тоесть простому юзеру чтобы сделать свою модель понадибся очень большая вычислительная мощь, что обычно не бывает. А на малых мощностях врятли выдит что то хорошее?
Если речь о нейронках то да, там десятки часов и сотни ядер ГПУ. Но при этом 1) простые сети можно хоть на ноутбуке обучать. 2) на Амазоне можно арендовать виртуалку с гпу, оплата по часам.
Denis
А не, выведи просто, что там возвращается
Anonymous
Укажи order явно
Не, оредер не влияет
Проксимов
Почему так? В чем проблема?
Ну это же разные вещи
Anonymous
А не, выведи просто, что там возвращается
Там ваще бредятина Если напрямую, то у одних полей значения других, а значения некоторых ваще проебались А если через values то все ок
🍁 Jaŭhien
Сломал джангу
Anonymous
B
У Гугла есть Tensor processing unit. Можно ли купить, не знаю
B
а есть какие то штуки, в китае продают, выглядят как флешки именно специально для нейронок, хрень?
Вообще всяких ускорителей нейронок понаделали, по-моему у intel есть как раз что-то в околофлешечном формате. Вариант intel Edison вроде бы такой.
Anonymous
Лан то фигня, там переопределено представление строки было, не суть. Один фиг это объект, его вывод даст мне только адрес в лучшем случае Ща гляну через консоль пайчарма чего там
B
Почему так? В чем проблема?
Может быть, .all() перед взятием индекса?
Anonymous
Ща попробую
B
Или list(...), чтоб наверняка
Anonymous
Нет
Anonymous
Да лист тож пробовал
B
Ночь перестает быть томной
B
А первичный ключ это id?
Anonymous
Выведи сам объект и пойми почему
Блин камон. Скажи уже просто а
Anonymous
Яж не просто так по чатам побежал
Anonymous
Я не из тех кто лезет спрашивать сразу Я сперва сам пытался докопаться
Anonymous
Гугл мне ничего толкового не выдал Былоб удобно чет вроде .fetch() как и .values(), только при этом вытаскивать данные с бд и иметь полные объекты, для удобной работы
Anonymous
в бд данные верные, на верных полях, если что А здесь у объекта получается какой-то бред вроде init_ip = [данные из поля даты] is_nsfw = [как раз init_ip]
Panfily
nsfw 🦊
Alex
Я не из тех кто лезет спрашивать сразу Я сперва сам пытался докопаться
> Былоб удобно чет вроде .fetch() как и .values(), только при этом вытаскивать данные с бд и иметь полные объекты, для удобной работы ORM так и работают Покажи модель свою.
Alex
Кстати если ты по id строишь запрос, то почему не get?
Unit
Добрый вечер! Я вот сваял библиотечку с py37 датаклассами которые умеют форсировать для значений полей типы указанные в аннотациях: https://github.com/arishpyne/powerdataclass Может пригодится!
MIKS
Ваяж ваяж
koder
Добрый вечер! Я вот сваял библиотечку с py37 датаклассами которые умеют форсировать для значений полей типы указанные в аннотациях: https://github.com/arishpyne/powerdataclass Может пригодится!
Обычно заигрывания с автотрансформацией типов оканчиваются плохо. Лучше орать, если типы кривые, или оно умеет? Для функций есть такие либы, хз как для датаклассов. И я бы сделал на декораторах. Базовые классы хорошо, если код твой и там не будет треша с наследованием. А вот если о давать "в люди" то каждый лишний базовый класс - проблема
Unit
умеет орать когда типы неправильные или если не смог скастовать в указанный в аннотации тип. запилил в целом как решение для проблемы хранения разнородных данных в nosql
koder
Ну а так то норм, я за либы для типизации
Unit
Эм. Не совсем въехал, а что оно делает?
В питоне 3.7 появились датаклассы как продолжатель идей NamedTuple
Tishka17
Это типа замена mypy?
Fᴏʀᴅᴇɴ
привет пытаюсь хранить словарик в редисе, а оно не хочет словарик: {'last': 1564696164, 'data': [[596396828, 'message', datetime.datetime(2019, 8, 2, 0, 13, 8), 1564697588, 303986717, 303986717, 'text']]} bytes() выдает ошибку TypeError: 'str' object cannot be interpreted as an integer json.dumps() выдает ошибку TypeError: Object of type 'datetime' is not JSON serializable остался только pickle?
Unit
нет, mypy это статический анализатор, а этот датаклас умеет в автоматический каст переданных в конструктор параметров к типам указанным в аннотациях этих параметров, причем произвольной вложенности
Tishka17
Типа этого?
Unit
в том числе умеет автоматически распаковывать словари в датаклассы если датакласс указан как тип параметра
Tishka17
Давай вместе пилить :))
Unit
Давай вместе пилить :))
Норм! твоя либа больше сериализатор/десериализатор и еще как я понял умеет в создание классов в рантайме
Unit
Это неблохо