Dmitri
посоветуйте кинчики с японской тематикой типа последнего самурая
Очень советую кинчики с японской тематикой, вроде последнего самурая
Igor
Ребята, подскажите, пожалуйста, по gin-gonic, кто спец. Там *gin.Context изолированный или общий? Поясню вопрос - мне нужно при аутентификации пользователя получать из базы данные о нём и хранить так, чтобы были доступны на любой странице сайта. Этот контекст обеспечивает каждому пользователю изолированное хранение данных или он один общий и данные будут перезаписываться?
Andrei 🦉
то есть в нем нельзя хранить данные между запросами
Igor
то есть в нем нельзя хранить данные между запросами
так. А как тогда правильно решить мою задачу?
Andrei 🦉
так. А как тогда правильно решить мою задачу?
в начале запроса вытаскиваете данные пользователя из базы или кэша в памяти приложения и кладете в этот контекст, после чего используете их там, где требуется
Andrei 🦉
обычно это оборачивают в какой нибудь middleware
Igor
в начале запроса вытаскиваете данные пользователя из базы или кэша в памяти приложения и кладете в этот контекст, после чего используете их там, где требуется
Можно поподробнее? о каком именно кеше речь? Если, допустим, при аутентификации понятно, мы один раз делаем запрос к базе, как потом сделать чтобы не запрашивать базу при посещении следующих страниц?
Igor
а, вот так вот. Понятно, спасибо
Dmitri
а без них никак?
Без них в другой язык сразу. В го без них боль
Wingman
Подскажите плз Хочу обмениваться "задача" <-> "результат задачи" через брокер сообщений + protobuf. В зависимости от типа задачи могут быть разные типы результатов. Никак не возьму в толк, как лучше определять, какой именно тип результата к тебе пришел. Пока приходит в голову одно: - в каждом типе результата завести поле "тип" - анмаршалить полученный результат во "что угодно", и читать из него только это вот поле "тип" (с удивлением обнаружил, что proto.Unmarshal() не возвращает ошибку, если переданная структура не совпадает с данными) - в зависимости от прочтённого поля "тип" уже анмаршалить в правильную структуру но как-то это черезжопно... может, кто подскажет "более лучший" путь?)
саша
Снобизм детектед)
Скорее просто обобщаю по личному опыту.
саша
Скорее просто обобщаю по личному опыту.
Сам чем больше изучал типизированное ФП, тем сильнее начинал ненавидеть дефолтное императивное программирование.
Igor
Youtrack
даже free есть.. спасибо, попробеум
Dmitri
А что в этой задаче такого невыполнимого?
На условиях "из произвольного html собрать md" задача нерешаема, например, учитывая то, что маркдаун покрывает сильно не все возможности html
Dmitri
Парсинг по шаблону ещё какой-то можно представить
Dmitri
На условиях "из произвольной страницы выбрать значимую часть в виде статьи" - уже больше про машинное обучение
Dmitri
Страницу, собранную из md, в принципе, по бОльшей части взад распарсить можно, но не в 100% случаев. Фарш, понимаете ли, невозможно провернуть назад.
Dmitri
Короче, если учитывать, что стандартный флоу для работы с md - это скормить md-поток шаблонизатору и забрать некоторый html-код с другой стороны, полученный в результате преобразования по шаблону... Если все сделано строго по спецификациям, и у вас есть результат преобразования + шаблон, по которому это все собиралось, при этом шаблон делал большой ценитель подхода "семантической верстки", вероятность получить исходный md в случае обратного преобразования стремится, но никогда не достигает 100%. В остальных случаях - примерно такой же геморрой (простите за прямоту), как получение исходной таблицы из pdf-файла.
Kirill
Мне достаточно основной текст страница запихнуть в маркдаун. Не нашел альтернативы Evernote, хочу заметки сразу в докувики писать
Kirill
Сервису скармливают урл, тот преобразует хтмл в мд и скачивает картинки
Kirill
Задача для гошника на полчаса. Мне понадобилось полдня, т.к. только начал изучать
Dmitri
Основной геморрой задачи - определить, что из этого вот всего - значимая часть, условно, "статья"
Dmitri
и, честно говоря, к go - строго перпендикулярно
Dmitri
у тебя есть xml-tree, тебе нужно определить, что из всего этого гогна - статья, которую надо распарсить, а что мусор и декорации
Dmitri
У тебя в md >> номинально должно собираться в <blockquote></blockquote>
Dmitri
На реальных страницах оно может быть <p class="blockquote"></p>, а может оказаться <div style="padding-left: 50px"></div>
Dmitri
это первое, что в голову пришло
Dmitri
короче, ты несколько недооцениваешь комплексность задачи
Dmitri
начни, хотя бы, с тех страничек, где есть "версия для печати"
Dmitri
если на этом этапе не загнешься, обязательно продолжай решение задачи, тебе все благодарность выразят. Не считая, конечно, тех, кто считает саму постановку задачи баловством.
Dmitri
кстати, есть сильно не один портал, который еще и борется с твоим подходом... Есть, понимаешь ли, ряд методов, который делает всю твою задачу еще менее простой в решении... Короче, сразу гугли "machine learning for dummies", с этого и начинай
Dmitri
К вопросу о задаче, собственно, пока все это будешь обкатывать, соберешь любопытную статистику. Узнаешь, что интернет состоит из разных людей, которых условно можно разделить на 4 категории:
Vladimir
HFT - понятие условное, если вам разрешают 1-300 запросов в сек (это если речь о крипте). Писать на чем угодно можно и Go тут хорошо подходит
Dmitri
1. Прямо твой случай. Люди академического склада ума, которые прутся от rfc, семантической верстки и оргазмирующие от того факта, что статьи, размещенные на их сайте, строго соответсвуют канонам "правильного использования хтмл-тегов". Впрочем, таких, вероятно, что-то около 1%, я вживую тег <article> видел раз 5.
Dmitri
2. Несчастные ублюдки, которые по незнанию портят тебе жизнь. Эти ваяют странички на всяких js-фреймворках, потому что "им так проще", и им, в общем и целом не то, чтобы срать, что тебе неудобно это парсить... хотя нет, им срать. Ну либо есть еще такие, которые просто не знают, что есть <article> и тому подобные теги. Ну, короче, орда засранцев, которые не подумали о том, что тебе неудобно до боли. Таких большинство. Процентов под 90, наверное.
Vladimir
Каких запросов?
Http запросов к серверу.
M
Http запросов к серверу.
Хфт на http запросах???
M
Это анекдот?
Daniel
а что такое HFT, по вашему?
Vladimir
Хфт на http запросах???
Да, у многих бирж только рест апи (я про крипту, сразу уточнил)
Dmitri
3. Злобные ублюдки, которые считают, что их уникальный контент должны читать только с их сайтов. Они хотят денег с рекламы, которую покажут тебе, или с людей, которые, как они предполагают, готовы платить за их контент. Вот этим не насрать на то, что тебе неудобно парсить содержимое их сайтов. Им доставляет удовольствие твоя боль. Но можешь утешиться, таких немного, процентов, видимо 5-8.
M
Да, у многих бирж только рест апи (я про крипту, сразу уточнил)
Я думал не осталось уже опросных интерфейсов
M
а что такое HFT, по вашему?
Когда 50 мкс уже много
Pavel
а что такое HFT, по вашему?
Это реакция на рынок в пределах 5-60 секунд. Не то, что вы там придумали 🙂
Daniel
Это реакция на рынок в пределах 5-60 секунд. Не то, что вы там придумали 🙂
уже ближе. но все же - что такое реакция на рынок?
M
50мкс на что?
Транзакция, принятие решения по рискам
Daniel
коллега, вы жрете мне мозг
M
Да много что
Dmitri
4. Прогрессивные товарищи, которым, впрочем, тоже не срать на то, что ты парсишь их сайт. Они тебе прямо напишут "ты страдаешь хренью какой-то, товарищ". Специально для таких случаев мы предусмотрели rest-апи, чтобы ты мог забрать статьи сразу в исходниках, а не грузил наши сервера, которыми ты пользуешься совершенно бесплатно, генерацией хтмл. Если не внемлешь нашему зову, и будешь и дальше вести себя как олень, олень, мы тебя забаним. И забанят. Это оставшиеся пара процентов.
Pavel
Действие -- заявка (любого типа). Или отмена заявки.
Pavel
Или Order, раз HFT.
M
Или Order, раз HFT.
Это как бы не связанные вещи
M
Заявку можно и по телефону подать
Pavel
Я про язык, кек. А то тут к терминологии еще могут привязаться!
Dmitri
А чем ты, по большому счету, для хозяев сайта от паука отличаешься? Ты же ровно то же самое делаешь, хоть и чуточку реже.
Dmitri
Ну и да, ввиду сложившихся реалий этих ваших интернетов твоя задача "в лоб" не решаема.
Dmitri
Да и просто не решаема, тем более если md принципиально хочешь.
Dmitri
Тот же дропбокс, фактически, md не может, и неспроста. Он кусок DOM выдирает из документа, который похож на текст статьи, даже не пытаясь это во что-то единообразное превратить. Потому что один хрен не получится.