Viktor
l3xxxy
Dmitri
Igor
Ребята, подскажите, пожалуйста, по gin-gonic, кто спец. Там *gin.Context изолированный или общий? Поясню вопрос - мне нужно при аутентификации пользователя получать из базы данные о нём и хранить так, чтобы были доступны на любой странице сайта. Этот контекст обеспечивает каждому пользователю изолированное хранение данных или он один общий и данные будут перезаписываться?
Andrei 🦉
Andrei 🦉
то есть в нем нельзя хранить данные между запросами
Dmitri
Igor
Dmitri
Dorian
Andrei 🦉
обычно это оборачивают в какой нибудь middleware
Dmitri
Dmitri
Andrei 🦉
Igor
а, вот так вот. Понятно, спасибо
Wingman
Подскажите плз
Хочу обмениваться "задача" <-> "результат задачи" через брокер сообщений + protobuf.
В зависимости от типа задачи могут быть разные типы результатов.
Никак не возьму в толк, как лучше определять, какой именно тип результата к тебе пришел.
Пока приходит в голову одно:
- в каждом типе результата завести поле "тип"
- анмаршалить полученный результат во "что угодно", и читать из него только это вот поле "тип" (с удивлением обнаружил, что proto.Unmarshal() не возвращает ошибку, если переданная структура не совпадает с данными)
- в зависимости от прочтённого поля "тип" уже анмаршалить в правильную структуру
но как-то это черезжопно... может, кто подскажет "более лучший" путь?)
Dmitri
Dmitri
саша
Dmitri
Igor
Youtrack
даже free есть.. спасибо, попробеум
Dmitri
Парсинг по шаблону ещё какой-то можно представить
Dmitri
На условиях "из произвольной страницы выбрать значимую часть в виде статьи" - уже больше про машинное обучение
Dmitri
Страницу, собранную из md, в принципе, по бОльшей части взад распарсить можно, но не в 100% случаев. Фарш, понимаете ли, невозможно провернуть назад.
Dmitri
Короче, если учитывать, что стандартный флоу для работы с md - это скормить md-поток шаблонизатору и забрать некоторый html-код с другой стороны, полученный в результате преобразования по шаблону... Если все сделано строго по спецификациям, и у вас есть результат преобразования + шаблон, по которому это все собиралось, при этом шаблон делал большой ценитель подхода "семантической верстки", вероятность получить исходный md в случае обратного преобразования стремится, но никогда не достигает 100%. В остальных случаях - примерно такой же геморрой (простите за прямоту), как получение исходной таблицы из pdf-файла.
Kirill
Мне достаточно основной текст страница запихнуть в маркдаун. Не нашел альтернативы Evernote, хочу заметки сразу в докувики писать
Kirill
Сервису скармливают урл, тот преобразует хтмл в мд и скачивает картинки
Kirill
Задача для гошника на полчаса. Мне понадобилось полдня, т.к. только начал изучать
Dmitri
Dmitri
Основной геморрой задачи - определить, что из этого вот всего - значимая часть, условно, "статья"
Dmitri
и, честно говоря, к go - строго перпендикулярно
Dmitri
у тебя есть xml-tree, тебе нужно определить, что из всего этого гогна - статья, которую надо распарсить, а что мусор и декорации
Dmitri
У тебя в md >> номинально должно собираться в <blockquote></blockquote>
Dmitri
На реальных страницах оно может быть <p class="blockquote"></p>, а может оказаться <div style="padding-left: 50px"></div>
Dmitri
это первое, что в голову пришло
Dmitri
короче, ты несколько недооцениваешь комплексность задачи
Dmitri
начни, хотя бы, с тех страничек, где есть "версия для печати"
Dmitri
если на этом этапе не загнешься, обязательно продолжай решение задачи, тебе все благодарность выразят. Не считая, конечно, тех, кто считает саму постановку задачи баловством.
Dmitri
кстати, есть сильно не один портал, который еще и борется с твоим подходом... Есть, понимаешь ли, ряд методов, который делает всю твою задачу еще менее простой в решении... Короче, сразу гугли "machine learning for dummies", с этого и начинай
Dmitri
К вопросу о задаче, собственно, пока все это будешь обкатывать, соберешь любопытную статистику. Узнаешь, что интернет состоит из разных людей, которых условно можно разделить на 4 категории:
Vladimir
HFT - понятие условное, если вам разрешают 1-300 запросов в сек (это если речь о крипте). Писать на чем угодно можно и Go тут хорошо подходит
Dmitri
1. Прямо твой случай. Люди академического склада ума, которые прутся от rfc, семантической верстки и оргазмирующие от того факта, что статьи, размещенные на их сайте, строго соответсвуют канонам "правильного использования хтмл-тегов". Впрочем, таких, вероятно, что-то около 1%, я вживую тег <article> видел раз 5.
M
Dmitri
2. Несчастные ублюдки, которые по незнанию портят тебе жизнь. Эти ваяют странички на всяких js-фреймворках, потому что "им так проще", и им, в общем и целом не то, чтобы срать, что тебе неудобно это парсить... хотя нет, им срать. Ну либо есть еще такие, которые просто не знают, что есть <article> и тому подобные теги. Ну, короче, орда засранцев, которые не подумали о том, что тебе неудобно до боли. Таких большинство. Процентов под 90, наверное.
M
Это анекдот?
Daniel
а что такое HFT, по вашему?
Dmitri
3. Злобные ублюдки, которые считают, что их уникальный контент должны читать только с их сайтов. Они хотят денег с рекламы, которую покажут тебе, или с людей, которые, как они предполагают, готовы платить за их контент. Вот этим не насрать на то, что тебе неудобно парсить содержимое их сайтов. Им доставляет удовольствие твоя боль. Но можешь утешиться, таких немного, процентов, видимо 5-8.
M
Vladimir
Daniel
M
Vladimir
Daniel
Daniel
Daniel
коллега, вы жрете мне мозг
M
Да много что
Dmitri
4. Прогрессивные товарищи, которым, впрочем, тоже не срать на то, что ты парсишь их сайт. Они тебе прямо напишут "ты страдаешь хренью какой-то, товарищ". Специально для таких случаев мы предусмотрели rest-апи, чтобы ты мог забрать статьи сразу в исходниках, а не грузил наши сервера, которыми ты пользуешься совершенно бесплатно, генерацией хтмл. Если не внемлешь нашему зову, и будешь и дальше вести себя как олень, олень, мы тебя забаним. И забанят. Это оставшиеся пара процентов.
Pavel
Pavel
Действие -- заявка (любого типа). Или отмена заявки.
Pavel
Или Order, раз HFT.
M
Заявку можно и по телефону подать
Pavel
Я про язык, кек. А то тут к терминологии еще могут привязаться!
Kirill
4. Прогрессивные товарищи, которым, впрочем, тоже не срать на то, что ты парсишь их сайт. Они тебе прямо напишут "ты страдаешь хренью какой-то, товарищ". Специально для таких случаев мы предусмотрели rest-апи, чтобы ты мог забрать статьи сразу в исходниках, а не грузил наши сервера, которыми ты пользуешься совершенно бесплатно, генерацией хтмл. Если не внемлешь нашему зову, и будешь и дальше вести себя как олень, олень, мы тебя забаним. И забанят. Это оставшиеся пара процентов.
Я же не паука пишу. Просто понравившуюся статью, инструкцию, документацию в Вики. Evernote конечно же хорош в особенности его клипер. Но иногда он отказывается большую статью с большими картинки к себе загружать.
Мне всё-таки хочется что-нибудь попроще, типа мд
Dmitri
А чем ты, по большому счету, для хозяев сайта от паука отличаешься? Ты же ровно то же самое делаешь, хоть и чуточку реже.
Dmitri
Ну и да, ввиду сложившихся реалий этих ваших интернетов твоя задача "в лоб" не решаема.
Dmitri
Да и просто не решаема, тем более если md принципиально хочешь.
Dmitri
Тот же дропбокс, фактически, md не может, и неспроста. Он кусок DOM выдирает из документа, который похож на текст статьи, даже не пытаясь это во что-то единообразное превратить. Потому что один хрен не получится.