@gogolang

Страница 1345 из 1630
many-faced
03.09.2018
15:07:23
то есть в нем нельзя хранить данные между запросами
так. А как тогда правильно решить мою задачу?

Google
Andrei
03.09.2018
15:08:28
так. А как тогда правильно решить мою задачу?
в начале запроса вытаскиваете данные пользователя из базы или кэша в памяти приложения и кладете в этот контекст, после чего используете их там, где требуется

Andrei
03.09.2018
15:09:00
обычно это оборачивают в какой нибудь middleware

many-faced
03.09.2018
15:10:10
в начале запроса вытаскиваете данные пользователя из базы или кэша в памяти приложения и кладете в этот контекст, после чего используете их там, где требуется
Можно поподробнее? о каком именно кеше речь? Если, допустим, при аутентификации понятно, мы один раз делаем запрос к базе, как потом сделать чтобы не запрашивать базу при посещении следующих страниц?

many-faced
03.09.2018
15:11:57
а, вот так вот. Понятно, спасибо

Dmitri
03.09.2018
15:13:08
а без них никак?
Без них в другой язык сразу. В го без них боль

Wingman
03.09.2018
15:14:43
Подскажите плз Хочу обмениваться "задача" <-> "результат задачи" через брокер сообщений + protobuf. В зависимости от типа задачи могут быть разные типы результатов. Никак не возьму в толк, как лучше определять, какой именно тип результата к тебе пришел. Пока приходит в голову одно: - в каждом типе результата завести поле "тип" - анмаршалить полученный результат во "что угодно", и читать из него только это вот поле "тип" (с удивлением обнаружил, что proto.Unmarshal() не возвращает ошибку, если переданная структура не совпадает с данными) - в зависимости от прочтённого поля "тип" уже анмаршалить в правильную структуру но как-то это черезжопно... может, кто подскажет "более лучший" путь?)

Alexander
03.09.2018
15:17:02
Снобизм детектед)
Скорее просто обобщаю по личному опыту.

Google
Alexander
03.09.2018
15:17:55
Скорее просто обобщаю по личному опыту.
Сам чем больше изучал типизированное ФП, тем сильнее начинал ненавидеть дефолтное императивное программирование.

many-faced
03.09.2018
15:20:37
Youtrack
даже free есть.. спасибо, попробеум

Dmitri
03.09.2018
15:23:04
А что в этой задаче такого невыполнимого?
На условиях "из произвольного html собрать md" задача нерешаема, например, учитывая то, что маркдаун покрывает сильно не все возможности html

Парсинг по шаблону ещё какой-то можно представить

На условиях "из произвольной страницы выбрать значимую часть в виде статьи" - уже больше про машинное обучение

Страницу, собранную из md, в принципе, по бОльшей части взад распарсить можно, но не в 100% случаев. Фарш, понимаете ли, невозможно провернуть назад.

Короче, если учитывать, что стандартный флоу для работы с md - это скормить md-поток шаблонизатору и забрать некоторый html-код с другой стороны, полученный в результате преобразования по шаблону... Если все сделано строго по спецификациям, и у вас есть результат преобразования + шаблон, по которому это все собиралось, при этом шаблон делал большой ценитель подхода "семантической верстки", вероятность получить исходный md в случае обратного преобразования стремится, но никогда не достигает 100%. В остальных случаях - примерно такой же геморрой (простите за прямоту), как получение исходной таблицы из pdf-файла.

Kirill
03.09.2018
15:34:51
Мне достаточно основной текст страница запихнуть в маркдаун. Не нашел альтернативы Evernote, хочу заметки сразу в докувики писать

Сервису скармливают урл, тот преобразует хтмл в мд и скачивает картинки

Задача для гошника на полчаса. Мне понадобилось полдня, т.к. только начал изучать

Dmitri
03.09.2018
15:37:30
Основной геморрой задачи - определить, что из этого вот всего - значимая часть, условно, "статья"

и, честно говоря, к go - строго перпендикулярно

у тебя есть xml-tree, тебе нужно определить, что из всего этого гогна - статья, которую надо распарсить, а что мусор и декорации

У тебя в md >> номинально должно собираться в <blockquote></blockquote>

На реальных страницах оно может быть <p class="blockquote"></p>, а может оказаться <div style="padding-left: 50px"></div>

это первое, что в голову пришло

Google
Dmitri
03.09.2018
15:42:10
короче, ты несколько недооцениваешь комплексность задачи

начни, хотя бы, с тех страничек, где есть "версия для печати"

если на этом этапе не загнешься, обязательно продолжай решение задачи, тебе все благодарность выразят. Не считая, конечно, тех, кто считает саму постановку задачи баловством.

кстати, есть сильно не один портал, который еще и борется с твоим подходом... Есть, понимаешь ли, ряд методов, который делает всю твою задачу еще менее простой в решении... Короче, сразу гугли "machine learning for dummies", с этого и начинай

К вопросу о задаче, собственно, пока все это будешь обкатывать, соберешь любопытную статистику. Узнаешь, что интернет состоит из разных людей, которых условно можно разделить на 4 категории:

Vladimir
03.09.2018
15:52:10
HFT - понятие условное, если вам разрешают 1-300 запросов в сек (это если речь о крипте). Писать на чем угодно можно и Go тут хорошо подходит

Dmitri
03.09.2018
15:53:10
1. Прямо твой случай. Люди академического склада ума, которые прутся от rfc, семантической верстки и оргазмирующие от того факта, что статьи, размещенные на их сайте, строго соответсвуют канонам "правильного использования хтмл-тегов". Впрочем, таких, вероятно, что-то около 1%, я вживую тег <article> видел раз 5.

Dmitri
03.09.2018
15:55:54
2. Несчастные ублюдки, которые по незнанию портят тебе жизнь. Эти ваяют странички на всяких js-фреймворках, потому что "им так проще", и им, в общем и целом не то, чтобы срать, что тебе неудобно это парсить... хотя нет, им срать. Ну либо есть еще такие, которые просто не знают, что есть <article> и тому подобные теги. Ну, короче, орда засранцев, которые не подумали о том, что тебе неудобно до боли. Таких большинство. Процентов под 90, наверное.

Vladimir
03.09.2018
15:56:45
Каких запросов?
Http запросов к серверу.

James
03.09.2018
15:57:16
Http запросов к серверу.
Хфт на http запросах???

Это анекдот?

Daniel
03.09.2018
15:57:53
а что такое HFT, по вашему?

Vladimir
03.09.2018
15:58:03
Хфт на http запросах???
Да, у многих бирж только рест апи (я про крипту, сразу уточнил)

Dmitri
03.09.2018
15:58:10
3. Злобные ублюдки, которые считают, что их уникальный контент должны читать только с их сайтов. Они хотят денег с рекламы, которую покажут тебе, или с людей, которые, как они предполагают, готовы платить за их контент. Вот этим не насрать на то, что тебе неудобно парсить содержимое их сайтов. Им доставляет удовольствие твоя боль. Но можешь утешиться, таких немного, процентов, видимо 5-8.

James
03.09.2018
15:58:47
Да, у многих бирж только рест апи (я про крипту, сразу уточнил)
Я думал не осталось уже опросных интерфейсов

Daniel
03.09.2018
15:59:12
James
03.09.2018
15:59:29
а что такое HFT, по вашему?
Когда 50 мкс уже много

Pavel
03.09.2018
15:59:32
а что такое HFT, по вашему?
Это реакция на рынок в пределах 5-60 секунд. Не то, что вы там придумали ?

Google
Vladimir
03.09.2018
15:59:40
Daniel
03.09.2018
15:59:51
Это реакция на рынок в пределах 5-60 секунд. Не то, что вы там придумали ?
уже ближе. но все же - что такое реакция на рынок?

James
03.09.2018
16:00:28
50мкс на что?
Транзакция, принятие решения по рискам

Daniel
03.09.2018
16:00:41
коллега, вы жрете мне мозг

James
03.09.2018
16:00:47
Да много что

Dmitri
03.09.2018
16:00:50
4. Прогрессивные товарищи, которым, впрочем, тоже не срать на то, что ты парсишь их сайт. Они тебе прямо напишут "ты страдаешь хренью какой-то, товарищ". Специально для таких случаев мы предусмотрели rest-апи, чтобы ты мог забрать статьи сразу в исходниках, а не грузил наши сервера, которыми ты пользуешься совершенно бесплатно, генерацией хтмл. Если не внемлешь нашему зову, и будешь и дальше вести себя как олень, олень, мы тебя забаним. И забанят. Это оставшиеся пара процентов.

Pavel
03.09.2018
16:00:55
Действие -- заявка (любого типа). Или отмена заявки.

Или Order, раз HFT.

Admin
ERROR: S client not available

James
03.09.2018
16:03:23
Или Order, раз HFT.
Это как бы не связанные вещи

Заявку можно и по телефону подать

Pavel
03.09.2018
16:03:43
Я про язык, кек. А то тут к терминологии еще могут привязаться!

Dmitri
03.09.2018
16:12:46
А чем ты, по большому счету, для хозяев сайта от паука отличаешься? Ты же ровно то же самое делаешь, хоть и чуточку реже.

Ну и да, ввиду сложившихся реалий этих ваших интернетов твоя задача "в лоб" не решаема.

Да и просто не решаема, тем более если md принципиально хочешь.

Тот же дропбокс, фактически, md не может, и неспроста. Он кусок DOM выдирает из документа, который похож на текст статьи, даже не пытаясь это во что-то единообразное превратить. Потому что один хрен не получится.

Google
Roman
03.09.2018
16:27:30
https://habr.com/post/341084/

lynx
03.09.2018
17:30:48
Всем привет. Подскажите плз: https://play.golang.org/p/TWjWNO6mRiJ

Как я понимаю, это делается как то рефлектом, но чтото не могу догнать.

Vadim
03.09.2018
17:31:50
Если просто следишь за имбалансом бид x аск, то чёрт знает

Daniel
03.09.2018
17:32:33
Всем привет. Подскажите плз: https://play.golang.org/p/TWjWNO6mRiJ
коллега! что за ерунду вы затеяли?

Sergey
03.09.2018
17:33:30
Как я понимаю, это делается как то рефлектом, но чтото не могу догнать.
Я не понимаю что ты хочешь сделать, но рефлексия вся в этом пакете https://golang.org/pkg/reflect/

Vadim
03.09.2018
17:35:05
Крипта и hft, как я понял, вообще вещи несовместимые)

Daniel
03.09.2018
17:36:02
почему?!

Vadim
03.09.2018
17:36:21
почему?!
Арбитраж не работает

Antony
03.09.2018
17:36:36
вы из какого мира?

Vadim
03.09.2018
17:36:41
Слишком большие объёмы тебя нахрен пошлют

James
03.09.2018
17:36:47
Потому что медленные транзакции

Vadim
03.09.2018
17:37:33
Что ты именно сможешь написать из hft, чтобы это работало

Тут сам ящик уже очень сложный будет

Я сейчас пытаюсь через трейдинг объёмами зайти

Daniel
03.09.2018
17:38:08
коллеги

без всякого hft любая биржа работает с торговым счетом, а не непосредственно с криптой

завел, поторговал, вывел

обратите внимание все - те, кто этого не знал, но про hft рассуждал, пиздоболы

James
03.09.2018
17:39:53
завел, поторговал, вывел
Это понятно. А как же анонимность?

Страница 1345 из 1630