сделать пост запрос, получить куку, использовать ее в дальнейших запросах

ок спс

есть код который парсит данные с сайта, у меня есть логин и пароль от этого сайта, вот как сделать что бы парсер мог зайти на этот сайт?

Что-бы парсить сайт логин с паролем не нужны.

В го не знаю, а в perl вот это хорошо зашло WWW::Mechanize

В го не знаю, а в perl вот это хорошо зашло WWW::Mechanize

Я в go пользовал https://github.com/PuerkitoBio/gocrawl но у него минус в том, что он НЕ детектит кодировку, а пытается все использовать как utf8 ...

а так в целом норм :)

привет, есть у кого что-то покурить на тему вебсокетов в го и как правильно их организовать?

привет, есть у кого что-то покурить на тему вебсокетов в го и как правильно их организовать?

если есть конкретные вопросы - задавай.

ну в целом нагуглить я сам могу, просто ели у кого есть на примете толковые статьи или прочее, у нас сейчас написано на ноде весь функционал(но он тяжко работает), думаю переписать его на вебсокеты и на го, но так как я этим не занимался, думаю узнаю есть ли у кого на примете какие-то best practice или что-то в таком духе

я просто все дельниые статейки сохраняю себе в закладки и время от времени проглядываю что там в них интересного, может кто тоже таким занимается или использовал в своем проекте, можно и в ЛС )

В качестве best practice можно предложить проверку, действительно ли вам нужно переписывать с ноды, на го. Может лучше оптимизировать код на ноде?

я не писал тот код на ноде, но так как с ним живем уже с год и с каждым разом он работает все хуже и хуже, сейчас дошло до того что при нагрузке она выпадает каждые 15-20 мин (и это в проде), я психанул и решил предложить все переделать, оптимизировать там точно нечего, проще переписать, но с ГО я еще имел дело, а c JS нет и как-то не лежит у меня душа к нему

я не писал тот код на ноде, но так как с ним живем уже с год и с каждым разом он работает все хуже и хуже, сейчас дошло до того что при нагрузке она выпадает каждые 15-20 мин (и это в проде), я психанул и решил предложить все переделать, оптимизировать там точно нечего, проще переписать, но с ГО я еще имел дело, а c JS нет и как-то не лежит у меня душа к нему

не принимайте на свой счет, но что будете делать, если код на Го, после жизни года с ним, будет работать "все хуже и хуже"? На что предложите переписать?

да хороший вопрос, по этому и хочу разкурить best practice или что-то в таком духе что бы было более гибко, к сожалению я не могу показать код который в проде(того человека уволили давно), но ребята которые у нас сейчас пишут на JS в шоке когда на это смотрят и они даже не думают что-то там править, потому что оно держится на соплях

Возможно, я зануда, но тут есть две проблемы: 1. Если вы не знаете, почему тупит кусок кода на ноде. переписывание на го вполне может не помочь. Вдруг у вас там база или диск тупят? 2. Я не знаю вашей компании, но является ли го у вас основным языком разработки? Если нет, то может стоит переписать на языке, на котором вы разрабатываете?

На своем примере могу сказать, что после js и python, любой код на go читается как головоломка.

скорее всего - у приложения проблема с архитектурой, и нужен глубокий рефакторинг

сделать глубокий рефакторинг без смены языка - я способов не знаю

На своем примере могу сказать, что после js и python, любой код на go читается как головоломка.

оО

На своем примере могу сказать, что после js и python, любой код на go читается как головоломка.

...

На своем примере могу сказать, что после js и python, любой код на go читается как головоломка.

вощето го менее магический язык, чем тот же js

как я знаю по началу то писали на коленке что бы запустить и оно пошло в прод, и дальше так же дописывалось, причем когда начал смотреть что нужно будет переписывать и спрашиваю у ребят, там есть примерно 30%-40% кода который уже не используется и они только сейчас это поняли

скорее всего - у приложения проблема с архитектурой, и нужен глубокий рефакторинг

тут полностью согласен с вами

На своем примере могу сказать, что после js и python, любой код на go читается как головоломка.

wut

вощето го менее магический язык, чем тот же js

Ну такое. Автоматические импорты из пакета необычно смотрятся после языков, где принято объявлять импорты явно.

точнее там архитектуры совсем нет, есть просто код в 1 файле на несколько тысяч строк и даже в написании методов нет общего стиля кода....

Ну такое. Автоматические импорты из пакета необычно смотрятся после языков, где принято объявлять импорты явно.

какие такие автоматические импорты?!

Ну такое. Автоматические импорты из пакета необычно смотрятся после языков, где принято объявлять импорты явно.

ты же и делаешь импорт.

какие такие автоматические импорты?!

Например, вот тут: https://github.com/martin-helmich/prometheus-nginxlog-exporter/blob/master/config/loader.go используется Config, который объявлен в https://github.com/martin-helmich/prometheus-nginxlog-exporter/blob/master/config/structs.go Или это я что-то провтыкал?

Ну такое. Автоматические импорты из пакета необычно смотрятся после языков, где принято объявлять импорты явно.

Сударь говорит о том, что IDE импортирует автоматом используемый пакет?

Я выше кинул пример. Или я туплю в этом случае?

Например, вот тут: https://github.com/martin-helmich/prometheus-nginxlog-exporter/blob/master/config/loader.go используется Config, который объявлен в https://github.com/martin-helmich/prometheus-nginxlog-exporter/blob/master/config/structs.go Или это я что-то провтыкал?

это тот же пакет. как в том же пакете сделать неавтоматические импорты?..

Ну, в том же python или js приходится объвлять импорты чего-угодно, даже в рамках одного пакета. Я не говорю, плохо это или хорошо, но к этому нужно привыкнуть.

Ну, в том же python или js приходится объвлять импорты чего-угодно, даже в рамках одного пакета. Я не говорю, плохо это или хорошо, но к этому нужно привыкнуть.

я не пишу ни на питоне, ни на js но как вы напишете импорт из другого файла в том же пакете?

какой синтаксис-то предлагаете?

В python это делается как-то вот так: from .structs import Config

а что такое этот .structs

Ну, в том же python или js приходится объвлять импорты чего-угодно, даже в рамках одного пакета. Я не говорю, плохо это или хорошо, но к этому нужно привыкнуть.

ты на С или ++ писал?

а что такое этот .structs

Имя файла с отброшеным расширением .py но точкой в начале

ты на С или ++ писал?

Почти не писал.

а, так у вас там просто один файл - один пакет, как в яве классы? ну вот в go не так

Да, но к этому нужно привыкнуть) С другой стороны, как я понимаю, нет проблем с циклическими зависимостями между файлами в одном пакете.

нет зависимостей нет проблем

нет зависимостей нет проблем

dep нинужен

нужна монорепа

локальная

Извините, а это нормально, что этот код https://play.golang.org/p/TH-EtjTElkm выдает результат 30GB, а системный проводник (Nautilus) - чуть меньше 20?

Извините, а это нормально, что этот код https://play.golang.org/p/TH-EtjTElkm выдает результат 30GB, а системный проводник (Nautilus) - чуть меньше 20?

кто-то врет

а как понять, кто именно?

du -sh * в папке

Извините, а это нормально, что этот код https://play.golang.org/p/TH-EtjTElkm выдает результат 30GB, а системный проводник (Nautilus) - чуть меньше 20?

проверь еще через консольку: du -sh $HOME

нужна монорепа

собственно - dep и делает монорепу

собственно - dep и делает монорепу

нужна из одного файла

а

чтобы импортить его import '../../path/to/package'

только относительные импорты надо юзать

надеюсь, это не удалит мне систему

проверь еще через консольку: du -sh $HOME

похардкорнее

надеюсь, это не удалит мне систему

нед

нед

уже почитал man, не удалит

говорит, что 29

говорит, что 29

значит врут все

:D

говорит, что 29

А как ты в наутилусе место смотришь ?

ERROR: S client not available

А как ты в наутилусе место смотришь ?

в свойствах

значит врут все

Он может огруглить ... %)

в свойствах

чего именно ?

директории

...

Он может огруглить ... %)

ага, 29 до 20

а как надо?

норм округление

ага, 29 до 20

грубое округление, все нормально

почоны ? зачем нужен LockOSThread() ?

почоны ? зачем нужен LockOSThread() ?

Для threadsafety

Народ, посдскажите кто-то сталкивался с нарезкой времени? Задача нарезать промежуток времени по частям, допустим по 5 минут или по 15 минут. Части после нарезки, должны быть кратны периоду нарезки, пример: час по 15 мин - 00:15; 00:30; 00:45; 01:00

Народ, посдскажите кто-то сталкивался с нарезкой времени? Задача нарезать промежуток времени по частям, допустим по 5 минут или по 15 минут. Части после нарезки, должны быть кратны периоду нарезки, пример: час по 15 мин - 00:15; 00:30; 00:45; 01:00

Так элементарно же - берешь и режешь, только смотри так, чтобы кратно было.

ну так понятно, что можно округлить, потом дюрейшном поприбавлять, но может есть православное решение, мб кто-то реализовывал, поглядеть))) бест пракстис так сказать

задача не понятна

есть рериод с 2017-11-06T16:40:00 по 2017-11-06T16:56:00, нарезать допустим по 5 мин, на выходе получаем слайс 2017-11-06T16:40:00, [2017-11-06T16:45:00, 2017-11-06T16:50:00, 2017-11-06T16:55:00, 2017-11-06T17:00:00....]

что такое - нарезать

зачем нужен этот слайс?

или по три минуты: [2017-11-06T16:42:00, 2017-11-06T16:45:00, 2017-11-06T16:48:00, 2017-11-06T16:51:00....]

зачем нужен этот слайс?

Это условие задачи

по факту надо привести время к кратности какому-то периоду

Это условие задачи

Лично я в некоторых ситуациях в минутах делаю. А вам по-моему нужно что-то вроде тайм пикера сделать? Где каждые н минут юзер может выбрать предустановленное время?

Мне кратность периоду нужна

по факту надо привести время к кратности какому-то периоду

Если кратно чему то нужно сделать, я работаю с минутами в интах и все. А в вашем случае можно через формат.

Типа вставлять минуты = минуты + 1час/4. Это каждые 15мин. Типа того.

вот, только если это три минуты, то надо час поделить на три и потом выбрать нужные, ладно напишу топорно чтобы работало, потом подумаю как сделать это красиво

есть рериод с 2017-11-06T16:40:00 по 2017-11-06T16:56:00, нарезать допустим по 5 мин, на выходе получаем слайс 2017-11-06T16:40:00, [2017-11-06T16:45:00, 2017-11-06T16:50:00, 2017-11-06T16:55:00, 2017-11-06T17:00:00....]

Через for сделайте. Это же почти стандарт у вас. через фор политие доступ в 1 элемент, с него вытащите минуты, их обработайте. у тайм.тайм есть встроенные методы отличные. Ну там много вариантов как можно сделать.

вот, только если это три минуты, то надо час поделить на три и потом выбрать нужные, ладно напишу топорно чтобы работало, потом подумаю как сделать это красиво

Зачем час делить на три, если шаг 3 минуты ??? странно как то получается )))) На 20 может делить, не? )))

Я не знаю какой период придет

И вобще я там показал что именно 1час разделить на 4, чтобы потом 4 можно было поменять. Чтобы динамичней было. А так можно просто руками указать вместо таких операций.

Придет три минуты, надо будет нарезать по три минуты, будет 10, надо будет порезать по 10, те 0:10; 0:20; 0:30 ...