кофе я и сам могу приготовить

Переписывал скрипт один для работы с инстой с java на go, вдруг кому пригодится: https://github.com/SolidlSnake/instagram-go-scraper Первый опыт работы с go, критика приветствуется)

Переписывал скрипт один для работы с инстой с java на go, вдруг кому пригодится: https://github.com/SolidlSnake/instagram-go-scraper Первый опыт работы с go, критика приветствуется)

> _GetJsonFromUrl getJsonFromUrl

> _GetJsonFromUrl getJsonFromUrl

_G использовал чтобы отделить внутреннюю функцию, за неимением private. Принято с маленькой буквы?

с маленькой буквы - это и есть private

они не экспортируются

они не экспортируются

Оп, спасибо

Переписывал скрипт один для работы с инстой с java на go, вдруг кому пригодится: https://github.com/SolidlSnake/instagram-go-scraper Первый опыт работы с go, критика приветствуется)

Согласись что не хватает public static final String var ?

Согласись что не хватает public static final String var ?

я бы сказал ну очень непривычно без них) Пока больше всего раздражает вечное if err != nil {}

idIface := ctx.Value(...) id := "" If idIface != nil { id = idIface.(string)

потестил, те же яйца

потестил, те же яйца

То есть ты сначала получаешь Value а потом проверяешь не nil ли оно и только потом приводишь?

да

На какой строке падает?

вот такой код func Logger(ctx context.Context) *logrus.Entry { newLogger := logrus.NewEntry(logrus.New()) if ctx != nil { if ctxFirstId := ctx.Value(firstIdKey); ctxFirstId != nil { newLogger = newLogger.WithField("First_ID", ctxFirstId.(int64)) } if ctxSecondId := ctx.Value(secondIdKey); ctxSecondId != nil { newLogger = newLogger.WithField("Second_ID", ctxSecondId.(int64)) } } return newLogger }

На какой строке падает?

panic: runtime error: invalid memory address or nil pointer dereference [signal SIGSEGV: segmentation violation code=0x1 addr=0x38 pc=0x566e0f] goroutine 1 [running]: context.(*valueCtx).Value(0xc420379860, 0x8952c0, 0xc4201ca3a8, 0xc4201ca3a8, 0xc4201ca3a0) /usr/local/Cellar/go/1.8.1/libexec/src/context/context.go:478 +0x3f

@zunkree а можно пример кода на play?

@zunkree а можно пример кода на play?

ща причешу, там кое-чего править придется

@zunkree кстати авторы рекомендуют не использовать стандартные типы для ключей, а делать свои

ща причешу, там кое-чего править придется

https://github.com/go-graphite/carbonapi/blob/master/util/util.go#L8 что-то в таком виде

так валится не на приведении к типу

Переписывал скрипт один для работы с инстой с java на go, вдруг кому пригодится: https://github.com/SolidlSnake/instagram-go-scraper Первый опыт работы с go, критика приветствуется)

это поверх офиц апи?

это поверх офиц апи?

нет, это поверх лазеек в сайте.

нет, это поверх лазеек в сайте.

гуд, сам люблю парсеры писать

гуд, сам люблю парсеры писать

да вот) Тут правда не хтмл парсить пришлось, а json за счет как раз этих самых лазеек, что сильно облегчило задачу и позволяет тянуть многие данные без модерации на api у самого инстаграма

@zunkree а можно пример кода на play?

https://play.golang.org/p/G_u8Qiqmic

но не запускается -- внешняя зависимость :(

@zunkree https://play.golang.org/p/WFEvV3pA3J можно было без логруса сделать

ща посмотрим что не так...

@zunkree ты контекст неправильно инициализировал

по твоей ссылке ошибка в строке 34

замени 'var ctx context.Context' на ctx := context.Background()

и все будет работать

если ты добавишь дебаговый fmt.Printf("%+v\n", ctx) то увидишь что он у тебя <nil>.WithValue(1, 10)

замени 'var ctx context.Context' на ctx := context.Background()

о, круто, спасибо, попробую

да вот) Тут правда не хтмл парсить пришлось, а json за счет как раз этих самых лазеек, что сильно облегчило задачу и позволяет тянуть многие данные без модерации на api у самого инстаграма

теги не собирает? мульти изображения (недавно релизнутые) ?

теги не собирает? мульти изображения (недавно релизнутые) ?

Пока нет, в списке на реализацию. У наборов медиа беда в том, что определить набор ли это вообще можно только для каждой отдельной, то есть, если, например, собрать все фото\видео определенного пользователя, то там никак не получится узнать по одному в каждом или нет, поэтому пока думаю над реализацией. а теги пока попросту не успел, работал с локациями, в ближайшее время сделаю)

Пока нет, в списке на реализацию. У наборов медиа беда в том, что определить набор ли это вообще можно только для каждой отдельной, то есть, если, например, собрать все фото\видео определенного пользователя, то там никак не получится узнать по одному в каждом или нет, поэтому пока думаю над реализацией. а теги пока попросту не успел, работал с локациями, в ближайшее время сделаю)

Теги с недавних пор может видеть только авторизованный пользователь, сами столкнулись, вдруг поможет)

Теги с недавних пор может видеть только авторизованный пользователь, сами столкнулись, вдруг поможет)

Хм, сейчас проверил - через topsearch действительно теги возвращает пустыми, но через отдельный url для тегов вроде даже без авторизации все ок

Теги с недавних пор может видеть только авторизованный пользователь, сами столкнулись, вдруг поможет)

Покупаете учетки? ;)

Такое дело, если package состоит из очень большого кол ва связанных между собой файлов, нормальная ли практика разбивать его на несколько sub package?

Такое дело, если package состоит из очень большого кол ва связанных между собой файлов, нормальная ли практика разбивать его на несколько sub package?

Я разбиваю. А то имена начинаются кончаться:)

Выиграй грант на обучение в Университете Иннополис! Открыт приём заявок на программы магистратуры: «Software Engineering» и «Secure Systems and Network Engineering». Подай заявку на получение образовательного гранта, компенсирующего 100% стоимости обучения. Получи высшее IT образование мирового уровня и стань жителем Иннополиса! Регистрируйся на сайте https://goo.gl/Ph1LYT, заполняй профиль и проходи необходимые тесты.

В бан!!

Это же лоховской универ

За деньги)

и стало их 694

В бан!!

он админ.

За деньги)

Запомнил что в штатах все универы лоховские.

Запомнил что в штатах все универы лоховские.

Думаю имелось ввиду лоховской так еще и за деньги

Покупаете учетки? ;)

Вы предлагаете или интересуетесь?)

Интересуюсь, конечно) Предлагать можно на форуме антикаптчи)

Интересуюсь, конечно) Предлагать можно на форуме антикаптчи)

Покупаем, с ними вообще целая история.

Скорее интересуюсь, агрится ли инстаграмм на парсинг)

Честно, не проверял, вот с регистрацией жёстко, я просто хотел свой авторег написать на досуге.

Но основной парсинг там происходит без авторизации, что радует.

Народ, что скажете про ponzu ? https://github.com/ponzu-cms/ponzu

Одни хипстеры пришли в мир других хипстеров https://github.com/goruby/goruby

По манкипатчингу соскучились небось

Одни хипстеры пришли в мир других хипстеров https://github.com/goruby/goruby

А никто не видел реализации Prolog на Go? Мне кажется, там может быть интересно...

ERROR: S client not available

Одни хипстеры пришли в мир других хипстеров https://github.com/goruby/goruby

Почему они не назвали это Rugby?

А никто не видел реализации Prolog на Go? Мне кажется, там может быть интересно...

https://github.com/mndrix/golog

https://github.com/mndrix/golog

Ууу... Сегодня будет чем заняться:) Спасибо

Всех приветствую! Подскажите порядок/принцип проверки на утечку памяти.

запускаешь, даешь нагрузку и убеждаешься что память не течет

а в цикле нагрузки надо самому дергать сборщик? как понять сработал он или утечка?

зачем самомму дергать?

понимать надо по внутренним метрикам рантайма, каковые собираются автоматически, и, например, тот же прометей их автоматически включает в свою выдачу. я иногда пользую прометеевскую либу даже без сервера - хожу на него руками

утечка - это когда у тебя где-то остаются живые референсы на объекты

сборщик тут не при чем, рано или поздно он все соберет

самому дергать имеет смысл, но это довольно редкие и извращенные случаи в суровом хайлоаде

сборщик тут не при чем, рано или поздно он все соберет

я так понял во время нагрузки в списке процессов смотрю занимаемую память? вот мне пока не понятно, как мне понять у меня утечка от того что занимаемая память увеличилась или просто еще сборщик не сработал? или я вобще не правильно понимаю утечку? и как ее уведеть без доп по? до хайлоада мне далеко, пока все только на коленке. благодарю за ответы.

по идее если память течёт то она течёт линейно от времени

утечку увидишь по увеличению RSS в долговременной перспективе

вот

насколько долговременной - зависит от скорости этой самой утечки

т.е. смотришь график, если он более менее прямой и растёт — знач течёт

Всем привет! Кто нить использует influxdb ?

81.1G (VIRT) 3104M (RES) 451M (SHR) - судя из рассылок и faq'а, это связано с тем, что "Go's memory manager grabs a big chunk of virtual memory."

Память течь может нелинейно от времени, например, когда нагрузка нелинейная. И график может быть не совсем прямолинейно восходящим таким. Недавно фиксил утечку с gorilla sessions, забыли враппер вкдючитть. Раньше было 300-800 в среднем, сейчас 40 мегабайт

Приложение выделяло иногда память на обработку сложных запросов и на графике было видно, что работает gc. Ну и из профайлера совсем не было очевидно, что что-то течет

https://go-review.googlesource.com/c/40693/

#job #вакансия #стажировка #junior #москва Гайз, у меня есть отличная вакансия для начинающих разработчиков: оплачиваемая (даладно!) стажировка в IT-подразделениях банка «Открытие». Есть 2 варианта: обычная стажировка и работа в стартапе. Стажировка длится 3 месяца, лучшие стажеры получат оффер в департаменты IT Банк Открытие и IT Global Markets. Подробнее → https://goo.gl/3aRUL4 Стартаперы будут пилить проекты в сферах мобильного банка и новых технологий (блокчейн, IoT, вот это вот всё). По итогам проекты/команды победители продолжат развивать свои продукты на платформе банка, а лучшие участники получат именные стипендии и офферы. Подробнее → https://goo.gl/uXeyiq Для тех, кто хочет всё и сразу: https://goo.gl/eOBzTm

я чёт не понял

а языки то какие?

#хипстеры, блять

ну чатик же про го, значит вакансии по js ?

не, мне кажется, java

мало ли тут переодетых