Dmitry
ну короче, о чем говорит такой результат? )
Roman
ну короче, о чем говорит такой результат? )
https://jvns.ca/blog/2017/09/24/profiling-go-with-pprof/ alloc_space vs inuse_space
🏁Александр
но по моему опыту это всегда так
snip
но по моему опыту это всегда так
Нет, далеко не всегда, и смешивать эти требования не стоит, они и для бизнеса являются разными задачами, добавление транспорта это как правило связано с доступность приложения (поддержка новых типов устройств, улучшение поддержки старых и т.п.) а изменение бл это изменение самого приложения и его правил
Sergey
У меня есть hdfs с авторизацией через kerberos. так же есть утилита на go использующая github.com/colinmarc/hdfs , но при попытке выполнить действие в hdfs получаю ошибку 2019/01/11 15:20:34 stat /: unexpected sequence number Может кто то сталкивался с такой проблемой?
arkady
Всем привет! Уже несколько дней в поисках и никак не нашел, возможно, просто не то искал или не до конца разобрался в вопросе, но все же, может кто-то подскажет. Стоит задача сделать вращающийся прокси, надеюсь я правильно его назвал. Смысл такой: клиент—> наш самописный прокси с публичным IP —> один из списка прокси, полученный в базе данных —> целевой ресурс клиента Как реализовать такую связь? все усложняется тем, что я не могу читать тело клиента, чтобы потом его переслать, так как оно скорее всего зашифровано (учитывая современынй стандарт https), на наддый момент я могу создать прокси сервер, поддерживающий HTTP CONNECT, но как же мне добавить еще один прокси в цепочку дальше?
arkady
Anton
всем 👋 можете, пожалуйста, пояснить про go vet -shadow? вот такая конструкция его устраивает: f, err := os.Open("spec.json") if err != nil { panic(err) } if err := f.Close(); err != nil { panic(err) } а вот такая — нет: err := db.open() // main.go:33 if err != nil { panic(err) } // ... // ./main.go:52: declaration of "err" shadows declaration at ./main.go:33 if err := filepath.Walk(dir, walker); err != nil { // main.go:52 panic(err) } ¯\_(ツ)_/¯
Anonymous
а как это поможет?
как минимум, это уровень ниже. Да и он сам по себе чуть проще, емнип. Я как-то делал socks прокси через ssh, который раскидывает все коннекты от клиента на пул доступных серверов
arkady
HTTP CONNECT дальше, в чем проблема?
блин, пока писал тебе сюда кучу вопросов, кажется догнал, сейчас затестирую
Anton
просто и в первом, и во втором случаях есть вот этот второй кусок if err := ...; err != nil { panic(err) }
Anton
и в первом, и во втором случаях err определена до этого куска
Anton
получается, и там и там нужно писать = вместо :=
Anton
это, конечно, да, но заставит думать о том, какие переменные определить заранее
Anton
всё равно не очень понял разницу между первым и вторым примером, сорян(
Anton
я понимаю, что если переменная уже определена, то для того, чтобы присвоить ей новое значение, надо использовать =, вопросов нет
Artem
всё равно не очень понял разницу между первым и вторым примером, сорян(
а это в одном файле? он может отпадать после первой ошибки и вторую не выводить
Artem
не, это два разных примера
засунь в один и проверь, ну и -shadow не просто так выключена
Anton
ну то есть разница только в том, что в первом примере у меня первой строчкой объявляются две перменные, а не одна
Artem
ну то есть разница только в том, что в первом примере у меня первой строчкой объявляются две перменные, а не одна
там магия, когда n переменных, то он инициализирует все новые и переиспользует старые
Anton
я вот про что примерно
Anton
Anton
т.е. казалось бы всё то же самое, но в правом примере ругается. видимо, потому что есть разница между определением переменной когда она одна и когда их несколько 🤷‍♀️
Ilya
т.е. казалось бы всё то же самое, но в правом примере ругается. видимо, потому что есть разница между определением переменной когда она одна и когда их несколько 🤷‍♀️
У тебя этого определен err, а потом ты определяешь еще один err, только внутри if. В итоге внутри if у тебя есть две переменные с имерем err (условно) - одна локальная для if, вторая вне него, и в итоге при обращении к err твоя локальная err и подменяет внешнюю err, на что и ругается vet
Ilya
Сделай оба ifа в одном стиле
Anton
и там не ругается
Anton
я понимаю, что в данном случае можно справа два раза сделать if err := ...; err != nil
Ilya
и там не ругается
А может у тебя еще глобальная err есть?
Alexey
https://github.com/golang/go/issues/377
Ilya
Особенности го тогда
Alexey
Заметьте дату issue, и то, что есть ;. Ну и os.Error вместо error.
Alexey
Это ещё до 1.0
Anton
это кстати нормальная тема, но с гошным стилем каждый раз проверять ошибку после каждой функции можно поехать умом новые название придумывать)
Alexey
Я в таких случаях обычно делаю var v T v, err = g()
Alexey
засунь в один и проверь, ну и -shadow не просто так выключена
Кстати, про go vet -shadow: https://tip.golang.org/doc/go1.12#vet
Anton
Anton
удобно
Anton
Я в таких случаях обычно делаю var v T v, err = g()
да я тоже уже, просто обычно это происходит так: 1) пишу код 2) gometalinter ./... 3) переписываю половину функций из-за shadowing'а
David
Ребят, как правильно подгружать приватные репозитории golang’а внутри докера? Только внутри докера кидает ошибку “errno=Connection refused go: error loading module requirements”
Alexey
да я тоже уже, просто обычно это происходит так: 1) пишу код 2) gometalinter ./... 3) переписываю половину функций из-за shadowing'а
К слову, очень рекомендую его заменить на https://github.com/golangci/golangci-lint – сильно быстрее, лучше, мощнее, замечательнее
David
В CI будет та же проблема
Alexey
Ну, можно ещё сеть открыть 🙂
Alexey
> Connection refused Звучит как о сети
David
> Connection refused Звучит как о сети
fatal: unable to connect to gitlab.com: gitlab.com[0: 35.231.145.151]: errno=Connection refused go: error loading module requirements 🤔
Alexey
Ну вот да, это TCP, ещё до ssh и авторизации
Aleksandr
ну это с сетью проблема, а не с приватными репо
Aleksandr
ip заблочен может у провайдера
David
ip заблочен может у провайдера
Ух, ну на локальной же все хорошо
David
Это только при сборке докер образа
David
Ну вот да, это TCP, ещё до ssh и авторизации
Доктор, его еще можно спасти?
Alexey
Я не знаю
I
добрый день! есть go приложение, которое потребляет ~600MB памяти по показателям htop. когда снимаю профиль хипа через pprof, он видит только ~100MB. если посмотреть через runtime.MemStats, то такая метрика как HeapInuse https://tip.golang.org/pkg/runtime/#MemStats.HeapInuse показывает ~500MB. в то время как runtime.MemStats#HeapReleased показывает 0. получается, что рантайм забрал память и не отдает ее ОС, хоть ее он и не использует. Подскажите, пожалуйста, куда копать? P.S. упомянутое приложение - это etcd в кластере kubernetes с ~40 нодами. Размер базы etcd 90MB
Alexey
Я бы посмотрел на сетевые правила докера
Aleksandr
зайди в контейнер, попингуй итд. К сисадмину обратись рабочему
Alexey
Почему всю?
Alexey
Он может быть выключен по-умолчанию. Там есть флаги и конфиг
I
Это проблема?
не то, чтобы большая. просто интересно, куда уходит память) выходит, что потребляет в 5 раз больше, чем должен
Alexey
Это был ответ про golangci-lint.
Alexey
GC может не возвращать память ОС, если ей не надо (грубо говоря)
Alexey
Можно повтыкать https://golang.org/pkg/runtime/debug/#FreeOSMemory и посмотреть
Alexey
> когда снимаю профиль хипа через pprof, он видит только ~100MB. К слову, для хипа в pprof несколько профилей. Может стоит все посмотреть
I
GC может не возвращать память ОС, если ей не надо (грубо говоря)
то есть он даже пытаться не будет? мне казалось, что он будет говорить OS, что память ему не нужна, но ОС может проигонрить это. а парамметр HeapReleased показывает, сколько памяти он пытался отдать ОС