wait нельзя вызывать до первого add, это в доках написано

хмм... дак он у меня wait вроде до первого add и не вызывается для копирования form сделал вот такой кастыль // WTF race condition for form?? func CopyFormData(form url.Values) (url.Values){ new_form := url.Values{} for k,v:= range form { new_v := make([]string,len(v)) copy(new_v, v) new_form[k] = new_v } return new_form } сразу вопрос для form в этой функции память же на стеке выделяется? может проще тогда сразу return сделать??? или это опять будет "копия ссылочного типа"? и я таки правильно делаю что копирую полностью все данные??

копия - ок

но

кто, все же, в нее пишет, и зачем?

так после CopyFormData ушел RACE с конкурентной записью в map =) я понял что у меня код бенчмарка не правильный ;))) там единый экземпляр req.Form был и пишет в нее другая горутина бенчмарка который runParallel делает

почему кто-то вообще пишет в req.Form?

это данные для чтения только

ну с чего бы вдруг?? а метод Set там зачем? я ОБОГАЩАЮ данные всякими там geoip и user-agent парсингами 90% данных приходит в запросе 10% это обогащение теперь ГЛАВНЫЙ вопрос остался, каким образом wg.Wait может вызваться быстрее чем wg.Add ... вот это я уже реально не понимаю вот есть у меня код бенчмарка func BenchmarkGA2ClickHouse_CollectParallel(b *testing.B) { g := prepareCollectorToBenchmark() go g.ProcessRequest() //вот тут первой строкой идет g.wg.Add(1) defer g.ShutdownCollector() //вот тут идет close(g.bufferred_data) и потом g.wg.Wait() log.Printf("b.N=%d", b.N) b.ResetTimer() b.RunParallel(func(pb *testing.PB) { rw := web.ResponseWriter(testResponseWriter{}) // вот тут for pb.Next() { req := NewTestRequest() g.Collect(rw, &req) //вот тут у меня пишется в канал g.buffered_data на который ProcessRequest читает } }) } я правильно понимаю что у меня shutdown collector из defer стартует раньше ProcessRequest потому что порожается куча горутин который в runParallel ???

потому что так нельзя делать

если вам пришли данные, то надо дополнительную структуру делать, если хотите на основе этих данных что-то дальше пропихивать

нельзя пришедшие данные изменять, это приводит к проблемам и неожиданным последствиям

коллега

ну с чего бы вдруг?? а метод Set там зачем? я ОБОГАЩАЮ данные всякими там geoip и user-agent парсингами 90% данных приходит в запросе 10% это обогащение теперь ГЛАВНЫЙ вопрос остался, каким образом wg.Wait может вызваться быстрее чем wg.Add ... вот это я уже реально не понимаю вот есть у меня код бенчмарка func BenchmarkGA2ClickHouse_CollectParallel(b *testing.B) { g := prepareCollectorToBenchmark() go g.ProcessRequest() //вот тут первой строкой идет g.wg.Add(1) defer g.ShutdownCollector() //вот тут идет close(g.bufferred_data) и потом g.wg.Wait() log.Printf("b.N=%d", b.N) b.ResetTimer() b.RunParallel(func(pb *testing.PB) { rw := web.ResponseWriter(testResponseWriter{}) // вот тут for pb.Next() { req := NewTestRequest() g.Collect(rw, &req) //вот тут у меня пишется в канал g.buffered_data на который ProcessRequest читает } }) } я правильно понимаю что у меня shutdown collector из defer стартует раньше ProcessRequest потому что порожается куча горутин который в runParallel ???

ну очевидно же

Add надо делать ДО запуска горутины

а то он делается асинхронно, и хер пойми когда

нельзя пришедшие данные изменять, это приводит к проблемам и неожиданным последствиям

спасибо, я это учту, это правда ценное замечание

Add надо делать ДО запуска горутины

=) ок. сейчас пофиксим

блин =((( ну что ж за фигня то такая ну вот я сделал вот так, вызываю Add до spawn ProcessRequest func (g *GA2ClickHouse) SpawnProcessRequest() { log.Print("SpawnProcessRequest BEGIN") g.wg.Add(1) log.Print("g.wg.Add(1)") go g.ProcessRequest() log.Print("SpawnProcessRequest END") } func (g *GA2ClickHouse) ProcessRequest() { log.Print("ProcessRequest BEGIN") defer func() { g.wg.Done() log.Print("ProcessRequest END defer g.wg.Done()") }() //... тут всякое } // over engineering detected ;) func (g *GA2ClickHouse) ShutdownCollector() { log.Println("ShutdownCollector BEGIN") close(g.buffered_data) g.wg.Wait() if g.tsv_file != nil && g.tsv_file.Fd() < math.MaxUint32 && g.writed_rows > 0 { g.pushDataToProcessDir() } if err:=g.geoip.Close(); err != nil { LogErrorAndExit(err) } log.Println("ShutdownCollector END") } =(( и блин даже дебагером не подцепиться =( оно вообще стало виснуть на g.wg.Wait() в логах выглядит вообще вот так 2017/02/05 15:43:54 SpawnProcessRequest BEGIN 2017/02/05 15:43:54 g.wg.Add(1) 2017/02/05 15:43:54 SpawnProcessRequest END 2017/02/05 15:43:54 b.N=1 2017/02/05 15:43:54 ShutdownCollector BEGIN 2017/02/05 15:43:54 ProcessRequest BEGIN 2017/02/05 15:43:54 ProcessRequest END after channel closed 2017/02/05 15:43:54 ProcessRequest END defer g.wg.Done()

race condition ушли но и работать перестало =(

А посоветуйте, если кто какими линтерами пользуется для go кода? Развито ли это всякое?

А посоветуйте, если кто какими линтерами пользуется для go кода? Развито ли это всякое?

https://github.com/alecthomas/gometalinter

что значит - виснуть?

ну значит останавливаться и ничего не делать выглядит по логам так будто ShuwdownCollector застыл на g.wg.Wait() и ждет сцуко ;( но я точно знаю что я wg.Add(1) сделал только в одном месте... чего ему там еще ждать то

вы, коллега, длаете ли где-нибудь Done()

2017/02/05 15:43:54 ProcessRequest END after channel closed 2017/02/05 15:43:54 ProcessRequest END defer g.wg.Done() да делаю и оно в логах показывает что делаю сразу после отрабатывания закрытия канала

правильный паттерн вот такой: wg.Add(1) go func() { funcToBeRun() wg.Done() }()

https://github.com/alecthomas/gometalinter

О спасибо, прямо сходу 10 мест нашел

почему я не могу внутри funcToBeRun() сделать defer wg.Done() ???? почему это не правильно?

ок... сейчас попробую

я понял спасибо

можешь

так просто нагляднее

просто мой способ идеоматический

ага

нет не помогло... все равно ерунда какая то что именно ждет wait вообще не ясно 2017/02/05 16:17:11 SpawnProcessRequest BEGIN 2017/02/05 16:17:11 g.wg.Add(1) 2017/02/05 16:17:11 SpawnProcessRequest END 2017/02/05 16:17:11 b.N=1 2017/02/05 16:17:11 ProcessRequest BEGIN 2017/02/05 16:17:11 ShutdownCollector g.wg.Wait() BEGIN 2017/02/05 16:17:11 ProcessRequest END after channel closed 2017/02/05 16:17:11 SpawnProcessRequest END g.wg.Done()

выложи куда-то код, иначе мы никогда не угадаем

https://bitbucket.org/bloodjazman/ga2clickhouse/src/907c5b377accef93314e6cbd1882279e1091114a/?at=feature%2Fgo-collector

а можно поточнее?

вот бенчмарк который "подвисает" https://bitbucket.org/bloodjazman/ga2clickhouse/src/907c5b377accef93314e6cbd1882279e1091114a/src/ga2clickhouse/handlers_web_test.go?at=feature%2Fgo-collector&fileviewer=file-view-default#handlers_web_test.go-41 вот вызов wg.Wait() https://bitbucket.org/bloodjazman/ga2clickhouse/src/907c5b377accef93314e6cbd1882279e1091114a/src/ga2clickhouse/cli.go?at=feature%2Fgo-collector&fileviewer=file-view-default#cli.go-182 вот вызов wg.Add() и порождение функции читающей канал через select а также делающий wg.Done() по завершению https://bitbucket.org/bloodjazman/ga2clickhouse/src/907c5b377accef93314e6cbd1882279e1091114a/src/ga2clickhouse/data_processor.go?at=feature%2Fgo-collector&fileviewer=file-view-default#data_processor.go-14 канал буфферизованый

https://github.com/davelondon/jennifer/

а то что в sync.Waitgroup нет возможности прочитать counter это типа специально так задумано??

ага

но можно сочинить свой вэйтгруп на атомиках, и в нем сделать что пожелаешь

=(( да блин, как то хочется чтобы простые то вещи из коробки работали а тут мистика какая то... сделано все "по мануалу" (код с defer в котором wg.Done он в examples в официальной доке лежит) а оно не работает при этом суко... буквально с утра таже самая конструкция работала (не работало другое)

нет там мистика

а что тогда есть?? через дебагер не подступишься логи говорят что .Done() вызван и что Add вызван 1 раз и вызван ДО Wait закоментарил вообще этот wg.Wait и бенчмарки заработали это как вообще ? ;((

коллега

вы написали херовый код

вот и вся мистика

https://github.com/davelondon/jennifer/

Зачем такое ? Есть реальный кейс ?

Зачем такое ? Есть реальный кейс ?

потому что может

Я не смог придумать зачем.

Всем привет, кто что думает, есть ли смысл читать эту книгу разработчику среднего уровня? https://www.amazon.com/Clean-Code-Handbook-Software-Craftsmanship/dp/0132350882

Скажите я правильно понимаю что go func() {} исполняет горутину не сразу в момент вызова, а помещает горутину в FIFO очередь, а дальше если есть свободный Machine (максимум которых указан GOMAXPROCS), то запускает паралельно в момент порождения горутины? или все таки запуск накопленных горутин и переключение очереди осуществляется при syscall или при работе с каналами?

Горутины запускает планировщик, там не FIFO.

Нет гарантии что последовательно объявленные вызову горутин будут так же последовательно вызваны

ок. вызваны они будут сразу если есть свободное ядро?

Когда-нибудь

добрый день! подскажите, возможно ли, и если да, то как, создать тип вроде type Points []Point и потом, создав переменную такого типа, иметь возможность заполнять этот массив через индексы, то есть: var test Points test[0] = ...

Да

А чего не попробовали-то?

ну тут же 344 человека, кто-нибудь да ответил бы, видимо

я попробовал

И?

получаю ошибку index out of range

или как-то так

А

Используй append

То есть - принципиален отказ от append и make?

Либо сразу алоцируй все место.

=) append или make сделать надо сначала http://golang-book.ru/chapter-06-arrays-slices-maps.html https://github.com/golang/go/wiki/SliceTricks

Тогда - надо map использовать

Но Мар будет заметно медленней.

ээээ... вам шашечки или ехать =) оно заметно медленее будет наверное на сотнях тысяч элементов =)

Топикстартер не говорил, что надо быстро

ээээ... вам шашечки или ехать =) оно заметно медленее будет наверное на сотнях тысяч элементов =)

Оно в любом случае медленнее. Вопрос - важно ли это

у меня как раз сотни тысяч элементов =(

Ну тогда выделяйте мейком место и оперируйте точками. Никаких проблем в этом нет.

Как-то тестировал append, работает достаточно быстро. Почти как предварительное выделение и запись по индексу.

Ну тогда выделяйте мейком место и оперируйте точками. Никаких проблем в этом нет.

к сожалению, это мне не подходит у меня все сильно завязано на там, какой длины массив, а при make и изначально будет указанной длины