вот очередные хипстеры эмбед какой нить и начнут на го колбасить тогда может

вот очередные хипстеры эмбед какой нить и начнут на го колбасить тогда может

... Пайк скажет "Go to hell" и на этом всё кончится

Руст попробуйте

эт кстати не только в го

http://stackoverflow.com/questions/29008127/why-are-rust-executables-so-huge

Это какие вам либы нужны?

Хотя да

вон в расте можно динамическую линковку включить

но тогда будешь зависить от либ

в общем все как в той задаче про два стула

Это какие вам либы нужны?

Сейчас там основной путь "пишите своё дерьмо сами"

в общем все как в той задаче про два стула

Значит перл, очевидно

баш тогда уже

бери баш и ебаш

или Гарин ты под винды тоже собираешь?

коллеги, вы через чур перевозбуждены, это на вас так слово пхп подействовало?

коллеги, вы через чур перевозбуждены, это на вас так слово пхп подействовало?

Ещё как

коллеги, вы через чур перевозбуждены, это на вас так слово пхп подействовало?

не эт гарин пришел, вбросил, стер и ушел

не эт гарин пришел, вбросил, стер и ушел

меньше бы ты мою фамилию поминал всуе

и было бы вам щасте

если че, этот хуй фебс. будьте осторожны

Да ладно вам, пхп вполне себе норм

всем привет, а объясните пожалуйста насколько плохо объявлять некий глобальный контекст при обработке http handlers на golang?? не middleware а именно контект в общем мне надо чтобы несколько горутин писали в один файл в append режиме и при достижении глобального (g.writed_rows % g.chunk_size) == 0 происходил flush файла закрытие дескриптора и создание друого файла (открытие в append режиме) пытаюсь сделать как то так в качестве фреймворка использую https://github.com/gocraft/web (первое что попалось на глаза когда начал гуглить golang lightweight web framework) type MyStruct struct { sync.RWMutex // дальше много полей всякие file handlers и map tsv_writer *csv.Writer tsv_file *os.File tsv_file_name string writed_rows uint chunk_size uint } а в обработчике func (g *MyStruct) Collect(rw web.ResponseWriter, req *web.Request) { } делаю как то так https://play.golang.org/p/StfrROogbk пытаюсь юзать g.Lock и g.Unlock при записи в g а у меня пока получается что в бенчмарке func Benchmark_Collect(b *testing.B) { g := NewMyStruct() b.ResetTimer() b.RunParallel(func(pb *testing.PB) { req := NewTestRequest() rw := web.ResponseWriter(testResponseWriter{}) for pb.Next() { g.Collect(rw, &req) } }) } переименование файла и открытие закрытие пытается делаться паралелльно =( кто нибудь может меня платно проконсультировать и поревьювить мой код более дотошно?

"в общем мне надо чтобы несколько горутин писали в один файл в append режиме" создаёшь буферизированный канал, раздаёшь его горутинам-обработчикам запросов, они туда пишут данные, запускаешь одну единственную горутину, которая, пишет в файл в нужном тебе режиме, переименовывает и т.д.

в чём сложности?

там по коду есть условие что разные запросы могут менять схему записи в CSV

объяви структуру из двух полей, данные и мета, и вместо сырых данных гоняй эту структуру, в мета указывай как должны данные сохранятся.

Вот да

проблема в том что надо "мету" менять атомарно в разных горутинах

А?

Это же невозможно

что невозможно??? в разных горутинах одну мапу поменять?

Ну давайте разберемся

Что такое атомарно

И как это соотносится с асинхронными процессами

ок =) сейчас поясню вот есть две горутины которые запускают Collect паралельно в них на вход идет два разных экземлпяра структуры web.Request они содержат разный (но пересекующийся в части ключей) набор полей в каждой горутине Collect я хочу менять глобальную g.form_k_exists_map map[string]bool и добавлять по мере необходимости глобальный слайс сейчас юзается вот такой код for k := range req.Form { g.RLock() _, f_exists := g.form_k_exists_map[k] _, ga_exists := GA_map[k] g.RUnlock() if !f_exists && ga_exists { refresh_schema = refreshCSVShemaWithFormKey(refresh_schema, g, k) || refresh_schema } if !f_exists && !ga_exists { refresh_schema = refreshCSVShemaWithComplexKey(refresh_schema, g, k) || refresh_schema } } внутри refreshCSVShema* функций я юзаю g.Lock перед записью и g.Unlock и такое ощущение что либо забыл где то вызвать либо потому что мапа form_k_exists_map какое то не то значение содержит предлагаете этот код в отдельную горутину закинуть? и общаться с ней через буфферизированный канал?

Так

Давайте через час?

Я до компа дойду

без проблем, Данил сколько стоит 2-3 часа вашего времени?

Именно моего - 2тр в час

Но я тут не вижу пространства для оплаты :)

Я думаю - за 15 минут разберемся

так, я тут

давайте разбираться

вот у нас функция обработки http запроса

давайте я тогда код закомичу и ссылку в личку скину у вас аккаунт на битбакет есть?

нет, есть на github

но можно просто секретный гист, и ссылку в личку

но давайте погодим пока с кодом

может быть, до него дело не дойдет

итак

у нас есть функция обработки http запроса

ей на вход попадает собственно запрос и - замыканием - map[string]bool

где тут пространство для глобального контекста?

и атомарных его изменений

нет ей н вход попадает указатель *web.Request в котором есть req.Form как url.Values map[string][]string

ну - да, это и есть сам запрос

сама функция Collect судя по коду фреймворка запускается в горутине

пока все понятно

там в Collect бесконечный цикл, или она отработала и завершилась?

отойду опять, минут на 40

Collect должна отработать и завершиться идем дальше есть необходимость из двух горутин с Collect на вход которым подали пересекающийся набор ключей из запроса сформировать CSV файл в кототром первой строкой заголовском служит перечень полей из субд (маппинг полей формы в поля СУБД отдельная песня за рамками задачи) а дальше tab separated данные итого если нам пришло два одинаковых набора полей то CSV файл должен быть один если два разных то CSV файлов два ну вы вот посоветовали завернуть все это в отдельную горутину я сейчас пытаюсь сгородить такую конструкцию https://play.golang.org/p/avQlCmcx2h посмотрим что получится в бенмарке

так

попарсили form - и результат через канал в единственную горутину, и пусть уже она думает о совокупленииъ

ну вроде да, выглядит как то так =)) блин ну вот фигня какая то... теперь оно вообще даже не пытается CSV файлы писаьт func (g *GA2ClickHouse) Collect(rw web.ResponseWriter, req *web.Request) { err := req.ParseForm() if err == nil { ParseTimestamp(req) ParseUserAgent(req) ParseGeoip(req, g) go func(req *web.Request) { g.buffered_data <- BufferedData{req: req} }(req) } rw.Header().Set("Access-Control-Allow-Origin", "*") rw.Header().Set("Content-Type", "image/gif") rw.Write(GIF1px) }

Котаны, маленький оффтопик. Если вы напишете вот так: func (g *GA2ClickHouse) Collect(rw web.ResponseWriter, req *web.Request) { ... } то уважаемый телеграм напечатаейт код моноширинным шрифтом и все будут ужасно ликовать и радоваться

странно а у меня вот так http://take.ms/OKcR4

потому что код без бэктиков

обрати внимание на закорючки вокруг кода, вот такие `

ок. спасибо

https://habrahabr.ru/company/badoo/blog/320724/

https://github.com/jbeda?tab=stars кажется это успех =)

Признание! Поздравляю

Народ, а подскажите пожалуйста а может канал у которого состояние closed=0 сам собой стать closed=1 ?? ну или не сам собой, а допустим после операции channel <- *pointer_to_data канал создаю буфферизированый через make закрываю через defer close(channel) а оно мне panic кидает сцуко, cannot send to closed channel

Народ, а подскажите пожалуйста а может канал у которого состояние closed=0 сам собой стать closed=1 ?? ну или не сам собой, а допустим после операции channel <- *pointer_to_data канал создаю буфферизированый через make закрываю через defer close(channel) а оно мне panic кидает сцуко, cannot send to closed channel

Сам собой не может. А посылаешь ты в теле функции или вне?(defer сработал или нет)

нет посылаю я не в теле функции посылаю я из другой горутины которая вызывается в теле функции как go func(req *web.Request) { g.Lock() defer g.Unlock() g.buffered_data <- *req // вот тут падает в panic }(req) читаю в еще одной горутине func (g *GA2ClickHouse) ProcessRequest() { log.Print("ProcessRequest BEGIN") for { select { case req, ok := <-g.buffered_data: if ok { // тут всякое } else { log.Println("ProcessRequest END after channel closed") return } } } } и там в ней делаю бесконечный for и return если канал закрыт

defer еще не должен по идее отработать то? или должен?