type AutoGenerated []struct { Test1 struct { Test1K1 string `yaml:"test1_k1"` Test1K2 string `yaml:"test1_k2"` } `yaml:"test1,omitempty"` Test2 struct { Test2K1 string `yaml:"test2_k1"` Test2K2 string `yaml:"test2_k2"` } `yaml:"test2,omitempty"` }

Может не совсем точно описал задачу. Если заранее не известны значения test1 и test2? Известна только их структура. Т.е. например в другой раз придет такой yaml: --- - test3: k1: val1 k2: val2 - test4: k1: val1 k2: val2

Может не совсем точно описал задачу. Если заранее не известны значения test1 и test2? Известна только их структура. Т.е. например в другой раз придет такой yaml: --- - test3: k1: val1 k2: val2 - test4: k1: val1 k2: val2

тут каждый день задают аналогичные вопросы. Ответ: ручками

как можно описать структуру если ее нет?

Ясно, спасибо! Пошел писать свой Unmarshal )))

Ясно, спасибо! Пошел писать свой Unmarshal )))

func (user *User) UnmarshalJSON(data []byte) error { var raw map[string]interface{} json.Unmarshal(data, &raw) user.Email = raw["email"].(string) user.Nickname = raw["nickname"].(string) user.Hash = raw["hash"].(string) rawData := raw["data"].(map[string]interface{}) if myLeagues, ok := rawData["myLeagues"]; ok { for _, myLeaguesMap := range myLeagues.(map[string]interface{}) { for key, _ := range myLeaguesMap.(map[string]interface{}) { if key != "used" { keyParts := strings.Split(key, "_") sportId, _ := strconv.Atoi(keyParts[0]) countryId, _ := strconv.Atoi(keyParts[1]) user.Leagues = append(user.Leagues, &League{ Id: keyParts[2], SportId: sportId, CountryId: countryId, }) } } } } if myGames, ok := rawData["mygames"]; ok { for _, myGamesMap := range myGames.(map[string]interface{}) { for key, _ := range myGamesMap.(map[string]interface{}) { if key != "used" { user.GamesIds = append(user.GamesIds, key) } } } } return nil } типа такого

ой, большой экран

func (user *User) UnmarshalJSON(data []byte) error { var raw map[string]interface{} json.Unmarshal(data, &raw) user.Email = raw["email"].(string) user.Nickname = raw["nickname"].(string) user.Hash = raw["hash"].(string) rawData := raw["data"].(map[string]interface{}) if myLeagues, ok := rawData["myLeagues"]; ok { for _, myLeaguesMap := range myLeagues.(map[string]interface{}) { for key, _ := range myLeaguesMap.(map[string]interface{}) { if key != "used" { keyParts := strings.Split(key, "_") sportId, _ := strconv.Atoi(keyParts[0]) countryId, _ := strconv.Atoi(keyParts[1]) user.Leagues = append(user.Leagues, &League{ Id: keyParts[2], SportId: sportId, CountryId: countryId, }) } } } } if myGames, ok := rawData["mygames"]; ok { for _, myGamesMap := range myGames.(map[string]interface{}) { for key, _ := range myGamesMap.(map[string]interface{}) { if key != "used" { user.GamesIds = append(user.GamesIds, key) } } } } return nil } типа такого

Спасибо, наглядный пример!

Вот как получилось: var parseYaml []map[string]struct{ K1 string `yaml:"k1"` K2 string `yaml:"k2"` } ... err := yaml.Unmarshal(file, &parseYaml) ...

Не пришлось писать свой.

так ты же написал, что у тебя разная структура может быть. посомтри на твои два примера

Не я изначатьно не правильно описал, после исправился, что структура одна, а вот ключи родмтельские -разные.

Привет всем! Направление разработки индустриального интернета вещей ищет разработчиков Rust\Go. Работа в офисе на м. Павелецкая. Для опытных разработчиков з/п 200+ т.р. Технические скилы: • Отличные знания TCP/IP стека • Отличные знания Go или Rust • Опыт работы с high load системами Будет огромным плюсом: • Опыт построение приложений, которые держат сотни тысяч постоянных коннектов • Опыт разработки стораджей или баз данных • Понимание CAP • Живые проекты на github #вакансия #москва #backend #go #rust

third time is a charm?

third time is a charm?

Четвёртый уже

эх, пропустил

эх, пропустил

Пора уже написать баян-бота

http://golangshow.com/episode/2017/05-03-099/

прям пятничный наброс

https://github.com/golang/go/issues/20165

нужно хранить два персистентных независимых счетчика uint32 - что лучше заиспользовать, чтобы было минимум зависимостей, но при этом макс. надежность по потере данных ? нагрузка минимальная. писать свою запись на диск в файлики с блокировками не хочется

нужно хранить два персистентных независимых счетчика uint32 - что лучше заиспользовать, чтобы было минимум зависимостей, но при этом макс. надежность по потере данных ? нагрузка минимальная. писать свою запись на диск в файлики с блокировками не хочется

Кажется что bolt вполне для такого подойдет. Чего-то меньше не знаю. Разве что просто leveldb взять

левел это не "меньше"

болт норм для такого

thanks

Редиска умеет в inc, далее вопрос надежности репликации

embeded device)

но я уже посмотрел - проще в файлик сбрасывать

Ну ембедед решает этот вопрос энергонезависимой памятью

Тарантул еще, но если нужны просто 2 циферки, то может проще и самому в файл

Баньте бота

Привет. Подскажите когда юзаешь go get, нормально что сразу может не загрузить репо?

@FZambia, есть возможность встроить centrifugo в свой веб сервер?

@olebedev привет, ты имеешь в виду из Go воспользоваться Centrifugo как библиотекой и поднять ее на своих роутах?

@olebedev привет, ты имеешь в виду из Go воспользоваться Centrifugo как библиотекой и поднять ее на своих роутах?

Да! Привет )

Ну вообще так не задумывалось, но вот тут точка в хода - https://github.com/centrifugal/centrifugo/blob/master/libcentrifugo/centrifugo/main.go#L248 - передается список серверов и у сервера должны быть методы Run() и Shutdown() - но так пока никто не делал, сложно с ходу сказать, чем все обернется)

@olebedev привет, ты имеешь в виду из Go воспользоваться Centrifugo как библиотекой и поднять ее на своих роутах?

А если как библиотекой, но роуты (порт, например) могут быть другими?

Потому что если возможно не как standalone бинарник, было бы круто

А вот так чтобы просто заимпортировать обработчики и повесить их на свой роутер - это реально скорее всего, но нужно будет по кирпичикам с нуля строить - не тривиально

слишком много stateful логики внутри

А вот так чтобы просто заимпортировать обработчики и повесить их на свой роутер - это реально скорее всего, но нужно будет по кирпичикам с нуля строить - не тривиально

Понял, спасибо. А жаль что нетривильно, было б удобно. И программно пушить и на одном сервере обрабатывать.

Да, я думал об этом - даже есть интерфейс который можно передать ноде на старте для обработки событий от клиентов (https://github.com/centrifugal/centrifugo/blob/master/libcentrifugo/node/mediator.go) - но это достаточно сложно вынести в удобный API, так что так и осталось в зачаточном состоянии.

Если у кого есть use case - можно попробовать поработать над этим, в общем-то в связке с Redis-ом даже что-то масштабируемое получится

Если у кого есть use case - можно попробовать поработать над этим, в общем-то в связке с Redis-ом даже что-то масштабируемое получится

У меня есть, но нагрузка почти 0. Внутренняя система, нужны уведомления в браузере.

Видимо проще поднять контейнер и забыть )

Если нагрузка небольшая, то наверное действительно проще просто отдельно поднять

Если нагрузка небольшая, то наверное действительно проще просто отдельно поднять

Эх, я думал что наоборот

ну думай об этом как о микросервисах))) На самом деле я сейчас сам делаю проект у которого веб-морда - это SPA - а на бекенде у нее Django + Задачи в Crond + Celery, меня так раздражает что для простой вещи я должен делать 3 отдельных процесса, что вот планирую переписывать на Go

ну думай об этом как о микросервисах))) На самом деле я сейчас сам делаю проект у которого веб-морда - это SPA - а на бекенде у нее Django + Задачи в Crond + Celery, меня так раздражает что для простой вещи я должен делать 3 отдельных процесса, что вот планирую переписывать на Go

Ага, это не очень удобно - иметь много процессов для чего то очень(или не очень) простого. В любом случае, чем меньше процессов при прочих равных, тем лучше.

ну да.. нужно будет подумать на тем чтобы сделать простую интеграцию с кодом в Centrifugo

ну да.. нужно будет подумать на тем чтобы сделать простую интеграцию с кодом в Centrifugo

Довольно много в глобальных переменных всего лежит. Это будет не просто, судя по коду

Но если сделать из Centrifugo библиотеку, это будет очень здорово

Классный проект

Да вроде не много, все основное внутри Node сосредоточено, но это точно будет не просто

мапы не высвобождают память после удаления элементов. знать бы про это года полтора назад. весь мозг уже свернул куда память съедается.

Ага, это не очень удобно - иметь много процессов для чего то очень(или не очень) простого. В любом случае, чем меньше процессов при прочих равных, тем лучше.

А как по мне, это очень удобно. Не нужно обновлять всё приложение, чтобы изменить какую-то часть. Параллелить по сервакам сложнее. Так что, очень спорное утверждение.

А как по мне, это очень удобно. Не нужно обновлять всё приложение, чтобы изменить какую-то часть. Параллелить по сервакам сложнее. Так что, очень спорное утверждение.

> при прочих равных

Прочие равные могут быть совершенно разными :)

Равные могут быть разными, ок

мапы не высвобождают память после удаления элементов. знать бы про это года полтора назад. весь мозг уже свернул куда память съедается.

А если в новую мапу присвоить старую? Тоже не высвободит память?

А если в новую мапу присвоить старую? Тоже не высвободит память?

ХЗ я пока присваиваю старый во временный мап, мейкаю пустой и присваиваю старому потом рекурсивно переливаю все элементы из временного

ХЗ я пока присваиваю старый во временный мап, мейкаю пустой и присваиваю старому потом рекурсивно переливаю все элементы из временного

Уфф, звучит печально.

печально что с этим ничего делать пока не собираются https://github.com/golang/go/issues/20135

Тогда как освободить памятт

проблема врожденная, но блин хоть где-нибудь бы было озвучено как освободить написал выше

реалокацией только

case <-mapReAllocate: // проблема в том что map не освобождают память // соответственно требуется полная реалокация // https://github.com/golang/go/issues/20135 tmpServersControl := ServersControl ServersControl = make(map[string]*data.TServerControl) for k, v := range tmpServersControl { ServersControl[k] = v } tmpViewers := Viewers Viewers = make(map[string]*data.TViewer) for k, v := range tmpViewers { Viewers[k] = v } }

может и без рекурсии можно ХЗ, но пока так работает на паре сотне тысяч элементов пробегает быстро

вот так плавно ело

приходилось перезапускать демона раз в 3-4 недели

без рекурсии обычным присвоением скорей всего не обойтись, ибо map - указатель

Я не совсем понял, не чистятся ссылки на элементы мапы, или только сами бакеты не сжимаются?

из примера кода выше в ServersControl и Viewers постоянно добаляется и удаляется несколько тысяч элементов общее количество элементов остается примерно на одном уровне если ничего не предпринимать память выделяемая под эти map-ы будет постоянно расти

Я не совсем понял, не чистятся ссылки на элементы мапы, или только сами бакеты не сжимаются?

скорее всего, бакеты не сжимаются

тяжело представить, почему в таком случае ссылки могут не чиститься

Ну и не страшно, стало быть. Разве что, если была мапа с миллионом элементов, а осталось два и больше не предвидится.

Ну и не страшно, стало быть. Разве что, если была мапа с миллионом элементов, а осталось два и больше не предвидится.

вот да

пока существует map он может только расти похрену живые в нем элементы или нет

хоть все удали через delete все-равно GC не соберется

А что должен GC собрать? Мапа-то сама жива.

Набрал ты 10 элементов, все удалил, вставил другие 10.

Размер остался тот же.

ну ссылки на удаленные элементы из неё не удаляются

Набрал ты 10 элементов, все удалил, вставил другие 10.

нет стало 20

А, т.е. удалённые элементы не чистятся?

т.е. как при 20

да

ну ссылки на удаленные элементы из неё не удаляются

а вот это уже пиздец

хотя