У меня написан парсер логов который из 1 большого файла делает 256 маленьких :)

Своеобразная задача)

strings.Contains норм

bufio используешь?

bufio используешь?

"io" "os"

И не помню почему уже)

reader := bufio.NewScanner(f) for reader.Scan() { line := reader.Text() if strings.Contains(line,"Bla-bla-text") { ...

strings.Contains норм

Есть более менее идея как горутины прикрутить внутри for? Про каналы выше вон говорили, это единственная возможность наверное, чтобы всё в кучу не перемешать.

Вот этот код херачит данные с диска со скоростью программ C

reader := bufio.NewScanner(f) for reader.Scan() { line := reader.Text() if strings.Contains(line,"Bla-bla-text") { ...

Удобно выглядит. Ибо я монстра на ~192 строки написал)

При использовани strings.Contains у меня упирается в disck I/O и нет смысла в горутинах

Удобно выглядит. Ибо я монстра на ~192 строки написал)

Ты перепиши для начала, потому что bufio раельно хорошо оптимизирован.

При использовани strings.Contains у меня упирается в disck I/O и нет смысла в горутинах

А у меня всё в памяти висит, т.к. её хватает и файлы не по несколько гигов. В идеале конечно надо ограничитель выставлять, но большинство забивают)

Ты перепиши для начала, потому что bufio раельно хорошо оптимизирован.

Да, меня прям заинтересовало, выглядит проще и логичней.

Потом подключи pprof - посмотришь какая функция выжирает и смотри что моно сделать

Потом подключи pprof - посмотришь какая функция выжирает и смотри что моно сделать

Вопрос немного не в тему: какой самой простой задачей можно загрузить на 100% один поток? Что бы по вычислять такое?

Ну вот запусти: https://gist.github.com/begetan/1a6dab06082e41da4fe493fb43aaba5e

У гиста имя неправильное, там Go :)

Ну вот запусти: https://gist.github.com/begetan/1a6dab06082e41da4fe493fb43aaba5e

Псевдорандом, точно, помню ты сравнивал скорость выполнения с питоном/джавой и чем то ещё.

Ты перепиши для начала, потому что bufio раельно хорошо оптимизирован.

Бегло пробежался с тестами, 15-25% вроде выигрыш. Надо попробовать полноценно заменить, как бы нормальная разница выходит.

Что-то у меня Го юзает всего 1 ядро. Причём судя по утилитке ниже, он видит 4. Принудительно runtime.GOMAXPROCS(4) не помогает. Куда копать? Пока грешу на компилятор. https://gist.github.com/peterhellberg/5848304

Го может только 36 потоков генерить на машинке с 8 процессорами. Причём на соседней тачке, где 2 проца, всё отлично, 16 потоков видит. Баг/фича/кривая архитектура у железяки?

Как количество потоков считается - в цитате.

Го может только 36 потоков генерить на машинке с 8 процессорами. Причём на соседней тачке, где 2 проца, всё отлично, 16 потоков видит. Баг/фича/кривая архитектура у железяки?

О, а сейчас 54 нашлось, внезапно. Думаю дело в железке, как показывает "есть чо", хотя не должны спать ресурсы по идее.

Дело просто в винде :)

Итак. bufio на большом файле показал себя на ~26% лучше чем обработка по строкам из буффера после io/os. На самом деле в ходе тестов было и так видно, что будет примерно такой результат. Почему? Всё просто, bufio читерил) Периодически он себе создавал ещё поток для обработки, что давало +~10% загрузки CPU и естественно эффективность росла.

Уж не знаю, как так можно линейно считывать строки и при этом умудряться заюзать дополнителый поток, но те кто написал bufio видать что-то придумали хитрое.

Итак. bufio на большом файле показал себя на ~26% лучше чем обработка по строкам из буффера после io/os. На самом деле в ходе тестов было и так видно, что будет примерно такой результат. Почему? Всё просто, bufio читерил) Периодически он себе создавал ещё поток для обработки, что давало +~10% загрузки CPU и естественно эффективность росла.

Какая функция bufio используется?

Какая функция bufio используется?

bufio.NewScanner. Там выше Роман кусок выложил в 2:52 сегодня. Я его и не менял практически у себя.

bufio.NewScanner. Там выше Роман кусок выложил в 2:52 сегодня. Я его и не менял практически у себя.

Именно он никаких потоков не создает: https://golang.org/src/bufio/scan.go?s=5433:5462#L118 Не очень верю, что он там как-то это распараллеливает, хотя под виндой всякое бывает, конечно:)

Именно он никаких потоков не создает: https://golang.org/src/bufio/scan.go?s=5433:5462#L118 Не очень верю, что он там как-то это распараллеливает, хотя под виндой всякое бывает, конечно:)

Я по процессу смотрел, когда почуял странное. Обычно 6 потоков, с bufio порой 7 (эти потоки хз как считаются самой ОС). Да и странно, когда 1(?!) горутина смогла загрузить проц на 35% (4 ядра, логично было бы что выше 25% не подняться).

Я почитал про многопоточность в Го но там на примере веб сервера, как бы Го создаёт новый поток для клиента при подключении. А как мне функцию запустить в многопоточности?

go myFunc()

В отдельном потоке функ запустить а сама дальше пойдёт?

дальше планировщик растасует по тредам

Итак. bufio на большом файле показал себя на ~26% лучше чем обработка по строкам из буффера после io/os. На самом деле в ходе тестов было и так видно, что будет примерно такой результат. Почему? Всё просто, bufio читерил) Периодически он себе создавал ещё поток для обработки, что давало +~10% загрузки CPU и естественно эффективность росла.

Ну вот хорошо, Иван. Теперь man pprof, если ты такие штуки пишешь - без него никакак! https://golang.org/pkg/net/http/pprof/

Подскажите, как наиболее правильно сматчить вложенный json в плоскую структуру? jsonStr := ‘ { “services”: { “app”: { “backends”: [“::1:9051”, “::1:9050”], “balance”: “source” }, “db”: { “backends”: [“::1:5432”, “::1:5433”], “balance”: “roundrobin” } } } ‘ type Settings struct { BackendsMap map[string][]string BalanceTypeMap map[string]string }

ну можно сматчить на неплоскую структуру, а потом пробежаться и в нужную переложить

Подскажите, как наиболее правильно сматчить вложенный json в плоскую структуру? jsonStr := ‘ { “services”: { “app”: { “backends”: [“::1:9051”, “::1:9050”], “balance”: “source” }, “db”: { “backends”: [“::1:5432”, “::1:5433”], “balance”: “roundrobin” } } } ‘ type Settings struct { BackendsMap map[string][]string BalanceTypeMap map[string]string }

type ServiceConfig struct { Backends []string `json:"backends"` Balance string `json:"balance"` } type Config struct { Services map[string]ServiceConfig `json:"services"` }

type ServiceConfig struct { Backends []string `json:"backends"` Balance string `json:"balance"` } type Config struct { Services map[string]ServiceConfig `json:"services"` }

Спасибо, но это немножко не то. Уровень вложенности сохранятся. Чтобы добраться, например, до Balance одного из сервисов, надо будет выстроить такую цепочку: config.Services[“app”].Balance. А хотелось бы все сплющить, чтобы было можно делать так: config.BalanceMap[“app”].

Спасибо, но это немножко не то. Уровень вложенности сохранятся. Чтобы добраться, например, до Balance одного из сервисов, надо будет выстроить такую цепочку: config.Services[“app”].Balance. А хотелось бы все сплющить, чтобы было можно делать так: config.BalanceMap[“app”].

в любом случае - json для начала нужно разобрать. а то что ты хочешь - я бы сделал через хелпер. типа дай мне конкретный параметр для что то

а чего это в го не работает type switch для структур?

и что нужно сделать со структурой, чтобы заработало?

все работает

Кто работал с вебсокетами гориллы?

иа

а чего это в го не работает type switch для структур?

Покажите пример проблемы

Всем привет. Практикующие гоферы, подскажите, Джин (Gin) имеет смысл изучать или он не слишком популярен? А то у меня на нем rest api почти дописан, может чего нибудь более мейнстримное взять?

Всем привет. Практикующие гоферы, подскажите, Джин (Gin) имеет смысл изучать или он не слишком популярен? А то у меня на нем rest api почти дописан, может чего нибудь более мейнстримное взять?

если почти дописан, то зачем менять коней на переправе?

если почти дописан, то зачем менять коней на переправе?

Это фан ) Не рабочий проект

лучше всего давать ссылку через play.golang.org

Это фан ) Не рабочий проект

допили и выпусти в opensource например, а потом уже пили другое, если будет желание...

не стоит бросать по середине, это очень плохая практика, которая превращается во вредную привычку

Такое только через reflect. Type assertion работает только "на уровне интерфейсов", о чем и говорит компилятор в своей ошибке

не стоит бросать по середине, это очень плохая практика, которая превращается во вредную привычку

Хорошая мысль, спасибо. Но вопрос про джин все еще актуален ) Менять на этом проекте я его уже пожалуй не стану

Такое только через reflect. Type assertion работает только "на уровне интерфейсов", о чем и говорит компилятор в своей ошибке

на самом деле компилятор имеет в виду, что это рботает только с именованными типами

на самом деле компилятор имеет в виду, что это рботает только с именованными типами

Да, верно. Я плохо выразился

ну - сам компилятор тоже выразился плохо

Самое забавное, если я отправляю длиннющщую строку с подстановкой данных через fmt.Sprintf(), то работает.

в пакете websocket есть константы для типов сообщений. пользуйтесь ими

в пакете websocket есть константы для типов сообщений. пользуйтесь ими

Там нет константы с id 5

значит, это не валидный id

значит, это не валидный id

Но... Доки... :с

а в штатном вебсокете что на этом месте?

ERROR: S client not available

а в штатном вебсокете что на этом месте?

В смысле, в пакете "из коробки"?

именно

то есть 5 - это не для вас

Ещё пожет быть полезно https://tools.ietf.org/html/rfc6455#section-5.5

то есть 5 - это не для вас

А что тогда для меня? Я не понимаю. ?

Зачем в доках тогда прописали что идёт в 5::?

это в каких доках?

А что тогда для меня? Я не понимаю. ?

вот что есть в константах - то и используйте. остальное, я так понял, вполне служебное.

Такое только через reflect. Type assertion работает только "на уровне интерфейсов", о чем и говорит компилятор в своей ошибке

а можно для тех, кто прочитал несколько туториалов, но всё равно не понял, в чем разница между интерфейсом и структурой?

видел когда-нибудь детскую игрушку-коробку с вырезами определенной формы, в которую нужно пихать квадраты, треугольники и тд?

квадратный вырез это интерфейс

сам квадрат - структура

:)

видать я не играл в такую =\

тогда вспомни фильм Идиотократия, там большинство людей не понимают интерфейсы

интерфес "квадрат" говорит, что структура должна иметь квадратную форму, 4 угла, все стороны равны, ничего другого она не примет

интерфес это соглашение на предоставление некоторой функциональности

интерфес "квадрат" говорит, что структура должна иметь квадратную форму, 4 угла, все стороны равны, ничего другого она не примет

хммм... интерфейс квадрат - это каретка у велосипедов. еще бывает окталинк и еще чтото

да, все это интерфейсы

а можно для тех, кто прочитал несколько туториалов, но всё равно не понял, в чем разница между интерфейсом и структурой?

Могу только посоветовать https://tour.golang.org/list

а можно для тех, кто прочитал несколько туториалов, но всё равно не понял, в чем разница между интерфейсом и структурой?

Еее, аналогии. Уметь ходить - это интерфейс. Любая структура (тип животного), которая умеет ходить, удовлетворяет этому интерфейсу. Человек умеет, собака умеет, змея не оч.

Тех, кто умеет, можно передать в функцию, которая заставит их ходить

о, понятнее

но это понимание не дало понимания, почему switch type не определяет структуру

интерфес "квадрат" говорит, что структура должна иметь квадратную форму, 4 угла, все стороны равны, ничего другого она не примет

а это смотря сколько усилий приложить?

но это понимание не дало понимания, почему switch type не определяет структуру

Определяет

Но - именованного типа

type SomeStruct struct{...} ?

Да