Ладно, сделаю в interface{}, а на разборе отфильтрую

не надо так. надо по-другому, с кастомным парсером, который парсит массив, но, если поле начинается с " - парсит его в строку, и из этой строки делает массив длиной 1

или парсить в два прохода, сначала type MesStruct struct { Type string `json:type` } а потом в соответствующую структуру

зачем PHP если можно написать всё на Go?!

Php не очень быстро выводится из организма

Php не очень быстро выводится из организма

надо прописать человеку Гофамина

Фух, спасибо, а то я уже подумал, что попал в чат не про пхп ❤️

У меня тут ошибка странная https://play.golang.org/p/Qi2EsosZgPA Я что-то в синтаксисе не так сделал?

prog.go:41:56: expected type, found '}'

вы там хотели анонимный тип?

Понял, починил https://play.golang.org/p/wbpN49CCsH- можно код ревью? (видел, что на стиль указания тегов ругается, а ещё что?)

а почему filteredLogs - map? там не подряд индексы?

Я же сервисные сообщения пропускаю. И медиа/стикеры пропускаю. Только текст. Так что, индексы по порядку, но с пропусками. А вообще, думаю, это и правда не важно. Дата и время важнее будет.

if _, ok := mess.Text.(string); ok { filteredLogs[mess.Id] = TL{mess.Text.(string), mess.From} } поменял на if mTx, ok := mess.Text.(string); ok { filteredLogs[mess.Id] = TL{mTx, mess.From} }

Как мне представляется, он подходит для получения единичных значений без создания структуры. Таким макаром полноценный парсинг будет медленным, нет разве?

в 1.5 раза медленнее на любом объеме

но можно, наверное, использовать его, чтобы дернуть тип

да

Ребята, может кто подсказать, очень часто возникают ошибки в кастомном HttpClient с такой конфигурацией: client := &http.Client{ Transport: &nethttp.Transport{ &http.Transport{ DialContext: (&net.Dialer{ Timeout: 3 * time.Second, KeepAlive: 10 * time.Second, DualStack: true, }).DialContext, MaxIdleConns: 100, IdleConnTimeout: 20 * time.Second, TLSHandshakeTimeout: 1 * time.Second, ExpectContinueTimeout: 1 * time.Second, }, }, } Такой клиент создаётся на каждый запрос к серверу и посылает запрос на другой сервер. Локально не репродюсится, значит дело в нагрузке. Кто-то сталкивался с такой проблемой ? Ошибка dial tcp: i/o timeout

В какой-то момент их может просто кучу насыпать, никак не зависит от других бекендов (другие бекенды в это время отвечают нормально, если руками пинговать).

Беглый гугл показал, что проблема в Диалере и ВОЗМОЖНО(!), что на каждый запрос создаётся новый клиент. Но без конкретики, пример одного комментария: The transport caches the connections and the deadline expires fairly quickly. I have instead employed the client.Timeout "nuclear option" instead of the custom dialer, and it is looking good so far.

драсте драсте помогите с ишью в вайпере плюсиком, пожалуйста Сильно нуждаюсь в кастомизации разделителя в конфигурации

https://github.com/spf13/viper/issues/170

Беглый гугл показал, что проблема в Диалере и ВОЗМОЖНО(!), что на каждый запрос создаётся новый клиент. Но без конкретики, пример одного комментария: The transport caches the connections and the deadline expires fairly quickly. I have instead employed the client.Timeout "nuclear option" instead of the custom dialer, and it is looking good so far.

так ты сам написал, что на каждый запрос создаешь новый клиент

так ты сам написал, что на каждый запрос создаешь новый клиент

Да, но тот комментарий уже не могу найти. Да и не уверен во всём этом, вот и спрашиваю, может, кто-то сталкивался с такой проблемой.

Ой, а у меня ещё вопрос перед сном

А в чём разница между: type MesStruct struct { ...} type jslogs struct { Messages []MesStruct `json:messages` } и type MesStruct struct { ...} type jslogs struct { Messages []*MesStruct `json:messages` } В учебнике было со звёздочкой, я помню, что это указатель, но не понял в чем разница

Если бы я создал переменную такого типа и указал на неё, тогда понятно, но указатель на описание типа??

В первом случае слайс из messtruct, во втором слайс указателей на messtruct. *mesStruct тоже тип в данном случае.

Спасибо

Как мне представляется, он подходит для получения единичных значений без создания структуры. Таким макаром полноценный парсинг будет медленным, нет разве?

да, конечно. Ну у человека же речь не шла об оптимизации парсинга, вот я и исходил из самого протого решения. Уж если оптимизировать, то нужно видимо нечто с кодогенерацией. easyjson например

Как мне представляется, он подходит для получения единичных значений без создания структуры. Таким макаром полноценный парсинг будет медленным, нет разве?

ещё у него там есть Text interface{}, которую я бы заменил на Text fastjson.Object. И ксатти совсем не факт что парсинг с десериализацией через рефлексию будет в итоге быстрей

Рефлексия обычно сильно медленнее, чем парсинг в заранее определенную структуру

Go выигрывает у php, если использовать в высоконагруженных сервисах?

Go выигрывает у php, если использовать в высоконагруженных сервисах?

Угу

да

От рук зависит. Можно написать одинаково плохо

hello world будет быстрее на go таки ?

а говорили, что Go намного хуже PHP, если плохо писать. На PHP работает, хоть и плохо, а на Go часто даже скомпилировать нельзя :(

а говорили, что Go намного хуже PHP, если плохо писать. На PHP работает, хоть и плохо, а на Go часто даже скомпилировать нельзя :(

звучит как троллинг

это он и есть :)

А вопрос, что быстрей - не звучит, как троллинг? :)

Кстати да, не написали скорость чего важна: программы или программиста

Или скорость превращения кода в не поддерживаемое ̶г̶о̶в̶н̶о̶ легаси

Ребята, может кто подсказать, очень часто возникают ошибки в кастомном HttpClient с такой конфигурацией: client := &http.Client{ Transport: &nethttp.Transport{ &http.Transport{ DialContext: (&net.Dialer{ Timeout: 3 * time.Second, KeepAlive: 10 * time.Second, DualStack: true, }).DialContext, MaxIdleConns: 100, IdleConnTimeout: 20 * time.Second, TLSHandshakeTimeout: 1 * time.Second, ExpectContinueTimeout: 1 * time.Second, }, }, } Такой клиент создаётся на каждый запрос к серверу и посылает запрос на другой сервер. Локально не репродюсится, значит дело в нагрузке. Кто-то сталкивался с такой проблемой ? Ошибка dial tcp: i/o timeout

У тебя тайм-аут три секунды ?

Go выигрывает у php, если использовать в высоконагруженных сервисах?

В общем, все согласны, что на Go разрабатывается намного быстрей, чем на C, и работает обычно сильно быстрее, чем на любых интерпретируемых языках.

У тебя тайм-аут три секунды ?

Не влияет ровным счётом. Бекенды работают как надо, и руками всегда отвечают вовремя. Но проблема именно в кастомном HttpClient.

Не влияет ровным счётом. Бекенды работают как надо, и руками всегда отвечают вовремя. Но проблема именно в кастомном HttpClient.

Ты тестировал с таймаутом 6 секунд? Количество ошибок ровно такое же?

В общем, все согласны, что на Go разрабатывается намного быстрей, чем на C, и работает обычно сильно быстрее, чем на любых интерпретируемых языках.

я бы по-прежнему не согласен про интерпретируемые языки

как можно группировать роуты без сторонних фреймворков

net/http

Ты тестировал с таймаутом 6 секунд? Количество ошибок ровно такое же?

У дефолтного клиента таймауты вообще дикие. 30 секунд. Сейчас поставили параметры DefaultClient, ошибки всё равно присутсвуют. Будто бы голанг как-то отрубает сам по желанию dial и выбрасывает таймаут.

У дефолтного клиента таймауты вообще дикие. 30 секунд. Сейчас поставили параметры DefaultClient, ошибки всё равно присутсвуют. Будто бы голанг как-то отрубает сам по желанию dial и выбрасывает таймаут.

А через клиент по умолчанию ошибки есть? ? Какой объём запросов в секунду исходящий?

У дефолтного клиента таймауты вообще дикие. 30 секунд. Сейчас поставили параметры DefaultClient, ошибки всё равно присутсвуют. Будто бы голанг как-то отрубает сам по желанию dial и выбрасывает таймаут.

Больше или меньше ошибок с большим тайм-аутом?

Хватает ли пропускной способности для отправки запросов и получения ответов?

А через клиент по умолчанию ошибки есть? ? Какой объём запросов в секунду исходящий?

Я же говорю, раньше мы использовали обычный http.Get, который вызывал DefaultClient.Do, который как бы был синглтоном для своего пакета (насколько я понял). Сейчас ошибок меньше, но они всё равно присутствуют. Наш графкуель сервер обращается к трём бекендам, это просто невозможно, чтобы у всех трёх был этот таймаут на dial. это подтверждает то, что раньше с http.Get всё работало стабильно. Нагрузка вообще слабая, около 10-20 запросов в секунду.

Последняя от версия го?

Последняя от версия го?

Да, тег latest в докерфайле.

Хватает ли пропускной способности для отправки запросов и получения ответов?

Ошибок меньше, но они всё равно есть.

Я же говорю, раньше мы использовали обычный http.Get, который вызывал DefaultClient.Do, который как бы был синглтоном для своего пакета (насколько я понял). Сейчас ошибок меньше, но они всё равно присутствуют. Наш графкуель сервер обращается к трём бекендам, это просто невозможно, чтобы у всех трёх был этот таймаут на dial. это подтверждает то, что раньше с http.Get всё работало стабильно. Нагрузка вообще слабая, около 10-20 запросов в секунду.

Вы выше писали, что создаёте на каждый запрос новый инстанс клиента — это так?

Вы выше писали, что создаёте на каждый запрос новый инстанс клиента — это так?

Верно.

Не создавайте.

Звучит так, что у вас с сетью не очень что-то и от большого количества установления подключений что-то тупит.

Создайте клиент один раз и дайте ему кешировать подключения к этим трём бекам.

ERROR: S client not available

Не создавайте.

А есть какой-то аргумент, почему нельзя создавать каждый раз клиента? Мы, к сожалению, не смогли продебажить этот момент, вот и мечемся от одного "решения" к другому.

Звучит так, что у вас с сетью не очень что-то и от большого количества установления подключений что-то тупит.

В любом случае, спасибо за ответы!

А есть какой-то аргумент, почему нельзя создавать каждый раз клиента? Мы, к сожалению, не смогли продебажить этот момент, вот и мечемся от одного "решения" к другому.

Я ниже описал аргумент.

Keep Alive все дела.

А есть какой-то аргумент, почему нельзя создавать каждый раз клиента? Мы, к сожалению, не смогли продебажить этот момент, вот и мечемся от одного "решения" к другому.

Да можно никто не запрещает. Но лучше так не делать.

Keep Alive все дела.

? Спасибо, попробуем покопать в этом направлении. Ещё у нас в одном методе делается resp, err := client.Do И в этом же методе return resp.Body. То есть, коллер не закрывает resp.Body, его закрывает другая функция, куда возвращается resp.Body.

Это нормально закрывать боди в другом месте. Главное не забыть его закрывать.

Могут из-за утечки быть таймауты ?

Через defer например.

Могут из-за утечки быть таймауты ?

Сложный вопрос ?

Но это нагрузка на сетевой стек, да.

Это нормально закрывать боди в другом месте. Главное не забыть его закрывать.

Он точно закрывается через defer, но закрывается не в коллере. Думал, может, в этом проблема.

Ну вы всегда можете сделать netstat на хосте и посмотреть — может больше информации даст.

Ну вы всегда можете сделать netstat на хосте и посмотреть — может больше информации даст.

Спасибо большое за помощь!

как можно группировать роуты без сторонних фреймворков

https://golang.org/pkg/net/http/#NewServeMux оно?

ага

посоветуйте mock для sql

что-то библиотек опять наплодили

Рефлексия обычно сильно медленнее, чем парсинг в заранее определенную структуру

че сказать хотел непонятно. json/encoding - это рефлексия и парсинг в определенную структуру. Но в данном случае это быстрее.

У всех github мозги ебет?

У меня окич

Не знаю, гитхаб ли это, но у меня пакет с gopkg.in не устанавливается =(

gopkg прилег

Точнее не может до гитхаба достучаться

Говорят, что гитхаб начал выкатывать новый интерфейс, мб дело в этом.

че сказать хотел непонятно. json/encoding - это рефлексия и парсинг в определенную структуру. Но в данном случае это быстрее.

Скажем так, парсить структуру по сгенеренному автомату быстрее, чем используя рефлексию в рантайме, так понятнее?

Скажем так, парсить структуру по сгенеренному автомату быстрее, чем используя рефлексию в рантайме, так понятнее?

очевидно

Привет всем. Может кто подсказать по пакету "go-dkim". Сгенерировал 2 ключа private/public.pem 1024 бит rsa, делаю подпись письма, на базе private.pem, вроде как в примере на github. На выходе, в почтовике пусто, такое впечатление что он даже ничего не делает. Сам ключ пропускаю через: private, _ := ioutil.ReadFile("private.pem") block, _ := pem.Decode(private) ну и в options.PrivateKey добавляю block.Bytes

Смотрите. Есть xml: <root> <block> <items> <item>1</item> <item>2</item> </items> </block> <block> .... Можно для стандартного декодера сделать структуру, чтобы он пропускал вот этот сраный 'items'?

Привет всем. Может кто подсказать по пакету "go-dkim". Сгенерировал 2 ключа private/public.pem 1024 бит rsa, делаю подпись письма, на базе private.pem, вроде как в примере на github. На выходе, в почтовике пусто, такое впечатление что он даже ничего не делает. Сам ключ пропускаю через: private, _ := ioutil.ReadFile("private.pem") block, _ := pem.Decode(private) ну и в options.PrivateKey добавляю block.Bytes

обрабатывай ошибки, посмотри, может, что-то не так.