@steppefox как дела в яндексе?

@steppefox как дела в яндексе?

Привет, потихоньку) Вот, Golang'ом увлекся, есть микросервисы которые надо поддерживать ;D

Привет, потихоньку) Вот, Golang'ом увлекся, есть микросервисы которые надо поддерживать ;D

Я думал вы там какой-нибудь yalang пилите

В Девкз по тебе скучают

y++

Я думал вы там какой-нибудь yalang пилите

Ну камон, не утрируй) Есть норм команды с новым стеком, Python 3, Golang, на фронте много проектов на React. Многие сервисы теперь обязательно должны быть в контейнерах.

В Девкз по тебе скучают

Too toxic channel =/

Too toxic channel =/

Так задумано

Теперь можно писать на go для openwrt/mips

народ, вопрос уже был помню, и все же к нему вернусь : как отслеживать ошибки подобного вида

в том то и прикол, что указатель не туда

defer recover() ?

вероятно defer

рековеров нет

вероятно defer

https://blog.golang.org/defer-panic-and-recover

Добрый день. В команду нужны Golang разработчики (middle/senior) на постоянной основе. Зарплата: $1500-5000 + бонусы. Работа в офисе (Киев), либо удаленно.

отлогировал, просмотрел, результатов 0. Изменил задачу, добавил url адрес, url адрес ссылки на файл, получаеться "sometimesalone222 (?:https?:\/\/)?(?:[\w\.]+)\.(?:[a-z]{2,6}\.?)(?:\/[\w\.]*)*\/?" не находит, беру "sometimesalone222 https?:\/\/\S+" отлично находит, значит проблема мне кажется в самом regexp. Чудес не бывает, я это понимаю.

чудес не бывает :) ну отлоггируй кейс, когда у тебя ничего не находится. сдампи куда-нибудь тело и потом глазами посмотри

Если ось убивает приложуху (killed), как только память кончается, это 100% протечка? Не могу понять работает ли гц и вообще в каком месте искать.

Ты же про Go ?

Если ось убивает приложуху (killed), как только память кончается, это 100% протечка? Не могу понять работает ли гц и вообще в каком месте искать.

Если ось убивает приложуху (killed), как только память кончается, это 100% протечка? Не могу понять работает ли гц и вообще в каком месте искать.

Иногда это просто приложение жрет много памяти.

Включай профилирование и смотри что там в heap

В смысле может приложение by design хочет много памяти, которой у тебя нет

Если кину картинку норм?

В смысле может приложение by design хочет много памяти, которой у тебя нет

по идее нет, одновременно максимум мегов на 200-300, а доходит до гига с лишним

Ты же про Go ?

ну да, мы же в чатике про гоу)

Ну тут не только про Go говорят)

ну да, мы же в чатике про гоу)

по идее нет, одновременно максимум мегов на 200-300, а доходит до гига с лишним

Ну тебе никто ничего не ответит пока ты не расскажешь больше про свой код и нагрузку

А вообще если по теме то ОС не должна убивать приложение Go, память сама распределяеться при garbage collection и доходит до лимита (планки), сам тестировал на WIndows XP, WIndows 7, Windows 10. Если ты про линукс то хрен его знает.

В общем: 1-ый воркер тащит JSON по HTTP и сбрасывает слайсами нужную инфу во вторую рутину по каналу 2-ой воркер принимает инфу, пишет в кэш Кэш - мапа защищеная мьютексом, сохраняет ключ в файл каждые N обновлений ключа или M секунд. За раз, максимум на 10-20 мегабайт данных может прийти, и то это потолок.

Только если ты сам принудительно не выделяешь память.

Скинь пастебином совй код.

постебин

- постебем твой код недорого

я могу скрином профиль скинуть)))

В общем: 1-ый воркер тащит JSON по HTTP и сбрасывает слайсами нужную инфу во вторую рутину по каналу 2-ой воркер принимает инфу, пишет в кэш Кэш - мапа защищеная мьютексом, сохраняет ключ в файл каждые N обновлений ключа или M секунд. За раз, максимум на 10-20 мегабайт данных может прийти, и то это потолок.

Сними дамп хипа через энное время, когда оно разжиреет

И в свг

А вообще если по теме то ОС не должна убивать приложение Go, память сама распределяеться при garbage collection и доходит до лимита (планки), сам тестировал на WIndows XP, WIndows 7, Windows 10. Если ты про линукс то хрен его знает.

эм. а где в го задаются внутренние лимиты памяти? если приложение жрёт память как не в себя, то ось просто обязана его замочить

Сними дамп хипа через энное время, когда оно разжиреет

это в самом конце, перед выходом... или лучше сделать где-то в середине?

эм. а где в го задаются внутренние лимиты памяти? если приложение жрёт память как не в себя, то ось просто обязана его замочить

не всегда, если политика безопасности того требует

это в самом конце, перед выходом... или лучше сделать где-то в середине?

лучше сделать когда оно жрет слишком много (с твоей точки зрения)

но до прихода ООМ

не всегда, если политика безопасности того требует

эм. ну эм. еслии мы добрались до того как память кончилась, то вариантов кроме мочить кого-нить нету

@nuqzz тут у тебя просто ничего криминального - кэш 78МБ сожрал, а остальное это декодирование из json'а

и всякие буферы

неа, современные ос как раз таки лимитируют потребляемую память приложениями Go, ОС не должна убивать процесс, а должна или лимитировать память или осовобождать под другие приложении

эм. ну эм. еслии мы добрались до того как память кончилась, то вариантов кроме мочить кого-нить нету

есть же swap, когда оператива забивается ось начинает выгружать в своп, начинаются жуткие тормоза)))

эм. а где в го задаются внутренние лимиты памяти? если приложение жрёт память как не в себя, то ось просто обязана его замочить

значит не там дамп снял, ок попробую еще разок

а сколько оперативы на сервере?

Я не понимаю, когда GC срабатывает, если он не отдаёт системе, то получается, он должен как-то переиспользовать что он освободил.

неа, современные ос как раз таки лимитируют потребляемую память приложениями Go, ОС не должна убивать процесс, а должна или лимитировать память или осовобождать под другие приложении

это не так

а сколько оперативы на сервере?

1Гб, своп не подключен

@fuckingstreamsnipe есть понятие overcommit'а, которое портит эту идеальную картину мира

а че так мало?)

Я не понимаю, когда GC срабатывает, если он не отдаёт системе, то получается, он должен как-то переиспользовать что он освободил.

когда ГЦ срабатывает иногда он отдает память, иногда нет

@nuqzz логика зависит от версии Го в том числе

ERROR: S client not available

а можно как-то затрейсить когда он срабатывает?

а можно как-то затрейсить когда он срабатывает?

https://dave.cheney.net/2015/11/29/a-whirlwind-tour-of-gos-runtime-environment-variables

GODEBUG=gctrace=1 your_program

он на каждый запуск гц будет писать инфу о работе гц

Спасибо, попробую

@nuqzz наиболее вероятно что ты где-то что-то забываешь подчищать

и у тебя копится мусор

например забываешь закрывать body соединений

или еще что-то такое

или из кэша старые значения забываешь удалять

и он у тебя вечно растет

не, на кэше лимит по количеству ключей, если он полный, при добавлении нового значения самое старое сохраняется и delete() делаю

Теперь я знаю что я делал не так - не в том месте дамп хипа делал, поэтому и не видно ничего. Дальше думаю уже не сложно

https://making.pusher.com/golangs-real-time-gc-in-theory-and-practice/

вот кстати, анимашка тут занятная) мож кому пригодится

не, на кэше лимит по количеству ключей, если он полный, при добавлении нового значения самое старое сохраняется и delete() делаю

мы кстати https://github.com/dgryski/go-expirecache вот это используем под кэшик у себя )

как раз фактически делает то что ты реализовал, тока написан давно и сам чистит фончиком

как раз фактически делает то что ты реализовал, тока написан давно и сам чистит фончиком

? о с тестами даже, почитаю на досуге

? о с тестами даже, почитаю на досуге

вообще у этого товарища очень много мелких полезных либок для Го

https://github.com/dgryski/go-perfbook/blob/master/performance.md и вот такая штука есть еще (он ее сейчас пишет)

Народ, а есть кто из Минска? Сколько у вас вилка там на гоу-middle? Мне просто интересно

я не думаю что есть разница

спроси в juno они постоянно хантят

я думаю у них средняя по больнице

а juno это канал или что?

Это компания такая

Juno достаточно крупные и это не совсем ориентир

ну блин, я хотел приблизительно вилку. Нафиг мне точно

Задачка загружать файлы на ftp. Стандартной либы достаточно или чето покруче есть?