Alexey
Там всё несколько сложнее
Alexey
Я бы посоветовал поискать утечку памяти, если она есть. Если где-то больше используется, чем надо. Если ничего очевидного нет, и unsafe/cgo не используется, то вероятность наткнуться на баг рантайма мала (если релиз используется, конечно). Так что можно не переживать.
Alexey
Ну и 600MB – это ведь виртуальная память, не RSS?
Anton
Он может быть выключен по-умолчанию. Там есть флаги и конфиг
да, проверка на shadow выключена по умолчанию
Alexey
Мониторинг есть? Растёт?
Daniel
К слову, очень рекомендую его заменить на https://github.com/golangci/golangci-lint – сильно быстрее, лучше, мощнее, замечательнее
но если в коде ошибка - я не уловил, какого сорта - может выдавать невнятную диагностику
Alexey
> это etcd в кластере kubernetes с ~40 нодами Кстати, вот. Может кто просто сразу скажет, что это норм. Я сам не знаю
I
Мониторинг есть? Растёт?
мониторинг еть, не растет. доходит до определенного уровня и все
Alexey
Ну тогда не переживайте 🙂
Alexey
Если очень хочется, можно GOGC покрутить
I
он кстати покручен уже до 25 :)
Alexey
Тогда, может, открутить?
I
можно попробовать, конечно) но коллеги говорят, что когда было 100, то падал по oom киллу
arkady
HTTP CONNECT дальше, в чем проблема?
проблема в том, что метод коннект мне присылает браузер, чтобы я, как прокси, переслал его сообщение на удаленный сервер и обратно, а мне нужно чтобы я запроксировал пользовательский реквест через внешний прокси сервер, получается такая цепочка прокси: клиент —>мой прокси—>купленный прокси—>google.com(например)
Anonymous
подскажите, пожалуйста, по каналам. в статье https://blog.golang.org/go-concurrency-patterns-timing-out-and говорится, что в этом коде:
Антон
Для достижения интриги нужно оставлять некоторую недоска
🏁Александр
да я полностью согл
Vitaliy
я
Vitaliy
https://imgs.xkcd.com/comics/goto.png думаю что-то в этом духе
arkady
так в чем проблема-то?
фактически я имею три net.Conn 1. клиентский, 2. прокси сервера купленного 3. конечный ресурс как мне маршрутизировать все это?
arkady
фактически я имею три net.Conn 1. клиентский, 2. прокси сервера купленного 3. конечный ресурс как мне маршрутизировать все это?
как мне, как прокси серверу, пустить трафик клиента через другой прокси сервер и вернуть его клиенту? (сейчас говорю только про https)
arkady
HTTP Connect.
не понимаю, мне вручную отправить от прокси сервера реквест с HTTP Connect? Можешь побольше дать информации, если знаешь, как сделать?
Anonymous
можем, но не неявно, можно например сделать calcelation с помощью context.Context
а можете пример привести? везде где я смотрел, было select { case <- ctx.Done: } т.е тоже чтение из канала.
Roman
а можете пример привести? везде где я смотрел, было select { case <- ctx.Done: } т.е тоже чтение из канала.
у контекста есть канал, который триггерится по отменению или timeout'у
Daniel
фактически я имею три net.Conn 1. клиентский, 2. прокси сервера купленного 3. конечный ресурс как мне маршрутизировать все это?
только два - клиентский и купленного прокси. на конечный пойдет купленный прокси, и это не ваша забота
Anonymous
у контекста есть канал, который триггерится по отменению или timeout'у
тогда, тот пример, который мы обсуждали будет выглядить как: searchReplica := func(i int) { select { case c <- replicas[i](query): case <- ctx.Done(): } } и все равно не получится завершить работу воркера досрочно и сэкономить ресурсы?
Roman
тогда, тот пример, который мы обсуждали будет выглядить как: searchReplica := func(i int) { select { case c <- replicas[i](query): case <- ctx.Done(): } } и все равно не получится завершить работу воркера досрочно и сэкономить ресурсы?
нет, не получится, у вас программа в select переходит после того как выполняется вызванная функция вам надо либо запускать её в отдельной горутине либо переписать таким образом чтобы она уважала отменяемый контекст
Alexander
Хм. А кто-нибудь писал транслятор на go? Есть идея как параллелить разбор синтаксических конструкций? С лексером все просто.
Roman
Хм. А кто-нибудь писал транслятор на go? Есть идея как параллелить разбор синтаксических конструкций? С лексером все просто.
а как вы это распараллелите? синтаксис это вроде когда выражения друг от друга зависят
Alexander
Ну вот я тоже об этом. Но возможно можно подумать над некоторыми моментами
Roman
Ну вот я тоже об этом. Но возможно можно подумать над некоторыми моментами
я на данный момент пишу парсер языка, и парсер у меня однопоточный, а вот анализ пропарсенного уже можно распараллелить
Roman
например если парсить структуры и потом анализировать пропарсенное дабы найти цикличность. читает одна горутина, а анализировать прочитанные объвления можно уже на нескольких
Alexander
я на данный момент пишу парсер языка, и парсер у меня однопоточный, а вот анализ пропарсенного уже можно распараллелить
Ну вообще пока тесты показывают, что разбор быстро пока идёт для LL грамматики. В принципе можно параллельно несколько экземпляров программы запускать на разные файлы
Alexander
Ну. Файлов будет много. А вот для completion уже веселее все будет. Ладно. Надо хотя бы транслятор просто сделать
Roman
мы ведь изначально не знаем boundary выражений, мы их же походу парсинга выявляем
Alexander
Ну вообще в некоторых моментах можно попробовать. К примеру если есть тело объекта, то можно найти начала некоторых конструкций в виде свойств и методов и разбирать параллельно. Но для ll грамматики с просмотром на 1 токен вперёд толку от этого мало
Alexander
А вот с просмотром на большую глубину или с LR грамматикой может помочь. Хм
Anonymous
нет, не получится, у вас программа в select переходит после того как выполняется вызванная функция вам надо либо запускать её в отдельной горутине либо переписать таким образом чтобы она уважала отменяемый контекст
а можете пример привести? я сколько не пробывал, у меня все равно получается, что можно досрочно выйти из горутины по таймауту. Но сами вычисления продолжают вычисляться, просто их результат уже никак не используется
Anonymous
а, кажется, понял
Roman
а можете пример привести? я сколько не пробывал, у меня все равно получается, что можно досрочно выйти из горутины по таймауту. Но сами вычисления продолжают вычисляться, просто их результат уже никак не используется
ещё раз: если работу выполняет условная горутина X, тогда она принимает контекст, и периоридески проверяет его на отменение, если контекст отменили тогда X прекращает работу досрочно. это как раз то что я имел ввиду под "уважать контекст"
Anonymous
спасибо
Roman
а если горутина не уважает контекст то его хоть 100 раз отменяй - X по прежнему продолжит заниматься чем занималась, ибо ей пофиг
Anonymous
а если горутина не уважает контекст то его хоть 100 раз отменяй - X по прежнему продолжит заниматься чем занималась, ибо ей пофиг
func Func(ctx context.Context) { go func() { for { <-ctx.Done() return } }() computations() } если сделать так, то это не сработает. т.е. проверять надо через периодические if?
Nikita
селект из одного кейса?)
А что, собственно, смущает?)
Nikita
https://stackoverflow.com/questions/3398490/checking-if-a-channel-has-a-ready-to-read-value-using-go
Anton
подскажите такой вопрос, не совсем конкретно про go, скорее, инфраструктурный: вот если по уму делать апп с реляционной базой, то как вообще подходить к вопросам миграции? вынести это в какой-то отдельный апп, который будет только подключаться к нужной базе и проверять миграции? или прямо зашить эту логику в основной апп?
Alexander
Можно посмотреть как это сделано в ror. Лучший вариант что я видел
Anonymous
ehhh, no computations должен получить контекст и по мере вычисления его проверять
func computations(ctx context.Context) { deadline, _ := ctx.Deadline() if time.Now().After(deadline) { return } operation1() if time.Now().After(deadline) { return } operation2() if time.Now().After(deadline) { return } operation3() } Так?
Nikita
Миграции просто хранятся как sql скрипты, а за их актуальностью следит migrate
Nikita
К слову, если база не реляционная, миграции все-равно нужны, например создать коллекцию в монге, индексы и т.п.
Anonymous
select { case <- ctx.Done(): return ctx.Err() default: .. continue work }
я как раз не понимаю, как этот continue work должен выглядеть?
Anton
при запуске)
ну т.е. просто как библиотеку импортишь в основной апп, и когда он запускается, он подключается к базе и проверяет миграцию?
Alexander
Перед запуском сервера запускают скрип накатывающий миграции. Затем стартуют апп
Anonymous
а что вообще тут делает for?
это не правильно. я не знаю, как правильно, поэтому спрашиваю
Roman
func computations(ctx context.Context) { deadline, _ := ctx.Deadline() if time.Now().After(deadline) { return } operation1() if time.Now().After(deadline) { return } operation2() if time.Now().After(deadline) { return } operation3() } Так?
нет, скорее тебе нужно использовать .Done поскольку ты так-же хочешь уважать отменение а не только timeout
Savely
это не правильно. я не знаю, как правильно, поэтому спрашиваю
ну у тебя while true по сути в котором ты ждешь Done от контекста
Nikita
ну т.е. просто как библиотеку импортишь в основной апп, и когда он запускается, он подключается к базе и проверяет миграцию?
У меня сервисы в докере. Собран отдельный образ, который баш-скриптом пингует бд когда она запустится и запускает эту утилиту migrate.
Savely
ожидать значения из каналов надо через select
Savely
ну или просто без селекта, если у тебя нет выбора таймаут или ожидание
Savely
впрочем у вас тут другая тема диалога вообще :D
Anonymous
нет, скорее тебе нужно использовать .Done поскольку ты так-же хочешь уважать отменение а не только timeout
а как? он же вернет канал, как из него периодически проверять истечение в if
Alexander
Накатка миграции - процесс разворачивания окружения
Alexander
После того, как все готово стартуем сервер