Petr
Есть кто-то, кто переписал проект на golang и пожалел? Если да, то почему?
Grisha
Подскажите, кто работал с изображениями на go. Использую стандартный image.Decode для проверки на тип и на "битость" изображений, но там аллоцируется очень много памяти в image.NewYCbCr, при этом не отдает почему-то память обратно в ОС. Кто-то сталкивался с подобным, или возможно знает что-то более подходящее для валидации. Проверяю png и jpeg
Салтыдык
Есть кто-то, кто переписал проект на golang и пожалел? Если да, то почему?
1) пожалел предыдущего себя, ведь на го стало работать гораздо быстрее и стабильнее. 2) ищем гоферов для развития проекта, но их нет. Мухосранск.
Misha
Добрый день, уважаемые гоферы! Такая задача, подаю в канал некое количество данных, а потом хочу его обработать из нескольких горутин. Горутины отрабатывают и дальше остается вопрос, как их убить. То есть можно ли как-то проверить, что все данные из канала обработаны?
Pavel
Закрыть канал.
Misha
А как это проконтролировать в горотинах? Они у меня читают данные из канала в цикле бесконечном, или можно как-то в условие этого цикла вставить существование канала?
freezlite
range chan завершится когда канал закроется
Nikolay Markov
Tweet from @yelbota https://twitter.com/yelbota/status/1053302713356861440 @yelbota: @vasilenkos МИМО ГОФЕСКОГО КАБИНЕТА Я БЕЗ ШУТОК НЕ ХОЖУ ТО АППЛИКАТИВНЫЙ ФУНКТОР ПОД ДВЕРЬ ПРОСУНУ ТО МОНАДУ ПОКАЖУ
Misha
range chan завершится когда канал закроется
Я вас понял, спасибо большое)
freezlite
да, готур лучше пройит, он очень короткий и очень эффективный
Misha
Го тур прошли?
Полгода назад где-то, с тех пор каналы так и не пригодились. Надо бы повторить их
freezlite
Misha
не использование рутин и каналов ? А зачем вам GO?
Не все веб приложения требуют их непосредственного использования
Anonymous
Не все веб приложения требуют их непосредственного использования
никто не требует параллельно-конкурентных операций, можно портировать PHP на GO ,если ждете апокалипсиса! Но садится в танк чтобы вынести мусор ... вызовет улыбку
Misha
Пока что го мне требовался только для учебно-проектных задач в плане несложных апи. Сейчас возникла задача, где нужно обрабатывать большие объемы данных, вот и начал разбираться с рутинами и каналами, и в частности с их использованием
Anonymous
Вообще, хороший го код очень легко сделать конкурентным
так же легко как кошке бегающей по пианино сыграть Баха
Vadim
Говорю сугубо по своему опыту
Misha
Я не вижу смысла как-то использовать конкурентность, когда данных как кот наплакал
Anonymous
Я не вижу смысла как-то использовать конкурентность, когда данных как кот наплакал
дело же не в данных , а сколько ядер/поток будет использовано из вашего CPU! Если нравится писать приложения в 1-н поток ,ваше право!
Nikolay Markov
Я не вижу смысла как-то использовать конкурентность, когда данных как кот наплакал
Вообще мало связанные вещи, для данных чаще используют векторизацию
Nikolay Markov
А конкурентность - это больше про io bound
Anonymous
в моем значении конкурентность по Пайку
Misha
Вообще мало связанные вещи, для данных чаще используют векторизацию
Ну а если говорить об обработке? Допустим мне нужно отфильтровать несколько сотен тысяч объектов
Misha
Json
Nikolay Markov
Json
Jq использовать не вариант?
Misha
А что это есть?
Nikolay Markov
А что это есть?
Консольная развесистая утилита для работы с json
Nikolay Markov
Хотя несколько сотен тысяч - это очень мало
Misha
Данные предоставляются частично, запрашиваю из апи. Возвращает кусками
Misha
У меня нет на руках сразу всех данных
Nikolay Markov
И что это меняет? Просто постранично перебираешь API и кидаешь на диск
Nikolay Markov
Я бы советовал сохранить всё перед анализом
Anonymous
каждая страница обрабатывается отдельной рутиной
Nikolay Markov
каждая страница обрабатывается отдельной рутиной
Да, можно так. Или можно просто GNU parallel + curl
Misha
Так места не диске не напасешься, плюс даже запросив эти данные, определенные их части приходится дозапрашивать, если их сначала собирать, а потом обрабатывать, выйдет слишком долго
Misha
каждая страница обрабатывается отдельной рутиной
Примерно такой идеи я и придерживаюсь
Misha
каждая страница обрабатывается отдельной рутиной
Только количество рутин надо ограничивать, если я правильно понимаю
Anonymous
Только количество рутин надо ограничивать, если я правильно понимаю
не факт, много вариантов не требуют этого , но исходя из ТЗ !
Misha
При определенном количестве они начнут друг другу только мешать, время переключения будет больше времени выполнения
Misha
При достаточно простых процессах
Anonymous
При определенном количестве они начнут друг другу только мешать, время переключения будет больше времени выполнения
да именно , но переключение между рутинами - это не тяжелое переключение между контекстами задач
Anonymous
исходя из успешных практик многие работают с тысячами рутин и каналов
Misha
А как-то можно вычислить это количество?
Misha
Ну если говорить немного о теории
Anonymous
введи инкрементор и декрементор защищенный мьютексом и считай
Anonymous
даже придебаге поможет, ведь закрылась или нет рутина на первых порах очень важно
Misha
Нет, я имею ввиду, рассчитать, при скольких рутинах достигается максимальная эффективность
Egor
Нет, я имею ввиду, рассчитать, при скольких рутинах достигается максимальная эффективность
тут вам помогут лишь ваши личные бенчмарки всё зависит от вашего железа
Anonymous
Нет, я имею ввиду, рассчитать, при скольких рутинах достигается максимальная эффективность
вы хотите универсальную формулу для расчета на произвольном коде программера?
Vadim
Очень часто не больше кол-ва ядер.
Misha
Научного метода нет? Только методом тыка?
Misha
вы хотите универсальную формулу для расчета на произвольном коде программера?
Или метод не нахождения, вообще возможно ли такое составить
Egor
Очень часто не больше кол-ва ядер.
еслиб мы могли запустить не больше 4-8 го рутин, то никто бы на го и смотреть не стал
Vadim
еслиб мы могли запустить не больше 4-8 го рутин, то никто бы на го и смотреть не стал
Мы можем больше, я говорю про кол-во горутин, на которых самое маленькое латенси.
Misha
Я чувствую выбор количество горутин - это такой же вопрос, как выбор количества нейронов в каждом слое нейронной сетки
Misha
То есть дело опыта и интуиции
Anonymous
То есть дело опыта и интуиции
скорее количеством слипов вставленных программером! Если программист пишет с учетом "соседей" то все будет ОК
Misha
А как их учесть?
Nikolay Markov
А как их учесть?
А их просто в идеале быть не должно
Oleh
Если в горутине используется очень простая операция (к примеру умножение) и их много, то будет больше времени тратится на переключение между ними А дальше только смотреть в профайлер и как шедулер много ест проца
Misha
А их просто в идеале быть не должно
Я понял, что не понял о каких соседях речь, сторонние процессы запущенные на той же машине?
Nikolay Markov
Я понял, что не понял о каких соседях речь, сторонние процессы запущенные на той же машине?
Любая долгоиграющая операция, включая слип, блочит горутины, работающие на том же ядре
Anonymous
я их называю зелеными соседями
Anonymous
dвот набросал для изучающих // Factorial.go package main import ( "fmt" ) func fu(l uint64, max uint64, p chan uint64) { var f, g uint64 uch := make(chan uint64) if l+2 <= max { go fu(l+2, max, uch) f = l * (l + 1) g = <-uch p <- g * f } else { if l == max { p <- l } else { p <- (l) * (l + 1) } } } func factorial(n uint64) uint64 { uch := make(chan uint64) go fu(1, n, uch) return <-uch } func main() { fmt.Println("Факториал через рутины") for i:=0;i<17;i++ { fmt.Println(i+1,"!=",factorial(uint64(i+1))) } }
Anonymous
не задавайте вопросы ,экспериментируйте сами
Anonymous
сделайте для чисел Фибоначи и уверенность придет или из псевдорекурсии сделайте на циклах с разбиением
Anonymous
Ужас
неужели показ на псевдорекурсии - это ужас?