я не сильно компетентен в хайлоаде, но мне кажется, что если каналы стали боттлнеком, то нужно пересмотреть используемые инструменты и подход.

я знаю один способ наткнуться на тормоз каналов - приложение ничего не делает само, а только пересовывает данные из горутины в горутину. например - это какая-то in-memory cache либа. как только мы начинаем делать что-то полезное - полезное начинает занимать на порядки больше времени

я знаю один способ наткнуться на тормоз каналов - приложение ничего не делает само, а только пересовывает данные из горутины в горутину. например - это какая-то in-memory cache либа. как только мы начинаем делать что-то полезное - полезное начинает занимать на порядки больше времени

либо код делающий что-то полезное феноменально быстр

увы, я на такое натыкался =(

Открой для себя атомики

они больно бьют

они больно бьют

каким образом больно бьют?

кусаются, наверное ну или током бьют

они больно бьют

Это как?

В го есть атомики?

#вакансия #go #python #ruby #MachineLearning #ML #офис #fulltime Всем привет! ? Кто давно хотел перейти в разработку на Go? ? Сейчас именно тот момент! Готовы знакомиться с опытными разработчиками, имеющими разный бекграунд (Python/Ruby/Java) и готовых переходить на Go. О компании: стартап, этап активного формирования команды. О проекте: разработка платформы, позволяющей автоматически создавать решения на базе машинного обучения для бизнеса. Основные задачи: - Создание инфраструктурных решений - Выстраивание архитектуры приложений - Разработка и поддержка микросервисов г. Москва, м. Охотный ряд ЗП: 150 - 250к на руки Фултайм в офисе (Возможность иногда работать удаленно). C подробностями можно ознакомиться здесь: https://vacancy.newhr.ru/golang/4 С радостью отвечу на все вопросы по почте: marina@new.hr ? Вакансия представлена агентством https://newhr.ru/ Спасибо!

каким образом больно бьют?

https://fgiesen.wordpress.com/2014/08/18/atomics-and-contention/

многабукв. что там в двух словах? сброс кеша невовремя?

Это как?

процессоры видят память через кеш. использование атомиков приводит к инвалидации кеш-линии конкретного ядра + в дело включаются алгоритмы когерентности кешей(нам надо эту кеш-линию сбросить у соседних ядер на этом же кристалле, а если сокетов больше одного - то еще и в соседний cpu ннадо)

сброс кеша невовремя...

многабукв. что там в двух словах? сброс кеша невовремя?

инвалидация линейки кеша везде. это дорого. очень.

альтернатив то нет. или есть?

ну и при contention атомики становятся еще более дорогими

для понимания ужаса можно посмотреть на http://htor.inf.ethz.ch/publications/img/atomic-bench.pdf

но вариантов-то нет, кроме как не пользовать шареную память вообще

альтернатив то нет. или есть?

нет, да. точнее, атомики плохи при contention. когда несколько потоков используя атомики модифицируют одну и ту же переменную

процессоры видят память через кеш. использование атомиков приводит к инвалидации кеш-линии конкретного ядра + в дело включаются алгоритмы когерентности кешей(нам надо эту кеш-линию сбросить у соседних ядер на этом же кристалле, а если сокетов больше одного - то еще и в соседний cpu ннадо)

В контексте разговора Mutex<int> (не баньте меня за генерики) против AtomicInt, голый атомик один хрен выгоднее

В контексте разговора Mutex<int> (не баньте меня за генерики) против AtomicInt, голый атомик один хрен выгоднее

зависит от сценария использования.

@pragus спасибо за статью.

зависит от сценария использования.

Инкремент из несколькох потоков. Внутри мутекса все равно атомик

ну и при contention атомики становятся еще более дорогими

дада, дороже чем мьютексы (которые на пару с каналами сделаны поверх атомиков) или каналы + WaitGroup, тоже норм тема

и тут мы возвращаемся к вопросу о производительности. запросто на современном проце код с копированием памяти может оказаться быстрее, чем код с передачей указателя и мутексом. если все сойдется так, что копирование произойдет в кеше

Инкремент из несколькох потоков. Внутри мутекса все равно атомик

да блин, есть же разные варианты реализации мьютексов

вообще, самый правильный вариант - писать так, чтобы взаимодействия между горутинами/тредами было минимум.

и не шарить вообще никаких данных

и тут мы возвращаемся к вопросу о производительности. запросто на современном проце код с копированием памяти может оказаться быстрее, чем код с передачей указателя и мутексом. если все сойдется так, что копирование произойдет в кеше

Когда данные надо мутировать, это не прокатит Когда их мутировать не надо, блокировка и не нужна

Когда данные надо мутировать, это не прокатит Когда их мутировать не надо, блокировка и не нужна

ну... есть вот тот же rcu, например.

данные обычно мутировать не надо.

если чтения больше чем модификации, оно почти lockless )

и не шарить вообще никаких данных

"не шарить" в смысле не иметь одновременного доступа к одним и тем же данным? значит нужно передавать данные по каналам? но каналы же медленные?

вообще, самый правильный вариант - писать так, чтобы взаимодействия между горутинами/тредами было минимум.

ЕМНИП, в го нет удобных инструментов для организации параллельных вычислений без блокировок совсем. Вроде параллельных итераторов

"не шарить" в смысле не иметь одновременного доступа к одним и тем же данным? значит нужно передавать данные по каналам? но каналы же медленные?

еще когда я это написал, я подумал, что будет так. канал медленный по сравнению с мутексом и атомиком. потому, что в нем 3 мутекса, кажется. но! вы об этом никогда не узнаете!!!

если чтения больше чем модификации, оно почти lockless )

Я его для эльбруса реализовывал. Там таки спинлок и атомик. Возможно на платформах где есть барьеры памяти оно поэффективнее)

еще когда я это написал, я подумал, что будет так. канал медленный по сравнению с мутексом и атомиком. потому, что в нем 3 мутекса, кажется. но! вы об этом никогда не узнаете!!!

ну так и я почти о том же

еще когда я это написал, я подумал, что будет так. канал медленный по сравнению с мутексом и атомиком. потому, что в нем 3 мутекса, кажется. но! вы об этом никогда не узнаете!!!

То есть о том что мутекс и атомик могут тормозить мы узнали, а об этом не узнаем?)

конечно. вы и про атомик узнаете только если напишете херню - будете модифицировать счетчик часто и из разных тредов

Я его для эльбруса реализовывал. Там таки спинлок и атомик. Возможно на платформах где есть барьеры памяти оно поэффективнее)

а у вас есть живой эльбрус? )

а у вас есть живой эльбрус? )

Даже не один х)

Даже не один х)

Вы из мцст?

Ага

про встраивание мьютекса - не вижу проблем с этим. ну доступны локи снаружи пакета, не критично, иногда даже полезно бывает, т.к. мапа не приватная

ну как угодно ? Просто ты предоставляешь лишний интерфейс к компоненту ? То есть такого рода компонент должен быть инкапсулирован, за атомарность операций должен отвечать непосредственно публичный метод. По поводу тестов, тестировать нужно все ? Даже простые функции, пусть она просто складывает 2 + 2.

По поводу тестов, тестировать нужно все ? Даже простые функции, пусть она просто складывает 2 + 2. С этим не соглашусь

Человек, возможно, из мира динамической типизиции пришел, где тестировать нужно всё, чтобы не огребать от проблем с типами

Тестировать нужно, но не обязательно писать тесты на такие функции, достаточно, чтобы в покрытие попадала другими более высокоуровневыми тестами

ну обычно тестят внешний API и ещё какие-то сложные функции.

я ещё пишу тест перед рефакторингом

если даже функция тривиальная

странно, что перед рефакторингом тривиальные функции, они же как раз могут измениться без изменения внешнего интерфейса

ну если апи тестится ок, и все ожидаемо, то изменив какую-то тривиальную функцию (две, три) можно поломать апи. но потом сложнее вычислить что именно поломало апи.

но я не бог тестов

просто на практике так привык, и мне это кажется удобным

Ага

А гошечка у вас работает?

А гошечка у вас работает?

Нет

есть у нас тут кто с ораклом работал на го?

не могу понять как для oci8 правильный url к базе составить

mattn/go-oci8

добрый день! подскажите как перекрасить картинку png с зеленого в красный !пописиксельно 255 значений!

Всем привет! Я правильно понимаю, что использовать поинтер на мап это бред, т.к он у нас ссылочный? или это где то применимо?

слайсы, мапы и каналы ссылочные типы

т.е., не нужно делать *map

ок, спасибо)

можете вот это почитать ещё, для справки: https://dave.cheney.net/2017/04/29/there-is-no-pass-by-reference-in-go

а возможно вообще в GoLang объявлять глобальные переменные и вызывать что-то глобально ?

ну к бд подключиться, допустим

ERROR: S client not available

Можно, но не нужно

а как в идеале делать надо ? я второй день в Go

глобальные - возможно, но доступ через название пакета

доступ к переменным пакета main из других пакетов нет

то есть вынести подключение к бд в отдельный package ?

да, типо того

окс, спасибо

но лучше все же явно передавать хендлер базы куда надо. проще понимать ваш код будет

can't load package: package .: found packages database (database.go) and main (main.go) in /Users/A2/go_test чо так жестка ):

can't load package: package .: found packages database (database.go) and main (main.go) in /Users/A2/go_test чо так жестка ):

нужно всё класть в $GOPATH/src

локальные пути использовать можно, но не нужно, т.к. ничего не будет работать

can't load package: package .: found packages database (database.go) and main (main.go) in /Users/A2/go_test чо так жестка ):

в одной папке только один пакет может быть

can't load package: package .: found packages database (database.go) and main (main.go) in /Users/A2/go_test чо так жестка ):

одна директория - один пакет

лол а чо так жестко ну ладно а main должен быть в директории отдельной тоже ?

заработало, ура

неа

не заработало

лол а чо так жестко ну ладно а main должен быть в директории отдельной тоже ?

main обычно в верхней директории (если у тебя один бинарник на выходе)

а экспортить как-то надо как в ноде ?

а экспортить как-то надо как в ноде ?

что именно экспортить?

в main ну или в других пакетах

вообще непривычно после ноды

с большой буквы — func Database()

ты лучший

но вообще я не уверен, что Database хорошее название для функции, оно не оторажает никакого действия

ты лучший

Почитай уже туториалы наконец

Узнаешь прям ещё больше

но вообще я не уверен, что Database хорошее название для функции, оно не оторажает никакого действия

Так и функция ничего не делает, только открывает и закрывает соединение )

Так и функция ничего не делает, только открывает и закрывает соединение )

так может дизайн неправильный?

Почитай уже туториалы наконец

блин, а можешь посоветовать что-то годное из туториалов ? как раз по организации я и не нашел

блин, а можешь посоветовать что-то годное из туториалов ? как раз по организации я и не нашел

готур прошёл?