Можно шардить мапы, в каждой мапе есть RWMutex, сами сущности кеша через бинарный семафор и закрытый канал работают. Если канал закрыт, чтение мгновенное, отдаем значение. Если канал открыт, тогда за значением уже кто-то пришел, стоит очередь, и когда значение получено, канал закрывается и все получают свои значения. Т.о. чтение значения entity сопровождается чтением из канала в пустоту. Сами мапы можно и без RWMutex сделать на каналах. Но каналы по 100 нс выжирают. Это как раз ваш кейс, когда за одним значением пришло несколько горутин, все получат один и тот же ответ, полученный единоразово из базы или откуда-то.

Можно шардить мапы, в каждой мапе есть RWMutex, сами сущности кеша через бинарный семафор и закрытый канал работают. Если канал закрыт, чтение мгновенное, отдаем значение. Если канал открыт, тогда за значением уже кто-то пришел, стоит очередь, и когда значение получено, канал закрывается и все получают свои значения. Т.о. чтение значения entity сопровождается чтением из канала в пустоту. Сами мапы можно и без RWMutex сделать на каналах. Но каналы по 100 нс выжирают. Это как раз ваш кейс, когда за одним значением пришло несколько горутин, все получат один и тот же ответ, полученный единоразово из базы или откуда-то.

Ваше решение медленнее

В проде сейчас в среднем 800 запросов в секунду, но там пхп и тоже все оптимизированно, что даже на 10% проц не грузит.

Я когда впервые гошку пробовал, было откровение после пыха 5.6 , что время ответов с другой буквы м указываются.

вы на глаз определили? или как? конечно держать извечно прогретый кеш и подменять указатель будет быстрее, но по памяти - вряд ли.

к слову, в вашем кейсе вместо того чтобы копить очередь на открытом канале, можно отдавать oldValue, который создан перед тем как пойти за значением

вы на глаз определили? или как? конечно держать извечно прогретый кеш и подменять указатель будет быстрее, но по памяти - вряд ли.

С лочками и каналами медленнее, чем без лочек и каналов, вы не согласны?

к слову, в вашем кейсе вместо того чтобы копить очередь на открытом канале, можно отдавать oldValue, который создан перед тем как пойти за значением

Вы не внимательно читали.

коллеги, что тут у вас за содомия?

С лочками и каналами медленнее, чем без лочек и каналов, вы не согласны?

Так у вас все равно каналы есть. И лочки.

Вы не внимательно читали.

это я к своему посту добавил

коллеги, что тут у вас за содомия?

С кэшами, мютексами и каналами.

Так у вас все равно каналы есть. И лочки.

Есть один канал, как минимум. Лочек "своих" нет. Вы к чему это сейчас?

Есть один канал, как минимум. Лочек "своих" нет. Вы к чему это сейчас?

На каждое обращение к каналу используется мютекс.

коллеги, что тут у вас за содомия?

Может вы подскажете. Вопрос: может ли возникнуть ситуация, когда в состоянии гонки "побьется" указатель?

На каждое обращение к каналу используется мютекс.

Ок, к чему вы клоните?

Может вы подскажете. Вопрос: может ли возникнуть ситуация, когда в состоянии гонки "побьется" указатель?

теоретически - да

практически - не надо это выяснять. хотите атомарно подменять указатель - используйте atomic

теоретически - да

я слышал, что ось защищает от такого. но моих знаний не хватает, чтобы нагуглить как это внутри устроено.

практически - не надо это выяснять. хотите атомарно подменять указатель - используйте atomic

вы правы

Он не хочет атомарно)

подменить поинтер это вообще атомарная операция, каков смысл на ней экономить?

подменить поинтер это вообще атомарная операция, каков смысл на ней экономить?

здесь вопрос не в этом, а в принципе разобраться как устроена работа с памятью

здесь вопрос не в этом, а в принципе разобраться как устроена работа с памятью

вам нужно юзать атомис свап

вам нужно юзать атомис свап

спасибо

я бы мог дать вам ссылку, но вы сильно язвите, поэтому не буду

я бы мог дать вам ссылку, но вы сильно язвите, поэтому не буду

двойное спасибо. извините, никак не могу побороть в себе эту черту.

я слышал, что ось защищает от такого. но моих знаний не хватает, чтобы нагуглить как это внутри устроено.

Может возникнуть следующее: 1. Разные треды получат разные указатели. 2. Будет битый указатель вникуда. Что будет - вопрос хороший, зависит от архитектуры и везения.

Может возникнуть следующее: 1. Разные треды получат разные указатели. 2. Будет битый указатель вникуда. Что будет - вопрос хороший, зависит от архитектуры и везения.

1 - такая ситуация устраивает. 2 - вот этого хотелось бы избежать.

1 - такая ситуация устраивает. 2 - вот этого хотелось бы избежать.

Это сильно зависит от архитектуры и вообще реализации даже

То есть на x86 на разных ЦПУ может вести себя по разному

И кстати очень интересный вопрос не подберёт ли Гц структуру в первом случае прямо в процессе работы

практически - не надо это выяснять. хотите атомарно подменять указатель - используйте atomic

Про атомик я уже писал, не хочет. )

И кстати очень интересный вопрос не подберёт ли Гц структуру в первом случае прямо в процессе работы

Не должен. Указатель на структуру в горутинах, которые успели получить его, должен замкнуться.

Про атомик я уже писал, не хочет. )

Все ок, буду использовать атомик)

Не должен. Указатель на структуру в горутинах, которые успели получить его, должен замкнуться.

Кажется что может

Когда Гц прошел и получил видение как тред1

А тред2 из кэша цпу получил старый указатель после уже mark фазы гц

А тред2 из кэша цпу получил старый указатель после уже mark фазы гц

Да и после этого он пойдет проверять ссылки в живых горутинах, найдет её там и не убьет данные. Правильно думаю?

@VesninAndrey одна из проблем атомарности операций что неатомарный store не гарантирует инвалидацию кэша соседних ядер или цпу

Поэтому теоретически может быть ситуация когда в кэше старый указатель

И его получит тред после того как гц прибрал к рукам данные или закончил фазу mark

а, я понял

Хотя я не очень уверен

Т.е. не было живых горутин, гц пометил указатель, и тут новая горутина получает этот указатель из кеша и кровь кишки паника

прикольно

Т.е. не было живых горутин, гц пометил указатель, и тут новая горутина получает этот указатель из кеша и кровь кишки паника

Теоретически такое возможно

Огромное спасибо за дискуссию! Очень познавательно

А может кто-нибудь объяснить мне, тупому, зачем нужно измерять рэйсы (go run —race main.go) и почему плохо, когда находятся эти самые рэйсы?

А может кто-нибудь объяснить мне, тупому, зачем нужно измерять рэйсы (go run —race main.go) и почему плохо, когда находятся эти самые рэйсы?

Я тут как раз видео смотрю https://www.youtube.com/watch?v=5erqWdlhQLA

Первые 5 минут - ответ на ваш вопрос

А может кто-нибудь объяснить мне, тупому, зачем нужно измерять рэйсы (go run —race main.go) и почему плохо, когда находятся эти самые рэйсы?

А выше как раз дискуссия была об одном специфичном рейсе

Рейсы плохи тем что у тебя после них неопределенное состояние структур данных которые читались или писались одновременно

https://github.com/martingallagher/runes/blob/master/tables.go#L34 коллеги, а вот это на стадии компиляции высчитывается?

нет

init запускается при старте програмы

вот и я думаю - странная оптимизация

вот и я думаю - странная оптимизация

Ну на стадии выполнения то будет все

Ну на стадии выполнения то будет все

в рантайме перебрать 150 т смиволов - так себе

даже больше. валидных 150т

в рантайме перебрать 150 т смиволов - так себе

Так разово при старте

Зато потом будут флаги по которым в теории быстрее выборка

Но не факт

Нормальный звук! http://golangshow.com/episode/2018/02-27-119b/

Зато потом будут флаги по которым в теории быстрее выборка

но можно было сгенерить сразу таблицы, как это сделано в родном unicode (на который ссылается данный пакет)

ERROR: S client not available

но можно было сгенерить сразу таблицы, как это сделано в родном unicode (на который ссылается данный пакет)

Ну да, но так они не зависят от рантайма

Нормальный звук! http://golangshow.com/episode/2018/02-27-119b/

Ура! Спасибо!

Ну да, но так они не зависят от рантайма

а зачем им зависеть, если таблицы по которым работают функции пакета unicode, все равно сгенерены заранее?

а зачем им зависеть, если таблицы по которым работают функции пакета unicode, все равно сгенерены заранее?

Так вдруг в го поменяют

ну да, но сомнительно. лучше скрипт для апдейта прикладывать

ну да, но сомнительно. лучше скрипт для апдейта прикладывать

Да пофиг

Чем лучше?

не нагружаешь рантайм ненужными вычислениями

перегенерить надо раз в год

не нагружаешь рантайм ненужными вычислениями

Так тока на запуске

Что не так страшно

Всем ку. Подскажите какое нибудь хорошее руководство по созданию менеджера сессий? а то я читаю одно, но не все понятно, откуда что берется...

Всем ку. Подскажите какое нибудь хорошее руководство по созданию менеджера сессий? а то я читаю одно, но не все понятно, откуда что берется...

Чуть подробнее задачу опиши

Чьи сессии хотя бы

для веб приложения, что бы подойти к организации авторизации, я так понимаю, нужно понять как работает сессия и сделать менеджер сесии

всем привет, только вкатываюсь в го, возник вопрос если json api post ожидает какое то поле int, а поле не приходит go парсит это поле как 0. Можно как то узнать это в поле пришел ноль, или поле вообще не пришло? не смог нагуглить(

всем привет, только вкатываюсь в го, возник вопрос если json api post ожидает какое то поле int, а поле не приходит go парсит это поле как 0. Можно как то узнать это в поле пришел ноль, или поле вообще не пришло? не смог нагуглить(

Используй указатель на int*

для веб приложения, что бы подойти к организации авторизации, я так понимаю, нужно понять как работает сессия и сделать менеджер сесии

Есть вариант 1- у тебя фронт работает с http2и там есть прям сессии

Вариант 2 - сессия равна куке, и ты хранишь ее в какомнить горячем хранилище, с экспайром

Прошу подсказать, как можно протестировать main(), чтобы на вход передать строку со значениями (или stream) //main_test.go func TestMain(t *testing.T) { os.Stdin.Write([]byte("333\n")) main() } //main.go func main() { var N int fmt.Scan(&N) fmt.Println("read: ", N) }

Используй указатель на int*

спасибо, теперь норм

Есть вариант 1- у тебя фронт работает с http2и там есть прям сессии

ну я все генерирую на сервере и на фронте у меня только 1 базовый шаблон) по этому я так понимаю меня интересует вариант 2.

ну я все генерирую на сервере и на фронте у меня только 1 базовый шаблон) по этому я так понимаю меня интересует вариант 2.

Да) любое nosql , которое тебе больше любо бери в руки, и вперёд)

Да) любое nosql , которое тебе больше любо бери в руки, и вперёд)

nosql это любая такая база для хранения сессий? я просто совсем слабый пока, мало что понимаю)

nosql это любая такая база для хранения сессий? я просто совсем слабый пока, мало что понимаю)

Это семейство хранилищ. Лучше сходи погугли

Если после останутся вопросы - заходи еще?

Это семейство хранилищ. Лучше сходи погугли

так а поконкретней что лучше выбрать? по описаниям я все равно не пойму что для меня лучше, а постоянно переучиваться или учить все, у меня времени не хватает. По этому нужно что нить одно)

так а поконкретней что лучше выбрать? по описаниям я все равно не пойму что для меня лучше, а постоянно переучиваться или учить все, у меня времени не хватает. По этому нужно что нить одно)

Какую нагрузку планируешь?

Какую нагрузку планируешь?

личный учебный проект, пару человек зайдет посмотреть, что я с дргом накуралесим)

личный учебный проект, пару человек зайдет посмотреть, что я с дргом накуралесим)

Тогда все равно)))