в какой момент шедулер переключает контекст между горутинами?

в какой момент шедулер переключает контекст между горутинами?

тредовый?

в ос все строится вокруг системных тредов

Можно сделать какую-нибудь вм, которая будет в одном треде крутиться, а держать кучу гринтредов переключая их между собой.

в какой момент шедулер переключает контекст между горутинами?

блокировка рутины

можно

ну как я понимаю каждый тред ос обслуживает набор рутин

Можно сделать какую-нибудь вм, которая будет в одном треде крутиться, а держать кучу гринтредов переключая их между собой.

можно, но это будет работать в системном треде

блокировка рутины

например в ожидании сообщения из канала?

блокировка рутины

И Goshed()

Artem ?️‍? USSR Gay Power 666 гошный шедулер работает над ос шедулером, если ты про это

можно, но это будет работать в системном треде

Ох. Можно запилить ОС, где не будет самой концепции тредов, а будет та самая вм с гринтредами.

У меня есть func noname(data string) stirng мне нужно запутстить ее как go noname(data) как правильно получать строку которую она отдаст?

Ох. Можно запилить ОС, где не будет самой концепции тредов, а будет та самая вм с гринтредами.

зачем?

Ох. Можно запилить ОС, где не будет самой концепции тредов, а будет та самая вм с гринтредами.

bull shit

чтобы были гринтреды без системных тредов

процессор то обрабатывает потоки инструкции

чтобы были гринтреды без системных тредов

зачем?

Ох. Можно запилить ОС, где не будет самой концепции тредов, а будет та самая вм с гринтредами.

Гринтреды подразумевают собой работу в userspace, а ОС в kernelspace, потому они и грин, что не требуют переключения

У меня есть func noname(data string) stirng мне нужно запутстить ее как go noname(data) как правильно получать строку которую она отдаст?

никак. надо использовать каналы для горутин

Гринтреды подразумевают собой работу в userspace, а ОС в kernelspace, потому они и грин, что не требуют переключения

требуют, но минимальные

процессор то обрабатывает потоки инструкции

процессор про треды ничего не знает, это абстракция чисто на уровне ОС

Добрый день, вопрос по gorm. Есть две структуры и я упорно не понимаю почему не получается назначит внешние ключи, можете подсказать что я делаю не так type Answer struct { ID uint gorm:"primary_key",json:"id" User User gorm:"unique;foreignkey:UserID" UserID int Objects []Object gorm:"foreignkey:QuestionID" ObjectID int Questions []Question gorm:"foreignkey:QuestionID" QuestionID int } type Question struct { ID int gorm:"primary_key",json:"id" FirstObject Object gorm:"foreignkey:FirstObjectID" FirstObjectID int SecondObject Object gorm:"foreignkey:SecondObjectID" SecondObjectID int }

процессор про треды ничего не знает, это абстракция чисто на уровне ОС

Алееее, потоки инструкции

Алееее, потоки инструкции

Что такое поток инструкций?

Можно сделать какую-нибудь вм, которая будет в одном треде крутиться, а держать кучу гринтредов переключая их между собой.

так работают грин треды в пайтоне. Есть либа для них, название не вспомню сейчас

никак. надо использовать каналы для горутин

Аааа мне это в анонимку нужно завернуть, точно)

так работают грин треды в пайтоне. Есть либа для них, название не вспомню сейчас

в пайтоне нет гринтредов же

Спасибо!

в пайтоне нет гринтредов же

Либа есть

Либа есть

а, ну может быть, но это какая-то экспериментальная вещь походу

greenlets в питоне были

во второй версии

а, ну может быть, но это какая-то экспериментальная вещь походу

gevent десяток лет уже, никакая не экспериментальная, но в коре не попали и никогда не попадут

gevent десяток лет уже, никакая не экспериментальная, но в коре не попали и никогда не попадут

это не гринтреды

Да, greenlet/gevent/evenlet

это же вроде асинхронщина на корутинах, а не гринтреды (ну по крайней мере всякие gevent)

в джяве есть гринтреды.

самая лучшая джява, 1.1 всем рекомендую. вообще ничего лишнего

Что такое поток инструкций?

Все очень печально

это не гринтреды

смысл говорить, если ты не знаешь точно? gevent это надстройка для питона над greenlet, реализация гринтредов

Все очень печально

Процессор ни про какие потоки не знает вообще, у него есть регистр IP и прерывания. А то что после прерывания IP меняется на другой - это целиком заслуга ОС.

смысл говорить, если ты не знаешь точно? gevent это надстройка для питона над greenlet, реализация гринтредов

Хм, тогда зачем async/await в питон впихнули, непонятно.

Хм, тогда зачем async/await в питон впихнули, непонятно.

gevent состоит из хаков чуть более чем полностью, его даже на 3й питон не смогли портировать

gevent состоит из хаков чуть более чем полностью, его даже на 3й питон не смогли портировать

То есть толку от этих костыльных гринтредов увы не очень много.

gevent состоит из хаков чуть более чем полностью, его даже на 3й питон не смогли портировать

Supported Platforms gevent 1.3 runs on Python 2.7 and Python 3. Releases 3.4, 3.5 and 3.6 of Python 3 are supported.

Давно еще портатировали

То есть толку от этих костыльных гринтредов увы не очень много.

нет, толк есть и очень большой, gevent многие использовали

Supported Platforms gevent 1.3 runs on Python 2.7 and Python 3. Releases 3.4, 3.5 and 3.6 of Python 3 are supported.

а, ну я немного выпал из контекста за последние пару лет, но не могли его портировать очень долго

Хм, тогда зачем async/await в питон впихнули, непонятно.

В многопоточной модели выполнения куча проблем с примитивами синхронизации, очень легко попасть в race/deadlock, в питоне очень сложно выявлять подобное, gevent патчил сетевое io (socket.socket) и предлагал писать библиотеки с его поддержкой в Си-экстеншнах. Асинхронщина более управляема и до следующего await переключения не происходит.

Подход го даже более элегантен, у нас eventloop спрятан внутри и диспатчится самостоятельно без необходимости выкидывать асинхронщину в клиентский код, хороший тому пример - netpooler.

В многопоточной модели выполнения куча проблем с примитивами синхронизации, очень легко попасть в race/deadlock, в питоне очень сложно выявлять подобное, gevent патчил сетевое io (socket.socket) и предлагал писать библиотеки с его поддержкой в Си-экстеншнах. Асинхронщина более управляема и до следующего await переключения не происходит.

Но в питоне таки есть треды, помимо асинхронщины в отличии от той же ноды. Я вот про асинхронщину в питоне мало что знаю, но потоки явно там как-то прикручены.

Но в питоне таки есть треды, помимо асинхронщины в отличии от той же ноды. Я вот про асинхронщину в питоне мало что знаю, но потоки явно там как-то прикручены.

Можешь в чат по питону зайти, пообщаемся, здесь это оффтопик. Треды в питоне есть, но там есть особенность - GIL. И это совсем не про асинхронщину

Короче в питоне в этом отношении всё несколько костыльно сделано

Можешь в чат по питону зайти, пообщаемся, здесь это оффтопик. Треды в питоне есть, но там есть особенность - GIL. И это совсем не про асинхронщину

Но GIL я как-то не особо рассматриваю, так как полагаю, что никто не будет писать прям долгоиграющий питоновский код без вызова сишных либ

Короче в питоне в этом отношении всё несколько костыльно сделано

ну асинхронщина в питонячей стандартной либе реализована наиболее отвратным способом, как по мне, от самого отдельного синтаксиса для объявления функций, которые работают асинхронно, у меня бомбит

Хм, тогда зачем async/await в питон впихнули, непонятно.

Потому что кому-то не нравится неявная асинхронность

gevent состоит из хаков чуть более чем полностью, его даже на 3й питон не смогли портировать

Вы не в теме.

Вы не в теме.

то есть то, как они обращаются со стеком при переключении контекста, это best practice?

а, ну я немного выпал из контекста за последние пару лет, но не могли его портировать очень долго

4 года назад он уже нормально работал на 3

Потому что кому-то не нравится неявная асинхронность

А мне вот как раз нравится. А если я таки хочу явную асинхронность, то пойду в ноду, где нет потоков и связанных с ними проблем, где единый event loop, где все либы изначально асинхронны.

то есть то, как они обращаются со стеком при переключении контекста, это best practice?

Да, везде так. И если что, есть pypy

На сколько я в теме от GIL в питоне избавиться уже не получиться, без потери совместимости со всеми сишными модулями

Да, везде так. И если что, есть pypy

pypy, которого в проде практически не бывает, т.к. всем нужны либы с зависимостями на сях

Плюс легаси счётчик ссылок

На сколько я в теме от GIL в питоне избавиться уже не получиться, без потери совместимости со всеми сишными модулями

ну они пытаются, пару лет назад даже был доклад на Pycon, GILоктомия

ERROR: S client not available

Опять же, если активно юзать сишные либы для тяжёлых и долгих операций, то GIL не должен особо мешать

ну они пытаются, пару лет назад даже был доклад на Pycon, GILоктомия

Кстати в OCaml по-моему даже больше шансов избавиться от GIL

Подход го даже более элегантен, у нас eventloop спрятан внутри и диспатчится самостоятельно без необходимости выкидывать асинхронщину в клиентский код, хороший тому пример - netpooler.

И ровно поэтому https://github.com/hanwen/go-fuse/issues/164

Опять же, если активно юзать сишные либы для тяжёлых и долгих операций, то GIL не должен особо мешать

Ну в принципе если раскидать всё по процессом, то да. Если нужна общая память, то тяжелее, на сколько я понимаю

pypy, которого в проде практически не бывает, т.к. всем нужны либы с зависимостями на сях

Расскажите это мне. Я стримил видео в интернеты на gevent + pypy

Ну в принципе если раскидать всё по процессом, то да. Если нужна общая память, то тяжелее, на сколько я понимаю

Не, я вообще про то, что вроде при вызове сишного кода GIL снимается

Не, я вообще про то, что вроде при вызове сишного кода GIL снимается

Да, можно снять мьютекс

Вообще для задач с AI, для которых сейчас популярен python я бы взял Julia

Вообще для задач с AI, для которых сейчас популярен python я бы взял Julia

А библиотеки где брать?

А библиотеки где брать?

Они есть, а если нет, то есть @pycall + легко вызывать сишные либы

Не, я вообще про то, что вроде при вызове сишного кода GIL снимается

Да, но серверным процессам gil не помеха. Собственно, автор fasthttp предлагает схожую схему для go: выставить GOMAXPROCS=1 и запустить процессов по числу ядер

он, вроде, уже давно не предлагает

Они есть, а если нет, то есть @pycall + легко вызывать сишные либы

Я про стандарт вроде pandas/tensorflow

Они есть, а если нет, то есть @pycall + легко вызывать сишные либы

так говорят в любом языке)) только вот почему-то используют не чаще чем переходят на тот язык, который для задания ближе)

Расскажите это мне. Я стримил видео в интернеты на gevent + pypy

значит вы из того мифического 1% питоноводов, кто использовал pypy в проде

это, вроде, от старых времен охвостье

значит вы из того мифического 1% питоноводов, кто использовал pypy в проде

?

это, вроде, от старых времен охвостье

Это и сейчас актуально

onepercenter, да

Да, но серверным процессам gil не помеха. Собственно, автор fasthttp предлагает схожую схему для go: выставить GOMAXPROCS=1 и запустить процессов по числу ядер

А в чём профит?

значит вы из того мифического 1% питоноводов, кто использовал pypy в проде

Большинству не нужны эти загоны про производительность, например.

А в чём профит?

Меньше lock contention на объектах ядра

Меньше lock contention на объектах ядра

А как быть с разделяемой памятью?

И на сколько я понял, будет тяжелее загрузить ядра процессора равномерно, хотя могу ошибаться

Как по мне, довольно круто утилизируется многоядерность в Erlang-e.

А как быть с разделяемой памятью?

Для чего она нужна?

Кстати, в Эрланге как акторы реализованы? Тоже поверх тредов ОС как горутины?

Кстати, в Эрланге как акторы реализованы? Тоже поверх тредов ОС как горутины?

Да

Для чего она нужна?

а зачем заморачиватся с тредами,если вам не нужна общая память? нафоркали процессов и все хорошо на любом языке программирования

Ладно, спрошу не про дженерики: что вы делаете, если ваш код медленный, а возможности по оптимизации уже исчерпаны?

1. zero memory allocation между запросами 2. перевести с мапов на массивы 3. найти copy() и аллокации, убрать 4. поиграться с типами. зачастую Int быстрее чем int32/bool 5. зверская магия, когда есть map, допустим из 50 элементов, делается make(map, 50), и копируется - чтение из нового будет быстрее, до 20-50% иногда. 6. алгоритмы! O(n) и все такое. 7. вместо стандартной библиотеки юзать свои функции (например которые вместо {}interface будут юзать int) 8. string поменять на слайс byte, когда есть промежуточные переводы туда сюда. Но это ерунда на самом деле. 9. если функции чистые и руки прямые, то можно в ассемблер залезть и там поковырять.

Ксати, в Erlang тоже неразделяемая память + на каждый легковесный процесс свой GC

1. zero memory allocation между запросами 2. перевести с мапов на массивы 3. найти copy() и аллокации, убрать 4. поиграться с типами. зачастую Int быстрее чем int32/bool 5. зверская магия, когда есть map, допустим из 50 элементов, делается make(map, 50), и копируется - чтение из нового будет быстрее, до 20-50% иногда. 6. алгоритмы! O(n) и все такое. 7. вместо стандартной библиотеки юзать свои функции (например которые вместо {}interface будут юзать int) 8. string поменять на слайс byte, когда есть промежуточные переводы туда сюда. Но это ерунда на самом деле. 9. если функции чистые и руки прямые, то можно в ассемблер залезть и там поковырять.

это в ответ на вопрос, что делать, когда возможные оптимизации выполнены, перечислили возможные оптимизации? (int vs int32, без пруфов я бы не принял)