А в Го это часть языка, удобно скрещённая с многопоточностью.

В Пайтоне это тоже часть языка

И тут Го типа весь уже асинхронный. За что его и любят.

Гоу асинхронный? Я думал, что у него синхронная модель поведения.

Гоу асинхронный? Я думал, что у него синхронная модель поведения.

У него синхронное видимое поведение, но ассинхронная реализация: "зелёные потоки" не строго говоря.

В кишках - синхронная (конкуррентная). А вот код - асинхронный. С точки зрения программиста ты можешь отправить программу грузить файл, а пока он это делает - заняться другими делами

В кишках - синхронная (конкуррентная). А вот код - асинхронный. С точки зрения программиста ты можешь отправить программу грузить файл, а пока он это делает - заняться другими делами

Все сетевое вхаимодействие в Го реализовано через спрятанный от программиста event-loop

/voteban

только важно помнить, это не система реального времени. Статику через Go лучше не отдавать - nginx отдаст её при любом запросе, Go может например сборщик включить или ещё что там у себя делать

например не открыть сокет во время работы сборщика

/voteban

Я посмотреть порно не успел. 😔

/voteban

Инновационными в Го являются две вещи: резиновый стэк для компилируемого языка, и прозрачный фолбэк на трэды для блокирующих сисколов (именно фолбэк для долгих сисколов, а не реализация через тредпул всех блокирующих сисколов). Эти две вещи не были применены в массовых продуктах до Go. Больше особой навизны нет. Ну да, еще каналы :-)

Я посмотреть порно не успел. 😔

могу скинуть ссылку, я успел закопить))

только важно помнить, это не система реального времени. Статику через Go лучше не отдавать - nginx отдаст её при любом запросе, Go может например сборщик включить или ещё что там у себя делать

Нууу. Паузы на сборщики обычно меньше таймаутов и сильно меньше задержек по сети. Так что ничего криминального в раздаче статики на go нет.

могу скинуть ссылку, я успел закопить))

Я могу на другое ссылки вбросить 👀

только важно помнить, это не система реального времени. Статику через Go лучше не отдавать - nginx отдаст её при любом запросе, Go может например сборщик включить или ещё что там у себя делать

video.mail.ru - раздатчик видео файлов целиком на Go.

Нууу. Паузы на сборщики обычно меньше таймаутов и сильно меньше задержек по сети. Так что ничего криминального в раздаче статики на go нет.

Ну вот, только несколько месяцев назад мусолили и уже твердо договорились что это плохо и вот опять

video.mail.ru - раздатчик видео файлов целиком на Go.

Он же кэширует, он же нарезает mpeg4 для flash и mpeg-dash.

Я могу на другое ссылки вбросить 👀

У меня есть ваша ссылка с хентаем. )

Ну вот, только несколько месяцев назад мусолили и уже твердо договорились что это плохо и вот опять

Для чего? Если у вас сайтик кошечек раздает для 2 людей, то ничего плохого. Но ваши доводы понимаю.

Ну вот, только несколько месяцев назад мусолили и уже твердо договорились что это плохо и вот опять

Как то вы не правильно мусолили. На практике получается, а в разговорах у вас - нет.

У меня есть ваша ссылка с хентаем. )

video.mail.ru - раздатчик видео файлов целиком на Go.

Только они скорей всего переписали половину net либы что бы это работало как надо

Есть желающие?)

Только они скорей всего переписали половину net либы что бы это работало как надо

Нет. Его писал преимущественно я, и я не патчил стандартную библиотеку. В паре мест пришлось применить нестандартные workaround, но все снаружи. Даже hijack не пришлось делать на коннекте.

к слову mpeg-dash есть ли что-то готовое для нарезки под го, или только биндинги сишных либ?

к слову mpeg-dash есть ли что-то готовое для нарезки под го, или только биндинги сишных либ?

Я в итоге, писал сам. И оно получилось урезанное по возможностям.

Нет. Его писал преимущественно я, и я не патчил стандартную библиотеку. В паре мест пришлось применить нестандартные workaround, но все снаружи. Даже hijack не пришлось делать на коннекте.

Ого. Интересно послушать. А проводились замеры, реально получился выйгрыш в раздаче статики по сравнение с Nginx или тут вопрос скорей удобства написания сервиса, что всё в одном месте?

Я в итоге, писал сам. И оно получилось урезанное по возможностям.

я так понимаю го нормально с этим справляется и оно того стоит?

Ого. Интересно послушать. А проводились замеры, реально получился выйгрыш в раздаче статики по сравнение с Nginx или тут вопрос скорей удобства написания сервиса, что всё в одном месте?

Там вопрос скорее в том, что там помимо статики еще куча наворотов необходимых

Ого. Интересно послушать. А проводились замеры, реально получился выйгрыш в раздаче статики по сравнение с Nginx или тут вопрос скорей удобства написания сервиса, что всё в одном месте?

Да, вопрос был в гибкости: - во-первых, на момент переписывания nginx все еще читал с диска в главном потоке воркера, и это было серьезной проблемой, т.к. все воркеры в итоге упирались в диск с популярным файлом, а остальные диски курили. Go же просто создает новый тред под капотом. Вы когда-нибудь видели LA 15000? Я видел. Сейчас у nginx появились тред-пулы, их можно настраивать на каждый диск. - во-вторых, nginx хреново кэшировал большие файлы. До Гошки приходилось кэшировать с помощью nodejs, стоящей позади nginx. Сейчас в nginx появилась кэширование по чанкам. Мы его изначально сделали. (на nodejs - в 2012году). - в третьих, у nginx не дружило кэширование и нарезка flash mpeg4. Мы сделали нарезку на лету, пока файлвыкачивался еще со стораджа. Не знаю, как сейчас с этим у nginx. - Ну и, точно так же на лету нарезается mpeg-dash, и сохраняется на диск.

Нет. Его писал преимущественно я, и я не патчил стандартную библиотеку. В паре мест пришлось применить нестандартные workaround, но все снаружи. Даже hijack не пришлось делать на коннекте.

Круто, раз ты участвовал в разработке такого сервиса. А можешь рассказать, как он устроен? Как устроено хранение файлов, перекодирование, их раздача клиентам?

я так понимаю го нормально с этим справляется и оно того стоит?

нарезнные куски агрессивно кэшируются на диск, и нарезаются один раз для любогоколичества клиентов.

btw, @mcsseifer - Тимур Нурутдинов - тоже принимал активное участие.

Круто, раз ты участвовал в разработке такого сервиса. А можешь рассказать, как он устроен? Как устроено хранение файлов, перекодирование, их раздача клиентам?

я в основном раздатчиком занимался. Из того, что знаю: перекодирование - ffmpeg, очереди заданий - свои на перле, стороджа - самописные, но частично мигрируют на Ceph с erasure coding (производительности хватает из-за жирных кэширующих раздатчиков, а не-убиваемость у Ceph отличная).

Спасибо за ответ!

А 'мой круг' мэйлру принадлежит? А то у них сайт лёг.

А 'мой круг' мэйлру принадлежит? А то у них сайт лёг.

да

А в Го это часть языка, удобно скрещённая с многопоточностью.

в Го всё синхронно кроме select-а

А 'мой круг' мэйлру принадлежит? А то у них сайт лёг.

моймир мейлу, а мойкруг тематических медиа

в Го всё синхронно кроме select-а

это с нашей стороны. а внутри там event loop вокруг сетевого IO

это с нашей стороны. а внутри там event loop вокруг сетевого IO

А файловый IO значит синхронный?

там, где можно, он асинхронный

Или какая-то эмуляция асинхронности через нативные треды?

коллега, о чем вы спрашиваете?

со стороны программера там всегда синхронно, кроме селекта с дефолтом

а вот со стороны рантайма возможны варианты

в том же линуксе файловое IO не до конца асинхронное. go тут ничего сделать не может

еще там, конечно, есть динамическое увеличение тред-пула в случае, если все имеющиеся треды оказались заблокированы на синхронных операциях в ядре

а вот со стороны рантайма возможны варианты

Так вот я и спрашиваю, мало ли, может го через нативные треды эмулирует асинхронность.

кому оно эмулирует асинхронность и зачем?

Вот представьте, что вам надо написать раздатчик файлов. Допустим у вас сотни коннектов, которым надо выкачать по гигу с вашего диска. Разве вы будете заниматься чтением с диска в тех же тредах, где вы обрабатываете коннекты?

почему нет?

Господа, подскажите пожалуйста, есть ли как-то либы для авто-генерации какой-нибудь +- веб морды для апи, чтобы не лазить постоянно во всякие курлы, постмены?

а?!

Так вот я и спрашиваю, мало ли, может го через нативные треды эмулирует асинхронность.

Весь сетевой ввод-вывод асинхронный. Не блокирующие сисколы тредов не порождают, а выполняются в потоке шедулера горутин. Блокирующий сискол, если отработал быстро, тоже не порождает тред. Если же заблокировался на долго, то рантайм создает новый тред и уносит на него шедулер: заблокированная горутина остаётся на этом треде, другие горутины выполняются на новом.

Господа, подскажите пожалуйста, есть ли как-то либы для авто-генерации какой-нибудь +- веб морды для апи, чтобы не лазить постоянно во всякие курлы, постмены?

Swagger?

Господа, подскажите пожалуйста, есть ли как-то либы для авто-генерации какой-нибудь +- веб морды для апи, чтобы не лазить постоянно во всякие курлы, постмены?

https://swagger.io/

Swagger?

она же вроде только документацию собирает? а я бы хотел именно функционал, или я ошибаюсь?

если сделать все прямо, то твой бинарник, который провайдит rest api - по хттп сможет отдавать тот rest который поддерживает

это не совсем так

она же вроде только документацию собирает? а я бы хотел именно функционал, или я ошибаюсь?

Вызывать методы в нем можно

Весь сетевой ввод-вывод асинхронный. Не блокирующие сисколы тредов не порождают, а выполняются в потоке шедулера горутин. Блокирующий сискол, если отработал быстро, тоже не порождает тред. Если же заблокировался на долго, то рантайм создает новый тред и уносит на него шедулер: заблокированная горутина остаётся на этом треде, другие горутины выполняются на новом.

Спасибо за ответ.

Вызывать методы в нем можно

но ответ будет - not implemented yet :)

Вызывать методы в нем можно

понял, спасибо

сваггеру надо переопределить обработчики, и тогда будет примерно то, что запросил топикстартер

при помощи swagger.io можно захостить прототип своего rest'a и на нем дергать примеры, или сделать fake-api, что бы тестировать клиента

Про го не могу сказать, но на дотнет проекте сваггер дёргал вполне реальные методы

коллега

спасибо всем, пойду в доке пороюсь, может чего получится

если вы написали реальные методы - сваггер будет их дергать, только надо объяснить ему, какие куда

а если не написали - дефолтный обработчик возвращает "not implemented"

если вы написали реальные методы - сваггер будет их дергать, только надо объяснить ему, какие куда

а как можно найти рабочий варинт реализации? как правильно загуглить

сегодня день вопросов, которые я не понимаю :(

у вас есть описание вашего api в формате swagger

вы генерите из него серверный код (с помощью go-swagger)

получается нечто, что можно собрать и запустить, и даже все endpoints будут обрабатываться

но

что делать-то по запросу на каждый endpoint вам еще предстоит написать, правда?

У вопрошающего апи написан уже, как я понял