net/http

а шлют тебе файл в каком формате?

fasthttprouter

СПС, гляну завтра

СПС, гляну завтра

https://github.com/buaazp/fasthttprouter

net/http

я не скажу за вс^W net/http точно, но, по-моему, ты можешь банально делая io.Copy решить задачу.

я не скажу за вс^W net/http точно, но, по-моему, ты можешь банально делая io.Copy решить задачу.

А Шо, сплайс в го не завезли?

А Шо, сплайс в го не завезли?

это вообще при чем?

я не скажу за вс^W net/http точно, но, по-моему, ты можешь банально делая io.Copy решить задачу.

да, уже про это думал. но как я уже ранее сказал, вопрос был именно в готовой реализации )

не, я могу вспомнить одну неадекватную наркоманию

я велосипеды лююлю, но ездить первое время без сиденья не хочется ))

хотя, тут еще могут быть https://github.com/avelino/awesome-go#web-frameworks

посмотри, может, выдерешь откуда-то

ок, спасибо, попробую поискать )

это вообще при чем?

А чтобы не гонять данные через юзерленд.

А чтобы не гонять данные через юзерленд.

чот ты гонишь не понятно что.

чот ты гонишь не понятно что.

Ну льется к тебе гигабайты трафика

ну льется и льется, и чо?

И можно сразу на диск, без пары лишних копирований

а ты смешной.

а ты смешной.

?

Никогда не видел в perf top ядерный memcpy?

Жрущий 67%

видел, конечно. да только, как правило, это говорит о рукожопости самого разработчика.

Ну или считаешь что sendfile не нужен?

в основном ты все равно будешь упираться во все остальное.

нет, я считаю, что ты смешной, а о сендфайле вообще заговорил лично ты.

io.Copy() при правильном использовании будет синонимом "прямо на диск". если ты, конечно, не наговнокодил.

io.Copy() при правильном использовании будет синонимом "прямо на диск". если ты, конечно, не наговнокодил.

С чего бы вдруг?

в основном ты все равно будешь упираться во все остальное.

На 10g?

На 10g?

да. а вот на IB еще шла бы какая-то речь еще о чем-то. но тогда, если есть деньги на IB, то должны быть деньги и на то, чтобы нормальное количество нормальной памяти поставить или рядом еще n серверов.

С чего бы вдруг?

да с того. оно копирует и ридера в райтер, а значит, подсунув правильные ридер и райтер, получается достаточно эффективное копирование из ридера в райтер, а ридер, как правило, прочитанные байты удаляет из своего буфера.

да с того. оно копирует и ридера в райтер, а значит, подсунув правильные ридер и райтер, получается достаточно эффективное копирование из ридера в райтер, а ридер, как правило, прочитанные байты удаляет из своего буфера.

Я про чтение из сокета и запись в файл.

что-что, а сплайс тут бы тебя никак не спас.

Я про чтение из сокета и запись в файл.

ровно так же актуально.

что-что, а сплайс тут бы тебя никак не спас.

Ну можно легко измерить/проверить: скопировать файл на tmpfs в несколько ГБ.

ровно так же актуально.

Какой сисколл будет использоваться при извлечении данных из tcp сокета?

да с того. оно копирует и ридера в райтер, а значит, подсунув правильные ридер и райтер, получается достаточно эффективное копирование из ридера в райтер, а ридер, как правило, прочитанные байты удаляет из своего буфера.

Мы о разном. Ты - про магию внутри приложения, я - про происходящее на границе ядро/приложение.

Ну можно легко измерить/проверить: скопировать файл на tmpfs в несколько ГБ.

измерь, раз времени не жалко.

Какой сисколл будет использоваться при извлечении данных из tcp сокета?

а как связан syscall при извлечении с тем, что ты на упоминание io.Copy() заговорил о сплайсе?

Мы о разном. Ты - про магию внутри приложения, я - про происходящее на границе ядро/приложение.

а я о том, что сплайс никак не спас бы тебя в такой ситуации

а как связан syscall при извлечении с тем, что ты на упоминание io.Copy() заговорил о сплайсе?

Смотри. Когда ты читаешь из сокета - у тебя будет копирование. Когда ты пишешь в файл - у тебя второе копирование.

только ты не учитываешь то, что второе копирование уже на диск.

только ты не учитываешь то, что второе копирование уже на диск.

Учитываю.

А можно вообще без копирования.

да? ну-ну.

да? ну-ну.

Ну посмотри тот же mmap

Ты мапнул файл, все что ты делаешь - отображается на диск

еще раз. ты опять пытаешься увести тему в другое русло. как сплайс тебя бы тут спас, кроме как абсолютно никак?

еще раз. ты опять пытаешься увести тему в другое русло. как сплайс тебя бы тут спас, кроме как абсолютно никак?

Если там чисто бинарные данные без компрессии и всяческих chunked - спас. Берем и за 2 сисколла данные переносим в файл

Сплайс тупо меняет указатели в ядре.

сидеть в гошке и надеяться на no-copy в сколько-нибудь объемных задачах — крайне наивно. если ты не будешь думать о том, как уменьшить копирование памяти и будешь писать откровенный говнокод с точки зрения производительности — ты достаточно быстро упрёшься в память. но это еще постараться нужно.

сидеть в гошке и надеяться на no-copy в сколько-нибудь объемных задачах — крайне наивно. если ты не будешь думать о том, как уменьшить копирование памяти и будешь писать откровенный говнокод с точки зрения производительности — ты достаточно быстро упрёшься в память. но это еще постараться нужно.

Я могу показать копирование файла вообще без одного копирования и read/write.

угу. только вокруг все равно будет туча копирований.

угу. только вокруг все равно будет туча копирований.

Нет. В strace вообще будет тишина.

а как же оно тогда будет копироватся?

слушай, ты серьезно веришь, что видишь абсолютно всё в strace?

Слышь посоны

вопрос возник

а как же оно тогда будет копироватся?

Вариантов несколько.

вопрос возник

жги

как у чувака который не пишет на гошеке в проду, но интересно

У вас чувачки есть асинхронные веб сервера, или в балансеры все хуячите?

слушай, ты серьезно веришь, что видишь абсолютно всё в strace?

Ну можно в perf trace. Сисколлы там точно все будут.

У вас чувачки есть асинхронные веб сервера, или в балансеры все хуячите?

делаем, как хотим. на гошке эту задачу тучей способов решить можно.

ну так что

есть или нет

чтоб батареечками

ERROR: S client not available

искаропки была асинхронщина

Ну можно в perf trace. Сисколлы там точно все будут.

ага. а потом пойди, поставь в рантайме принтов каких-нибудь и охуей, насколько много ты пропустил.

искаропки была асинхронщина

чем тебе go func() не оно?

net/http и так многопоточный

а как же оно тогда будет копироватся?

mmap для исходного файла, потом fallocate + mmap для таргета. Правда, нужен будет 1 memcpy. Можно через sendfile, можно через copy_file_range(2)

ок, усек

ага. а потом пойди, поставь в рантайме принтов каких-нибудь и охуей, насколько много ты пропустил.

Еще раз: сисколлы будут все.

угу. а сисколы это же у нас все копирования памяти теперь, да?

угу. а сисколы это же у нас все копирования памяти теперь, да?

Я выше привел пример с 1 и вообще без копирования

Камон, sendfile(2) может скопировать файл

Приложение вообще ничего не будет делать с контентом

в общем, я не вижу смысла продолжать дискуссию. я рантайм гошки изучаю не первый месяц, и при этом мои заявления относятся не только к линупсу 2.2+.

Рантайм не вакууме, а на конкретной ос.

в общем, я не вижу смысла продолжать дискуссию. я рантайм гошки изучаю не первый месяц, и при этом мои заявления относятся не только к линупсу 2.2+.

https://github.com/golang/go/issues/10948

час теоретического хайлоада на канале )

К вопросу о гиговых файлах на аплоад мобила как трекер https://github.com/mpetazzoni/ttorrent golang сервер как клиент https://github.com/anacrolix/torrent для ios сходу правда не нашлось но можно я думаю враппер сделать над c++ библиотекой https://github.com/search?l=C%2B%2B&q=torrent+tracker&ref=searchresults&type=Repositories&utf8=✓

Но торрент с мобилы конечно надо будет тюнить мама не горюй проще действительно свое написать

Откуда кстати на мобиле готовые файлы? Это видео?

Откуда кстати на мобиле готовые файлы? Это видео?

Гигобайтные

Привет. Подскажите как верно сделать. Механизм. В базе создается пользователь и пароль надо же в хеш перегнать? А как потом его расшифровывать при проверке авторизации.

Введенный пользователем пароль хешируешь и сверяешь с хешем в базе

Привет. Подскажите как верно сделать. Механизм. В базе создается пользователь и пароль надо же в хеш перегнать? А как потом его расшифровывать при проверке авторизации.

Хеш? Расшифровывать??

Понял. Спасибо

Привет. Подскажите как верно сделать. Механизм. В базе создается пользователь и пароль надо же в хеш перегнать? А как потом его расшифровывать при проверке авторизации.

Меня пугают такие люди

Меня пугают такие люди

Если ты программист, то это не делает тебя выше других.

Каждому свое

Если ты программист, то это не делает тебя выше других.

вообще-то делает

Ну ну

Если ты программист, то это не делает тебя выше других.

Причем тут выше/ниже. Стопиццот раз писали не хранить пароли открытым текстом

А я разве говорил про открытые пароли? Спросил какой механизм использовать. Мне ответили, за что спасибо.

А вы написали что я Вас пугаю. Оскорбили не за что.

Причем тут выше/ниже. Стопиццот раз писали не хранить пароли открытым текстом

да тут даже не в этом дело