фс? фейсбук?

Нет, файловая система

Что такое 2 Гбит в современном мире?

90% разработчиков такое за всю жизнь не щупают

90% разработчиков такое за всю жизнь не щупают

+

Нет, файловая система

тогда вопрос, где их хранить?) везде же фс

тогда вопрос, где их хранить?) везде же фс

Можно на дисках голых))

А миллион файлов 90% щупают

или я не в тренде?) облака ж тоже фс используют)))

А можно в файлах хранить файлы, как картинки в вкшечке

тогда вопрос, где их хранить?) везде же фс

В файлах :) только склеивать в один большой

так конечная точка все равно в фс

А вообще миллион файлов - это всего тыща файлов в тысяче директорий, не оч много

Короче преждевременная оптимизация зло, но если ты знаешь точно, что у тебя будет десятки гигабит трафика на отдачу и сотни миллионов мелких файлов, то есть смысл подумать в сторону специализированных хранилищ. Ну или если ты обмазываешься облаками

90% разработчиков такое за всю жизнь не щупают

Мои соболезнования им.

Если их не копировать куда-нибудь конечно

Короче преждевременная оптимизация зло, но если ты знаешь точно, что у тебя будет десятки гигабит трафика на отдачу и сотни миллионов мелких файлов, то есть смысл подумать в сторону специализированных хранилищ. Ну или если ты обмазываешься облаками

Что? Какие облака, вы о чем?

Мои соболезнования им.

Зато спят спокойно и секс регулярный не с дебагером

Что? Какие облака, вы о чем?

Ну если ты обмазываешься микросервисами с ондеманд запуском без постоянного хранилища, то кей-валуе хранилка для файлов - не самая плохая идея.

Медленно, неэффективно и много памяти съест такая конструкция

На самом деле фс уже написана и она работает до какого то момента отлично

И миллионы файлов на ней хранить ок пока у тебя не десятки тысяч запросов к файлам

В секунду

На самом деле фс уже написана и она работает до какого то момента отлично

Это да.

И миллионы файлов на ней хранить ок пока у тебя не десятки тысяч запросов к файлам

Да, или тебе не важно время отклика :)

И миллионы файлов на ней хранить ок пока у тебя не десятки тысяч запросов к файлам

Да и десяток тысяч запросов не проблема

Да и десяток тысяч запросов не проблема

Да уже на паре тысяч запросов будет ой :)

Можете подсказать как можно определить длину аудиозаписи в секундах в GO . На входе есть http ссылка на аудиозапись в mp3

Нужно выковырять ID3 Metadata у файла

Мои соболезнования им.

так а ради чего вопрос то задал? ты сам прекрасно знаешь ответ на свой вопрос. ФС проще и большинство никогда не столкнется с ситуацией когда этого перестанет хватать.

Да и десяток тысяч запросов не проблема

Ну где то с этого момента ты фс увидишь вообще в профайлерах как что то кушающее сколько либо существенные ресурсы

так а ради чего вопрос то задал? ты сам прекрасно знаешь ответ на свой вопрос. ФС проще и большинство никогда не столкнется с ситуацией когда этого перестанет хватать.

Это не вопрос, а скорее недоумение :)

А и да, запросы тоже не любые. Запись в 200к разных файлов когда ты знаешь тоже дешёвая

Пока диск справляется :)

Ну где то с этого момента ты фс увидишь вообще в профайлерах как что то кушающее сколько либо существенные ресурсы

Скорее увидит iowait :)

Это не вопрос, а скорее недоумение :)

еще хуже - ты ведь понимаешь причины этого.

еще хуже - ты ведь понимаешь причины этого.

Возможно у меня просто деформация и я упускаю из виду какие-то кейсы

И миллионы файлов на ней хранить ок пока у тебя не десятки тысяч запросов к файлам

кешик так то еще прикручивают и много оперативы

и распределенные файловые хранилища с прокси конечно

Скорее увидит iowait :)

Ну да, но это тоже ожидаемо если у тебя много реквесты :) и даже без фс также будет если файл один а ты как сумасшедший делаешь 100500 сиков

кешик так то еще прикручивают и много оперативы

А тут пейджкэш ос уже есть :)

И миллионы файлов на ней хранить ок пока у тебя не десятки тысяч запросов к файлам

SSD и оперативка для последних и горячих файлов

А тут пейджкэш ос уже есть :)

тоже как вариант)

SSD и оперативка для последних и горячих файлов

Nvme ещё:)

SSD и оперативка для последних и горячих файлов

Я знаю. У меня как раз в эксплуатации система которая так работает

Впрочем не очень от хорошей жизни

так сейчас не ssd - не гуд совсем

только и для нее кешик желателен

хотябы через nginx на крайняк

))))

А тут пейджкэш ос уже есть :)

Именно :)

Именно :)

Фс в общем транзакционный btree общего назначения с кэшом для бедных :)

так сейчас не ssd - не гуд совсем

Bcache наше все

Фс в общем транзакционный btree общего назначения с кэшом для бедных :)

Я вообще думал о вариантах с kaio

На фосдеме девочка в платье с гоферами

отлично. значит все не зря

привет парни, решил перейти на golang и заюзать монгу, я так понял ее не любят юзать ?)

или подскажите хорошую либу для работы с ней

привет парни, решил перейти на golang и заюзать монгу, я так понял ее не любят юзать ?)

Зависит от посталенной задачи.

ну я щас смотрю либы для монги, последнии комиты были год, 2 года назад и тд

как то....мб что то посвежее есть ?

ну я щас смотрю либы для монги, последнии комиты были год, 2 года назад и тд

Ну так если там все работает, то что комитить?)

ну монго как бы развивается

и то что 2 года была назад и что щас

а обновить монгу и либа может отвалиться)

или подскажите хорошую либу для работы с ней

Форк той либы поищи

ERROR: S client not available

а обновить монгу и либа может отвалиться)

https://github.com/globalsign/mgo

https://sausheong.github.io/ Подскажите интересные блоги типа такого

https://twitter.com/gayphers Не благодари

ахаха ?

Не благодарю

Подскажите, вот такой ключ json как можно прочитать через структуру? "_id" из-за нижнего подчеркивания что-то не получается обычными способами.

type Some struct { ID string json:"_id" }

теги юзай, только тут обратные съелись

Ясное дело. Не работает так

покажи json какой

покажи json какой

"language": "ru", "_id": 116311210, "name": "csruhub",

все значения читает. А _id - нет.

ну ошибка есть какая-то? он же не может в тихую проигнорить

json: cannot unmarshal number into Go struct field ._id of type string

ой )

Увидел )

ну так читай

Да увидел увидел.

ошибки лучше не гасить, а то сэкономив на обработке ошибок, наверстаешь на поиске багов и отладке

я видел ошибку. но особо не читал. *ля буду, видел что это строка в ответе. Вонючие проги а.

Секунду.

Можно ещё так делать ID string json:"_id,int"

Это разве не означает строка?

только с обратными косыми, тогда он принудительно конвертнет из того типа, который указан в теге, в тот тип, который указан в структуре.

Вонючая инсомния.

Это означает строка, но у тебя уже обработанный JSON наверное

лучше прямо так и дебажить, если JSON анмаршалинг зафейлился, запиши весь JSON в файлик какой-то

Там где нужно инты стоят и здесь по подсветке и кавычкам явно видно что строка. Поэтому я в структуре и написал строку.

Вот ппц