@jvmchat

Страница 2263 из 2890
 
Denis
20.02.2018
12:24:59
Но это не масштабируется ,
Что это вдруг?

 
Wystan
20.02.2018
12:25:04
Я храню бинарники на ажур блобе. Мой вопрос был про хранение несобранных данных в бд и на каждый запрос собирать из них пдф, или сразу пдф с блоба отдавать

 
Pavel
20.02.2018
12:25:24
Фотографии лучше как раз на диске хранить. Во первых nginx с диска из будет отдавать намного быстрее чем любая бд. Во вторых для создания миниатюри и прочих обработок меньше замочек с кодом.
Ну хорошо, а если много дисков и машин? Пришёл к тому ngnixу запрос на картинку. У него нет картинки на диске? Что дальше?

 
А если машина с картинками упала? Где восстанавливать?

Google
 
Pavel
20.02.2018
12:26:13
Базы данных и решают эту проблему

 
Wystan
20.02.2018
12:26:29
(Тихо шепчет) блобы решают эту проблему...

 
Denis
20.02.2018
12:26:37
Базы данных и решают эту проблему
А если машина с базой упала?

 
Pavel
20.02.2018
12:26:49
А если машина с базой упала?
Репликация?

 
(Тихо шепчет) блобы решают эту проблему...
Какие ещё блобы? Что ты имеешь ввиду?

 
Денис
20.02.2018
12:27:10
Репликация?
А что мешает реплицировать файловые хранилища?

 
Denis
20.02.2018
12:27:15
Репликация?
Вот бы люди придумали так же с файлами делать :)

 
Pavel
20.02.2018
12:27:25
А что мешает реплицировать файловые хранилища?
Ну как ты будешь это делать?

 
Ты сколько лет будешь это писать?

 
Denis
20.02.2018
12:27:39
Ну как ты будешь это делать?
Rsync

 
Wystan
20.02.2018
12:27:43
Какие ещё блобы? Что ты имеешь ввиду?
https://docs.microsoft.com/en-us/azure/storage/blobs/storage-blobs-introduction

 
Pavel
20.02.2018
12:27:50
И зачем это писать если это уже написано

 
Wystan
20.02.2018
12:27:52
Рекомендую. Брат жив, зависимости никакой

Google
 
Denis
20.02.2018
12:28:10
А что мешает реплицировать файловые хранилища?
Просто человек нашел серебряную пулю и не видит больше ничего :)

 
z0mb1ek
20.02.2018
12:28:35
всем http://pithos.io/ пацаны)

 
Денис
20.02.2018
12:28:49
Просто человек нашел серебряную пулю и не видит больше ничего :)
Так ладно бы он её сам нашёл, ему одну статью показали и он радуется

 
Pavel
20.02.2018
12:29:14
Rsync
Ну? Что дальше?

 
Денис
20.02.2018
12:29:47
Ну? Что дальше?
Ответ в твоём стиле: Настраиваешь Rsync, запускаешь Rsync

 
Pavel
20.02.2018
12:30:08
У тебя есть 100 машин с 10 миллиардами картинок, как тебе поможет rsync

 
Wystan
20.02.2018
12:30:08
Опять у вас тут какая-то своя терка.

 
Pavel
20.02.2018
12:30:40
Ответ в твоём стиле: Настраиваешь Rsync, запускаешь Rsync
Нет, не в моем стиле

 
Хватит на личности переходить

 
Отвечайте по сути

 
Denis
20.02.2018
12:31:01
У тебя есть 100 машин с 10 миллиардами картинок, как тебе поможет rsync
Он берет и реплицирует файлы с одной машины на другую, ваш К.О.

 
Pavel
20.02.2018
12:31:35
Он берет и реплицирует файлы с одной машины на другую, ваш К.О.
Как ты поймёшь с какой машины на какую реплицировать в данный момент?

 
И какие фотки

 
Wystan
20.02.2018
12:31:50
Он берет и реплицирует файлы с одной машины на другую, ваш К.О.
Я иногда завидую людям, у которых есть время на работе настраивать такие решения и поддерживать их :3

 
Denis
20.02.2018
12:32:17
Как ты поймёшь с какой машины на какую реплицировать в данный момент?
Ну я придумаю архитектуру и как должны распределяться кластера и тогда пойму

 
А сейчас мне пофиг :)

 
Pavel
20.02.2018
12:32:37
Ну я придумаю архитектуру и как должны распределяться кластера и тогда пойму
Ну давай, придумывай. Как сделаешь выложи в open source

 
А я пойду и Кассандру поставлю

 
Денис
20.02.2018
12:33:01
Ну давай, придумывай. Как сделаешь выложи в open source
"Спервадобейся" - это признание собственной интеллектуальной несостоятельности в споре, если что

 
Denis
20.02.2018
12:33:13
Ну давай, придумывай. Как сделаешь выложи в open source
Зачем? У меня сейчас есть 4 сервера с картинками и все работает :)

Google
 
Pavel
20.02.2018
12:33:37
Ну я могу тебе поздравить

 
Denis
20.02.2018
12:33:54
Надо будет 100 - сделаю, а пока нет смысла тратить время

 
Pavel
20.02.2018
12:34:31
Все таки я ещё не услышал чем твой велосипед будет лучше Кассандры или любой другой бд

 
Денис
20.02.2018
12:35:17
Все таки я ещё не услышал чем твой велосипед будет лучше Кассандры или любой другой бд
Лишён фатального недостатка

 
Pavel
20.02.2018
12:35:37
Лишён фатального недостатка
Не понял, поясни

 
Denis
20.02.2018
12:35:48
В моем велосипеде есть дедупликация на уровне хранилища, в Кассандре нет. У меня файлы отдает nginx с диска с минимальной нагрузкой на память и проц. И тыды

 
Денис
20.02.2018
12:36:12
Не понял, поясни
Это шутка такая, лел

 
google::фатальный недостаток

 
Pavel
20.02.2018
12:37:00
В моем велосипеде есть дедупликация на уровне хранилища, в Кассандре нет. У меня файлы отдает nginx с диска с минимальной нагрузкой на память и проц. И тыды
нет, ngnix'у придётся сходить в твою бд

 
Arsen
20.02.2018
12:37:22
нет, ngnix'у придётся сходить в твою бд
ну можно сделать так чтоб не ходил

 
Pavel
20.02.2018
12:37:45
ну можно сделать так чтоб не ходил
А как он поймёт где файл?

 
Denis
20.02.2018
12:38:08
нет, ngnix'у придётся сходить в твою бд
Нет конечно. Nginx прилетает адрес файла который он должен отдать. Ни по какую бд он не знает

 
Pavel
20.02.2018
12:38:29
Ну хорошо, а кто отдаёт файл по ссылке?

 
Твоя бд?

 
Denis
20.02.2018
12:39:09
Файл отдает nginx с диска. А ссылку на файл для клиента формирует приложение

 
Arsen
20.02.2018
12:40:16
недавно по диагонали смотрел доклад от парней из баду на эту тему https://www.youtube.com/watch?v=SU9ETg39FEg

 
хотя, может, и не совсем на эту, тред тоже по диагонали пробежал

 
Pavel
20.02.2018
12:41:09
Файл отдает nginx с диска. А ссылку на файл для клиента формирует приложение
погоди, ngnix это http сервер, ему приходит запрос с ссылкой на скачивание файла так?

 
при чем тут диск то?

 
Denis
20.02.2018
12:41:55
погоди, ngnix это http сервер, ему приходит запрос с ссылкой на скачивание файла так?
Да.

Google
 
Arsen
20.02.2018
12:42:02
при чем тут диск то?
нжинкс сёрвит статику https://www.nginx.com/resources/admin-guide/serving-static-content/

 
Pavel
20.02.2018
12:42:44
Да.
окей, вот ngnix сделал запрос по этой ссылке… кто дальше включается в работу?

 
кто ngnix’у отдает ответ на его запрос

 
Denis
20.02.2018
12:43:47
окей, вот ngnix сделал запрос по этой ссылке… кто дальше включается в работу?
Дальше включается aio внутри nginx и стримит файл клиенту.

 
Pavel
20.02.2018
12:44:30
Дальше включается aio внутри nginx и стримит файл клиенту.
погоди, в данном случае ngnix это http клиент когда запрашивает другой http ресурс. Кто отдает ему данные?

 
Arsen
20.02.2018
12:44:58
да он с диска читает

 
если @Medvedych это имел в виду конечно

 
Pavel
20.02.2018
12:45:57
погоди все равно тогда не понятно что представляет собой ссылка

 
ну вот ему пришла ссылка на место в фаловой системе

 
как пользовотель узнал что данная картинка находится именно на таком то сервере и почему там должен быть ngnix? а если я хочу чтобы фронт и хранилище было в разных местах?

 
а если файла нет? что дальше?

 
я веду к тому что в любом случае нужно будет сходить в самописную бд и узнать где лежит файл конкретный

 
и потом непонятно как его оттуда выкачивать

 
и почему это будет лучше чем сходить в кассадру ту же или куда либо еще

 
В моем велосипеде есть дедупликация на уровне хранилища, в Кассандре нет. У меня файлы отдает nginx с диска с минимальной нагрузкой на память и проц. И тыды
@Medvedych , можно услышать конкретные пояснения по тому как это будет работать?

 
Denis
20.02.2018
12:55:31
как пользовотель узнал что данная картинка находится именно на таком то сервере и почему там должен быть ngnix? а если я хочу чтобы фронт и хранилище было в разных местах?
Что ты имеешь в виду под фронтом?

 
Денис
20.02.2018
12:55:37
смотря какая бд! если реляционная то хорошо бинарные данные в ней вообще не держать
Напоминаю сообщение, с которого всё начиналось. @Sammers21, сколько раз ты поменяешь условия задачи, чтобы прийти к тому ответу, который тебе нравится?

 
Я уж молчу о том, что Кассандра всё ещё не реляционка, кек.

 
Pavel
20.02.2018
12:55:53
Что ты имеешь в виду под фронтом?
ngnix отдает статику, т.е. фронтенд

 
Я уж молчу о том, что Кассандра всё ещё не реляционка, кек.
ну если не нравится тебе кассандра давай возьмем postgres

Google
 
Denis
20.02.2018
12:56:45
ngnix отдает статику, т.е. фронтенд
Ну разнеси. Только смысла в этом нет. У тебя nginx должен быть как можно ближе к хранилищу, т.е. в одном ДЦ.

 
Pavel
20.02.2018
12:56:45
или oracle

 
Ну разнеси. Только смысла в этом нет. У тебя nginx должен быть как можно ближе к хранилищу, т.е. в одном ДЦ.
а если не один регион?

 
Денис
20.02.2018
12:57:01
ну если не нравится тебе кассандра давай возьмем postgres
Ответь на предыдущий вопрос лучше, чем на это замечание.

 
Pavel
20.02.2018
12:57:37
Ну разнеси. Только смысла в этом нет. У тебя nginx должен быть как можно ближе к хранилищу, т.е. в одном ДЦ.
почему нет смысла в разделении фронта и хранилища? может еще все сервисы на один хост помещать будем]/

 
Denis
20.02.2018
12:57:38
а если не один регион?
если не один регион, то ты делаешь реплику в дц в том регионе и отдаешь оттуда. Точно так же как если бы это была бд

 
Денис
20.02.2018
12:58:06
Напоминаю сообщение, с которого всё начиналось. @Sammers21, сколько раз ты поменяешь условия задачи, чтобы прийти к тому ответу, который тебе нравится?
@Sammers21 Ответь на вот это, повторяю.

 
Denis
20.02.2018
12:58:14
почему нет смысла в разделении фронта и хранилища? может еще все сервисы на один хост помещать будем]/
помести, я не против

 
Pavel
20.02.2018
12:58:21
Напоминаю сообщение, с которого всё начиналось. @Sammers21, сколько раз ты поменяешь условия задачи, чтобы прийти к тому ответу, который тебе нравится?
15

 
Денис
20.02.2018
12:58:39
15
Хорошо, спасибо, до свидания.

 
Pavel
20.02.2018
12:59:34
помести, я не против
ну как бы допустим у тебя 50 фронтов с маленькими дисками, а хранилище на 15 хостах с большими дисками. Нет смысла все на один хост помещать. Но это уход от темы опять

 
расскажи подробней что приходит ngnix’у

 
и как это работает

 
Денис
20.02.2018
13:00:42
и как это работает
А ты расскажешь поподробней, как Кассандра работает?

 
Denis
20.02.2018
13:01:05
и как это работает
это совершенно классическое решение для раздачи статики. По нему есть тысячи статей и докладов на конфах всех уровней. Мне лень описывать еще раз, так что гугл ждет

 
Pavel
20.02.2018
13:01:19
А ты расскажешь поподробней, как Кассандра работает?
ну с кассандрой все понятно. Послал запрос кассанде дай мол мне такой файл. И она отдала. Все.

 
это совершенно классическое решение для раздачи статики. По нему есть тысячи статей и докладов на конфах всех уровней. Мне лень описывать еще раз, так что гугл ждет
слив защитан

 
Денис
20.02.2018
13:01:38
ну с кассандрой все понятно. Послал запрос кассанде дай мол мне такой файл. И она отдала. Все.
Ну так его системе тоже запрос послал, а файл отдан. Всё.

 
Ты спрашиваешь "а что внутри"

 
Я в ответ спрашиваю "а что внутри у твоего решения"

 
Denis
20.02.2018
13:02:19
ну с кассандрой все понятно. Послал запрос кассанде дай мол мне такой файл. И она отдала. Все.
она отдала тебе файл на 50мб, который выгрузился в память сервера и начал медленно и печально отдаваться клиенту. Тут приходит еще 1000 клиентов и память на сервере кончилась.

Страница 2263 из 2890