Планы роста на ближайший год с момента внедрения системы

неа

@ptchol ^

Интереснее конечно было бы услышать про готовые решения на рынке opensource, но видимо их нет :)

прям "вот тебе CDN, OpenSource" нету боюсь

нужно как всегда из "П", "Ж", "А", "О" собирать слово "Счастье"

ну как бы ничего там сложного не должно быть, вроде: три nginx'a + пара скриптов с rsync + varnish какой-нибудь - вот тебе и CDN

весь вопрос в том как синхронизовать.

так то да, ECMP -> пулл nginx'ов или haproxy -> varnish или что-то в таком духе

ок, спасибо за диалог

ну как бы ничего там сложного не должно быть, вроде: три nginx'a + пара скриптов с rsync + varnish какой-нибудь - вот тебе и CDN

смотри. у тебя скажем 10нод по 2 тб. суммарно контента 10тб. какова вероятность попасть по контенту в кеше ?

@vanch проблемы начнутся когда у тебя регионы будут далеко - остро встанет проблема синхронизации контента. Когда трафик вырастет, тут @ptchol уже говорил про то что вылезут проблемы с вымыванием данных из кэша. Ну и если это не про веб, то там совсем другое.

я имею ввиду что эти ноды кеширующие

на самом деле кажется, что может быть неплохой идеей посмотреть на https://github.com/reverbrain/elliptics для хранения данных.

честно, не стоит.

и некоторой логикой поверх него

если у вас нет в штате сишника.

честно, не стоит.

зачем брать на гитлабе какую то малоизвестную штуку

когда есть свифт и цеф?

в аналогичной ситуации, я пожил 2 года с эллиптиксом. когда мы занимались доставкой видеоконтента. сейчас перешел в аудио, и мы взяли свифт, и честно, пока больше нравится.

когда есть свифт и цеф?

потому что свифт тормозной а цеф дорого в эксплуатации по железу

в аналогичной ситуации, я пожил 2 года с эллиптиксом. когда мы занимались доставкой видеоконтента. сейчас перешел в аудио, и мы взяли свифт, и честно, пока больше нравится.

вот мне тоже кажется, что свифт всё-таки решает больше проблем, чем создаёт

потому что свифт тормозной а цеф дорого в эксплуатации по железу

ну тем не менее

вы ушли на свифт

вот мне тоже кажется, что свифт всё-таки решает больше проблем, чем создаёт

проблемы на свифте проще решаются, потому что код довольно простой в понимании и модульно архитектуры создает довольно узкий скоп при исследовании проблем

зачем брать на гитлабе какую то малоизвестную штуку

малоизвестная штука при этом основная хранилка у Яндекс.Диска, Яндекс.Музыки и Яндекс.Фотки

малоизвестная штука при этом основная хранилка у Яндекс.Диска, Яндекс.Музыки и Яндекс.Фотки

ну так они постоянно сидят и пилят

правда как и все сделанное в яндексе оно для инопланетян сделано

кто вам пилить будет?

вобще да, эллиптикс работает ок, и проблемы решаются с ним тоже быстро, но при наличии сишника в штате ) когда он потерялся, мне было тяжело.

проблемы на свифте проще решаются, потому что код довольно простой в понимании и модульно архитектуры создает довольно узкий скоп при исследовании проблем

+1

проблема его в том, что он как то не формирует коммунити, и доков маловато.

но он простой как дверь и это плюс)

типа как с тарантулом? )

или я ошибаюсь

нету погружения в тарантул. Помоему там наоборот. они оч активно развивают его и везде пиарят

проблема его в том, что он как то не формирует коммунити, и доков маловато.

последний раз тыкал его в 2012 и до сих пор нет коммьюнити? это чёт жестко

последний раз тыкал его в 2012 и до сих пор нет коммьюнити? это чёт жестко

оно как бы есть, но его как бы нет.

нету погружения в тарантул. Помоему там наоборот. они оч активно развивают его и везде пиарят

как я понимаю мыло.ру хочет тарантул в отдельную контору выделить

в смысле комерческая поддержка, комерческая версия, опенсорс версия и пр.

нету погружения в тарантул. Помоему там наоборот. они оч активно развивают его и везде пиарят

ну вот то что пеарят эт точно

но это судя по тому как выглядит

Это Осипов скорее хочет )

как я понимаю мыло.ру хочет тарантул в отдельную контору выделить

экзактли.

ну как бы ничего там сложного не должно быть, вроде: три nginx'a + пара скриптов с rsync + varnish какой-нибудь - вот тебе и CDN

Так не бывает.

Так не бывает.

Как отрезал. Почему? Я могу такое поднять и оно даже будет работать. Недолго наверное, правда :)

кто-нибудь юзал https://github.com/jwilder/nginx-proxy ?

Товарищи, а кто как реализует у себя CDN? Так чтоб с репликацией между нодами, отдачей по HTTP, HA, всё такое. OS/Swift, rsync, Ceph etc?

Когда занимался видео была простая схема с nginx на кеше и сторажде + стораджи дублировались через rsync. Снаружи был балансер который хешрингом направлял на нужный кеш. Один дц всего, но 100гбит/с мы с него имели

Кеш находил нужную пару стораджа по префиксам

Когда занимался видео была простая схема с nginx на кеше и сторажде + стораджи дублировались через rsync. Снаружи был балансер который хешрингом направлял на нужный кеш. Один дц всего, но 100гбит/с мы с него имели

А сколько нод было?

Когда занимался видео была простая схема с nginx на кеше и сторажде + стораджи дублировались через rsync. Снаружи был балансер который хешрингом направлял на нужный кеш. Один дц всего, но 100гбит/с мы с него имели

Прикольно

100гиг/сек из одного дц? Это шо ж за дц такой

Цветочная может?

7 кешей, 6 стораджей, около 50тб контента

Стойка считай

Rutube? Ivideon?

Типа того

100гиг/сек из одного дц? Это шо ж за дц такой

любой ))

100гиг/сек из одного дц? Это шо ж за дц такой

в мыле тоже больше отдавали с одного дц

Можно было и больше, железка скейлилась до 960, серваков с ссд и памятью докинуть тоже не сложно. Но потребности не было.

А что за железка?

Juniper, модель не помню, года 3 назад было.

А

А ноды-кеши с каким железом?

Он модульный, мы на 10G модули втыкали, в бонд их и 20гбит с сервера

32/64гб памяти, софтстрайп из ssd, сколько-то ядер. Увы детали плохо помню сейчас

Схема KISS по максимуму, хотя нарекания были. flv нормально перематывались, а вот с mpeg не работало.

ERROR: S client not available

32/64гб памяти, софтстрайп из ssd, сколько-то ядер. Увы детали плохо помню сейчас

Ы

Супермикры :)

Покормите говном

Следить за rabbitmq через апи норм? (в контейнере)

я конечно понимаю, удобно и коротко там и все такое но ведь не наглядно ж а ? data['service'][data['upstream'] == 'node'] = 'nodejs'

http://pastebin.com/QaE0GdCQ

смотрите что за говно

ебучий докер теряет node_modules в билде

причем делает это только на серваке, на маке у меня работает

и если я зайду в контейнер и сделаю npm install то она появляется

короче если я устанавливаю в /tmp эти node_modules то там они появляются

но если я копирую в свою WORKDIR после установки то в WORKDIR оно не появляется

если на уровень ниже то ок

забавно блин

а можешь сам докерфайл кинуть посмотреть?

у меня сопсно со сборкой фронта на проекте небыло проблем, я скриптом собираю фронт в стороне, а потом собраный вместе с модулями запихиваю в контейнер, ну и бонусом скрипт же теги ставит для всех имейджей которые есть и пушит куда нужно

Странно, я у меня ещё более странная схема сборки фронта, все ок

Я собираю базовый контейнер методом установки депенсов. Когда собирается фактический фронт я ему просто подменяю node_modules

Тоже все ок

Коллеги, а расскажите мне, решается ли как-то гитом проблема «я хочу все держать в одном репозитории но иметь атомарные доступы для, например, жуниоров»

Это вот пока одна проблема, которую замечательно решает svn, но не git

сабмодулями разруливать все?

сабмодулями разруливать все?

неудобненько =(

ну вариантов других нет, насколько я знаю "из коробки". говорят, gitolite умеет так, возможно какие-то другие гит-хостинги тоже

Нужно фильтровать доступ на чтение или только на запись?

Если второе, то куча вариантов

Хотя не, насчет кучи я погорячился. Но думаю легче чем с чтением ситуация.

На чтение тоже.

Ну вот я тоже ничего удобного не нашел, думал мб здесь кто находил.

Я-то тупой!

господа, путем копирования виртуалок образовалось много одинаковых машин. теперь у них одинаковый machine id для systemd. плохо ли это ? или наплевать ?

я про /etc/machine-id