Dmitry
нужно персистентное хранилище, в котором есть уверенность)
Dmitry
например в хетзнере уверенности нет с их дисками то
Anton
Ни в чем нельзя быть уверенным, увы
Denis
10+тб это тоже пара дисков.
Denis
да не, если вам выгодно хранить это на амазончике то вперед конечно
Denis
возможно вам как раз подойдет это тих инфриквент аксесс
Denis
получится по 12баксов за терр в месяц.
Denis
просто трафик при этом всё равно 90баксов за терр будет )
Denis
возможно будет выгоднее взять вариант типа cdn storage + cdn traffic + upload to s3
Denis
типа льем на s3 в infrequent access, паралельно льем на cdn storage и отдаем с cdn (трафик там дешевле чем в amazon), там постоянно вытесняем и крутим эти ваши 500гб. а в s3 не ходим почти, или прописываем его как origin для нашего же cdn но если такого трафика будет какое то весомое кол-во то это может выйти дороже ) потому что заплатится за трафик с s3+трафик с cdn
Aleksey
господа а у ког оесть в инфраструктуре тарантул ?
Sergei
не хочешь ты этого
Sergei
поверь бывшему мейлрушнику
Vladimir
Почему не хочешь
Anonymous
А по статейкам тарантул очень секасно выглядит
Dmitry
по статейкам и 1с норм
Aleksey
А по статейкам тарантул очень секасно выглядит
я бы выбрал посимпатичнее. секатся лучше после работы.
Sergei
дисклеймер: лично мой опыт может быть нерелевантным. мы использовали tarantool последний раз около трех лет назад, возможно с тех пор команда его поддописала, но эксплуатация мейлрушки целиком не очень его любит (опрос был проведен среди ~40 человек).
нам нужно было что-то вроде мемкеша, который умеет подниматься из дампа, небольшие изменения, read-mostly-нагрузка, без LRU.
мы получили +- что хотели по функционалу, но появилась пара нюансов.
если значение было жирноватым (1М+), то в момент получения такого ключа летенси на получении других ключей на этом же сервере давало резкую волосатость. как будто процесс вставал в отдачу, и только потом шел к остальным клиентам. кажется, это потом правили
в результате мы получили, что на нашей тогдашней нагрузке около 1% ключей (при этом нельзя было предсказать время) мы получали десятки миллисекунд, в то время как остальные укладывались в 500мкс.
это хорошо портило нам ровность работы сервиса.
один наш разработчик в конечном итоге психанул немножко и написал memcached-dd (https://github.com/dkrotx/memcached-dd). мы мигрировали и забыли.
Aleksey
ого. спасибо за длинный текст
Vladimir
Похоже они снова его полюбили ;)
Vladimir
Учитывая то, что эта статья на homepage tarantool :)
Sergei
я говорил про эксплуатацию. пост написан разработчиком.
Aleksey
да, мне ближе вопросы эксплуатации как раз
Sergei
NIH
Sergei
то есть любой другой NoSQL - NIH
Dmitry
у майла есть возможности его внедрять\сапортить?
Sergei
ну мейл его написал же.
Dmitry
ну просто мало написать. Если люди будут внедрять - будут сталкиваться с трудностями. К кому им идти?
Sergei
очевидно, когда у тебя разработчики под боком - это относительно легко. во всяком случае, заметно легче, чем когда они не под боком.
тем не менее:
http://stackoverflow.com/search?q=tarantool 116 results
http://stackoverflow.com/search?q=redis 37k reuslts
Dmitry
вот вот
Dmitry
но если разработчик скажет что он вам ничем не обязан и вообще у него работы валом в своем мейле
Vladimir
@spuzirev ну те чуваки что его разрабатывают в личном общении кажутся вменяемыми )
Sergei
они возможно его и допилили.
но не находясь там я бы не рискнул его использовать.
Dmitry
им бы продавать его
Dmitry
с сапортом и тд
Dmitry
мне кажется, это было бы тогда более интересно
Sergei
они планируют
Aleksey
коллеги кому интересно https://telegram.me/clickhouse_ru
Dmitrii
Есть боги nginx? https://gist.github.com/anonymous/e29965d6c2be07b958601910fb03a4b0
Dmitrii
Чет при запросе на локейшен nginx валится в 400.
Dmitrii
В случае когда запрос уходит на второй proxy_pass
yopp
мрак
yopp
ты что хочешь сделать?
Dmitrii
Проксирование картинок со стейджинга в прод.
Dmitrii
Которые 404
Sergei
Есть боги nginx? https://gist.github.com/anonymous/e29965d6c2be07b958601910fb03a4b0
уверен, что 400 отдает не fallback.tld?
включи дебаг-лог и читай.
Vladimir
Например что прилетает в фолбэк
Dmitrii
Да, чет не подумал что ттуда бэдреквест прилететь тоже может )
yopp
или это балансер?
Dmitrii
Да
Dmitrii
Там s3
Dmitrii
Схема такая что я сначала ищу картинку в бакете стейджинга, если ее нет то иду в бакет прода
Dmitrii
Это если упрощенно. Насамом деле оно сначала идет в кещ сервер, а кеш сервер в бакет
Dmitrii
Ибо у нас ресайз на лету
Dmitrii
В результате кто на стецджинге работает может загружать свои картинки к объектам, они будут лежать в бакете стейджа, а если в базе путь есть но самой картинки нет, то значит надо сходить в прод. Т.о. на стейдже всегда есть красивые картинки и не надо синкать бакеты.
Dmitrii
...
Dmitrii
PROFIT
Denis
На лету ресайзите - а чем? Как?
Denis
энжинксом наверно ! )
Denis
Ну способов как-бы не мало есть )
Dmitrii
Мы используем сторонний сервис
Dmitrii
imgix
Dmitrii
Там можно в панельке указать куда он должен ходить за исходниками. Вот у нас он ходит в S3. Перед ним стоит наш кэш чтобы было дешево.
Anonymous
Сап, бандиты. Хочу научиться программировать ДЛЯ СЕБЯ. Не стоит цели стать разработчиком. Просто имеется очень большой интерес к этому делу :) выбрал питон. Подскажите курсы или сайты для обучения. Желательно фри и ру.
Anton
hexlet.io
Aleksey
главное не ходи сюда https://telegram.me/rudepython
Dmitry
Сап, бандиты. Хочу научиться программировать ДЛЯ СЕБЯ. Не стоит цели стать разработчиком. Просто имеется очень большой интерес к этому делу :) выбрал питон. Подскажите курсы или сайты для обучения. Желательно фри и ру.
если ты прямо совсем нулевой, то на интуите хороший курс
Dmitry
с дедом
Dmitry
http://www.intuit.ru/studies/courses/12179/1172/info
Magistr
Ivan
От гугла же ещё вроде хороший курс