разве не норм?)

насколько я понял платить мы должны по 4м параметрам: - за объем хранимых данных ($0.0295 за ГБ) - за создание, изменение файлов ($0.005 за 1000 запросов) - за получение файлов ($0.004 за 10 000 запросов) - за передачу данных из S3 в интернет ($0.090 за ГБ)

Если у вас всего 500гиг то может пару серверов и рсинк ? )

кажется, второй диск на 500 гб стоит пару тысяч рублей.

Если у вас всего 500гиг то может пару серверов и рсинк ? )

всего 10+тб

500 гиг это горячих файлов

нужно персистентное хранилище, в котором есть уверенность)

например в хетзнере уверенности нет с их дисками то

Ни в чем нельзя быть уверенным, увы

10+тб это тоже пара дисков.

да не, если вам выгодно хранить это на амазончике то вперед конечно

возможно вам как раз подойдет это тих инфриквент аксесс

получится по 12баксов за терр в месяц.

просто трафик при этом всё равно 90баксов за терр будет )

возможно будет выгоднее взять вариант типа cdn storage + cdn traffic + upload to s3

типа льем на s3 в infrequent access, паралельно льем на cdn storage и отдаем с cdn (трафик там дешевле чем в amazon), там постоянно вытесняем и крутим эти ваши 500гб. а в s3 не ходим почти, или прописываем его как origin для нашего же cdn но если такого трафика будет какое то весомое кол-во то это может выйти дороже ) потому что заплатится за трафик с s3+трафик с cdn

господа а у ког оесть в инфраструктуре тарантул ?

не хочешь ты этого

поверь бывшему мейлрушнику

поверь бывшему мейлрушнику

Почему?

Почему?

почему поверить или почему не хочешь?

Почему не хочешь

А по статейкам тарантул очень секасно выглядит

по статейкам и 1с норм

А по статейкам тарантул очень секасно выглядит

я бы выбрал посимпатичнее. секатся лучше после работы.

дисклеймер: лично мой опыт может быть нерелевантным. мы использовали tarantool последний раз около трех лет назад, возможно с тех пор команда его поддописала, но эксплуатация мейлрушки целиком не очень его любит (опрос был проведен среди ~40 человек). нам нужно было что-то вроде мемкеша, который умеет подниматься из дампа, небольшие изменения, read-mostly-нагрузка, без LRU. мы получили +- что хотели по функционалу, но появилась пара нюансов. если значение было жирноватым (1М+), то в момент получения такого ключа летенси на получении других ключей на этом же сервере давало резкую волосатость. как будто процесс вставал в отдачу, и только потом шел к остальным клиентам. кажется, это потом правили в результате мы получили, что на нашей тогдашней нагрузке около 1% ключей (при этом нельзя было предсказать время) мы получали десятки миллисекунд, в то время как остальные укладывались в 500мкс. это хорошо портило нам ровность работы сервиса. один наш разработчик в конечном итоге психанул немножко и написал memcached-dd (https://github.com/dkrotx/memcached-dd). мы мигрировали и забыли.

ого. спасибо за длинный текст

дисклеймер: лично мой опыт может быть нерелевантным. мы использовали tarantool последний раз около трех лет назад, возможно с тех пор команда его поддописала, но эксплуатация мейлрушки целиком не очень его любит (опрос был проведен среди ~40 человек). нам нужно было что-то вроде мемкеша, который умеет подниматься из дампа, небольшие изменения, read-mostly-нагрузка, без LRU. мы получили +- что хотели по функционалу, но появилась пара нюансов. если значение было жирноватым (1М+), то в момент получения такого ключа летенси на получении других ключей на этом же сервере давало резкую волосатость. как будто процесс вставал в отдачу, и только потом шел к остальным клиентам. кажется, это потом правили в результате мы получили, что на нашей тогдашней нагрузке около 1% ключей (при этом нельзя было предсказать время) мы получали десятки миллисекунд, в то время как остальные укладывались в 500мкс. это хорошо портило нам ровность работы сервиса. один наш разработчик в конечном итоге психанул немножко и написал memcached-dd (https://github.com/dkrotx/memcached-dd). мы мигрировали и забыли.

https://medium.com/@cdump/how-we-implemented-the-video-player-in-mail-ru-cloud-1b73499b7f56#.gyiu0i83t

Похоже они снова его полюбили ;)

Учитывая то, что эта статья на homepage tarantool :)

я говорил про эксплуатацию. пост написан разработчиком.

да, мне ближе вопросы эксплуатации как раз

Похоже они снова его полюбили ;)

тарантул адски форсится даже внутри компании.

тарантул адски форсится даже внутри компании.

неясно зачем

NIH

то есть любой другой NoSQL - NIH

у майла есть возможности его внедрять\сапортить?

ну мейл его написал же.

ну просто мало написать. Если люди будут внедрять - будут сталкиваться с трудностями. К кому им идти?

очевидно, когда у тебя разработчики под боком - это относительно легко. во всяком случае, заметно легче, чем когда они не под боком. тем не менее: http://stackoverflow.com/search?q=tarantool 116 results http://stackoverflow.com/search?q=redis 37k reuslts

вот вот

очевидно, когда у тебя разработчики под боком - это относительно легко. во всяком случае, заметно легче, чем когда они не под боком. тем не менее: http://stackoverflow.com/search?q=tarantool 116 results http://stackoverflow.com/search?q=redis 37k reuslts

Аргумент, да.

но если разработчик скажет что он вам ничем не обязан и вообще у него работы валом в своем мейле

@spuzirev ну те чуваки что его разрабатывают в личном общении кажутся вменяемыми )

@spuzirev ну те чуваки что его разрабатывают в личном общении кажутся вменяемыми )

факт.

они возможно его и допилили. но не находясь там я бы не рискнул его использовать.

им бы продавать его

с сапортом и тд

мне кажется, это было бы тогда более интересно

они планируют

коллеги кому интересно https://telegram.me/clickhouse_ru

Есть боги nginx? https://gist.github.com/anonymous/e29965d6c2be07b958601910fb03a4b0

Чет при запросе на локейшен nginx валится в 400.

В случае когда запрос уходит на второй proxy_pass

мрак

ты что хочешь сделать?

Проксирование картинок со стейджинга в прод.

Которые 404

Есть боги nginx? https://gist.github.com/anonymous/e29965d6c2be07b958601910fb03a4b0

уверен, что 400 отдает не fallback.tld? включи дебаг-лог и читай.

Чет при запросе на локейшен nginx валится в 400.

А что говорит tcpdump?

Например что прилетает в фолбэк

Да, чет не подумал что ттуда бэдреквест прилететь тоже может )

Проксирование картинок со стейджинга в прод.

зачем такой фоллбек а не try_files?

или это балансер?

Да

ERROR: S client not available

Там s3

Схема такая что я сначала ищу картинку в бакете стейджинга, если ее нет то иду в бакет прода

Это если упрощенно. Насамом деле оно сначала идет в кещ сервер, а кеш сервер в бакет

Ибо у нас ресайз на лету

В результате кто на стецджинге работает может загружать свои картинки к объектам, они будут лежать в бакете стейджа, а если в базе путь есть но самой картинки нет, то значит надо сходить в прод. Т.о. на стейдже всегда есть красивые картинки и не надо синкать бакеты.

...

PROFIT

На лету ресайзите - а чем? Как?

энжинксом наверно ! )

Ну способов как-бы не мало есть )

Мы используем сторонний сервис

imgix

Там можно в панельке указать куда он должен ходить за исходниками. Вот у нас он ходит в S3. Перед ним стоит наш кэш чтобы было дешево.

Сап, бандиты. Хочу научиться программировать ДЛЯ СЕБЯ. Не стоит цели стать разработчиком. Просто имеется очень большой интерес к этому делу :) выбрал питон. Подскажите курсы или сайты для обучения. Желательно фри и ру.

hexlet.io

главное не ходи сюда https://telegram.me/rudepython

Сап, бандиты. Хочу научиться программировать ДЛЯ СЕБЯ. Не стоит цели стать разработчиком. Просто имеется очень большой интерес к этому делу :) выбрал питон. Подскажите курсы или сайты для обучения. Желательно фри и ру.

если ты прямо совсем нулевой, то на интуите хороший курс

с дедом

http://www.intuit.ru/studies/courses/12179/1172/info

Сап, бандиты. Хочу научиться программировать ДЛЯ СЕБЯ. Не стоит цели стать разработчиком. Просто имеется очень большой интерес к этому делу :) выбрал питон. Подскажите курсы или сайты для обучения. Желательно фри и ру.

Python crash course

От гугла же ещё вроде хороший курс

https://www.codecademy.com/learn/python

"на интуите хороший" - звучит очень странно

"на интуите хороший" - звучит очень странно

нет

http://www.intuit.ru/studies/courses/16499/1298/info

мало там конечно нормального и куча старого говна, но норм вещи попадаются

и по какой версии ядра это ?

ну там скорее общая инфа

тоесть ничем не отличающающаяся от десятков книжек

и достаточно прочитать того же робачевского ?

тоесть ничем не отличающающаяся от десятков книжек

курсы на хекслете тоже врятли отличаются

или кернигана ?