а я вот не могу больше пить

надоело

а я вот не могу больше пить

огого

а я вот не могу больше пить

Щас грибы нормальные идут

Щас грибы нормальные идут

уже всё

холодно

может быть последние можно найти

а я вот не могу больше пить

ДОРОГУ МОЛОДЫМ!!!

ох лол

ДОРОГУ МОЛОДЫМ!!!

Да.

Сказал картер, который не пришёл ни на линуксовку, ни на питоновстречу.

ВЫПИЛ ПУЭР @ ЛЁГ СПАТЬ

:)

Сказал картер, который не пришёл ни на линуксовку, ни на питоновстречу.

почему кстати?

почему кстати?

Так получилось. ?

Ну чо ты сразу.

жуть

В vm, в arch

у них очень крутая вещь - rump kernels. ну и ещё npf

Проведите мне ликбез - зачем нужен Amazon S3

В чём подкол?

раздача статики

Коллеги, кто может ответить на вопрос о приоритете записи и чтения с диска в linux? http://unix.stackexchange.com/questions/313126/priority-read-and-write-files

ну я.

ну так отвечай уже

Проведите мне ликбез - зачем нужен Amazon S3

именно со словом amazon или вообще?

ну так отвечай уже

человеку надо посмотреть в /sys/block/sdb/queue/iosched/

для deadline там неплохой набор крутилок

именно со словом amazon или вообще?

вообще

именно со словом amazon или вообще?

в частности в чем прикол minio.io

в частности в чем прикол minio.io

о, охрененно. надо будет потрогать.

о, охрененно. надо будет потрогать.

очень охрененно. а зачем она?

вообще

представь, что у тебя 16 млн файлов по 64-128кб

представь, что у тебя 16 млн файлов по 64-128кб

И?

ну ты их как хранить будешь?

Да зачем же 16

180

180

да можно пойти дальше, как у моих коллег: 1 млрд. объектов.

да можно пойти дальше, как у моих коллег: 1 млрд. объектов.

эм, честно, пока не вижу принципиальной пролемы с храненнием оного просто на ФС

ну ты их как хранить будешь?

ну на fs как и под кеапотом тот же миниио и делает, индес только прикручу

Как именно на фс? Свалишь весь млрд в один каталог?

или нет. и индекc. ну так скажем под полляма в ящике cyrus пережевает не напрягаясь. пока индекс конечно есть

Как именно на фс? Свалишь весь млрд в один каталог?

Стандартная двухуровневая вложенность каталогов Как под кэш

Или что-то подобное

Стандартная двухуровневая вложенность каталогов Как под кэш

Лучше трех.

А теперь. Какая фс? На каком железе?

FAT16!!!

УИИИИИ!!!!

А как отдавать на одном ендпоинте и утилизить весь канал?

И на дискетках!

А как делать это из нескольких физических точек?

И на дискетках!

Ты теперь каждый день будешь радостный просыпаться с глупыми шутками?:)

не завидуй

Ты теперь каждый день будешь радостный просыпаться с глупыми шутками?:)

Ну да. Октябрь же на дворе

А теперь. Какая фс? На каком железе?

Xfs

А как делать это из нескольких физических точек?

Lsync

эм, честно, пока не вижу принципиальной пролемы с храненнием оного просто на ФС

Принципиально проблем нет. По факту, сколько тебе нужно времени чтобы поднять и саппортить распределенное хранилище с практически неограниченной скоростью отдачи контента по http?

Как вчера на pbp обсуждали, все дешевле амазона, но с ним очень быстро всё взлетает.

Я вот пошёл, кликнул мышкой, сделал bucket. Сделал формочку для положить туда файлик, положил формочку на asg с elb. Всё. я сделал хостинг картинок.

А можно пойти дальше и напилить формочку на aws lambda.

товарищи, я пытаюсь загрузить слой дорог OSM (данные отсюда http://beryllium.gis-lab.info/project/osmshp/) в PostGIS, система OS X, постгис стоит через brew. я создал базу через psql: CREATE DATABASE gisdb; \connect gisdb; -- Enable PostGIS (includes raster) CREATE EXTENSION postgis; -- Enable Topology CREATE EXTENSION postgis_topology; -- Enable PostGIS Advanced 3D -- and other geoprocessing algorithms CREATE EXTENSION postgis_sfcgal; -- fuzzy matching needed for Tiger CREATE EXTENSION fuzzystrmatch; -- rule based standardizer CREATE EXTENSION address_standardizer; -- example rule data set CREATE EXTENSION address_standardizer_data_us; -- Enable US Tiger Geocoder CREATE EXTENSION postgis_tiger_geocoder; -- routing functionality CREATE EXTENSION pgrouting; -- spatial foreign data wrappers CREATE EXTENSION ogr_fdw; -- LIDAR support CREATE EXTENSION pointcloud; -- LIDAR Point cloud patches to geometry type cases CREATE EXTENSION pointcloud_postgis далее конвертнул шейпы shp2pgsql -s 4326 -W LATIN1 highway-line.shp > highway-line.sql и залил их в базу psql -d gisdb -h localhost -U postgres -f highway-line.sql штука в том, что я не совсем понимаю где сами слои, в базе 4 схемы, я не знаю куда смотреть ?

Привет. Может логичнее этот вопрос в специальный тредик направить, @lolkasasa?

мне видимо не совсем верно объяснили тематику данного чата

ERROR: S client not available

жаль, спасибо

ну тут общие вопросы

а конкретно по постгресу есть отдельный чатик и там скорее ответят

Слово topology нам как-бы намекает...

мне видимо не совсем верно объяснили тематику данного чата

просто есть более специфические чаты где можно получить быстрее консультацию. у нас есть спецы по постгресу, например @demeliorator

но они не всегда тут

об том и речь

Принципиально проблем нет. По факту, сколько тебе нужно времени чтобы поднять и саппортить распределенное хранилище с практически неограниченной скоростью отдачи контента по http?

хорошо, а не распределенное типа minio.io?

Lsync

Обломись с lsyncd

хорошо, а не распределенное типа minio.io?

Да я не смотрел. Тут мне кажется упор в поддержку апи s3

Обломись с lsyncd

1. почему? 2. это был просто пример, вообще заливка в несколько мест должна решаться заливкой в несколько мест, а не бэалграунд синхронизацией

Да я не смотрел. Тут мне кажется упор в поддержку апи s3

Типа до фига тулзов его умеют уже. Можно им продолжить своё хранилище

1. почему? 2. это был просто пример, вообще заливка в несколько мест должна решаться заливкой в несколько мест, а не бэалграунд синхронизацией

Это не связанные вещи.

1. почему? 2. это был просто пример, вообще заливка в несколько мест должна решаться заливкой в несколько мест, а не бэалграунд синхронизацией

Потому что есть лимиты на количество объектов за которыми может смотреть inotify.

Это не связанные вещи.

В общем, случае ты заливаешь в N мест, а раздаешь из M. Чаще всего M >= N.

Хотя, если там 64к каталогов, то все ок, правда, все 64к надо добавить будет

В общем, случае ты заливаешь в N мест, а раздаешь из M. Чаще всего M >= N.

IMHO, синхронизацию реализуй своей софтиной, нехер исользовать универсальные синк всего и вся

особенно если это раздавалище, то нагрузка на такое ПО минимальна

а ещё, можно поднять медленный распределённый OpenStack Swift...

Беда в том, что на иерархии 256/256 и 4 млн файлов xfs_inode жрет 3.2гб памяти

IMHO, синхронизацию реализуй своей софтиной, нехер исользовать универсальные синк всего и вся

Как определить грань "своей софтины"? Если тебе не нравится s3, давай писать свою ось?

И еще 1гб сверху - это dentry cache

а ещё, можно поднять медленный распределённый OpenStack Swift...

Это же чужая софтина

Это же чужая софтина

:-/

Кстати, обежать такую иерархию - это где-то 14минут

т.е. я правильно понимаю, что основной шик, что я не леплю свой велосипед с индексами, а юзаю так или иначе универсальный интерфейс, который под капотом например те же каталоги и индекс? плюс, не в случае minio дешевый кластер и шардинг?

Именно

т.е. я правильно понимаю, что основной шик, что я не леплю свой велосипед с индексами, а юзаю так или иначе универсальный интерфейс, который под капотом например те же каталоги и индекс? плюс, не в случае minio дешевый кластер и шардинг?

угу

а как же задержки на сетевое взаимодействие и протокол?

так ты же не будешь проксировать это через себя?

а как же задержки на сетевое взаимодействие и протокол?

Между кем и кем?

Между кем и кем?

ну положить/взять против сразу на диск