Дмитрий Харитонов
Я думаю что нужно использовать уже что-то вроде glusterfs minio или базу данных
Vasiliy Glazov
xfs?
Дмитрий Харитонов
заканчиваются иноды на xfs
Дмитрий Харитонов
очень тяжело оперировать файлвми на xfs
Дмитрий Харитонов
du за сутки не одупляет
Vasiliy Glazov
а создать хоть ext4 с нужным числом инодов?
Дмитрий Харитонов
и это на ssd
Vasiliy Glazov
и до бесконечности?
Дмитрий Харитонов
ну да
egs
Кидай в хранилище на субд, партицируй таблицу
Vasiliy Glazov
тогда надо что-то специфическое
Дмитрий Харитонов
Кидай в хранилище на субд, партицируй таблицу
ну вот и об этом думаю, или гластер с шардингом
Дмитрий Харитонов
какая база лучше для хранения болобов?
Дмитрий Харитонов
что-то вроде кассандры/сцыллы?
egs
Это логи какие-то? Ты из планируешь как-то читать/искать по ним?
Alexander "SonnySlave"
этот товарищ вроде занимается БД
Дмитрий Харитонов
Это логи какие-то? Ты из планируешь как-то читать/искать по ним?
это типа cdn сейчас
Vasiliy Glazov
Скоро мы будем смотреть изменения в Федоре из Тайги.
Anonymous
keepassxc + облака.
Так я так и делаю, ток боюсь немного свою китайскую прошивку на ведре.
Vasiliy Glazov
Что-то в федоре забили на сборку chromium...
ㅤ
Всегда так было сколько замечал. Это еще нормально. Было что на 2 версии была разница между сборкой в main репах и rpmfusion.
Alexander "SonnySlave"
а как относятся к пакетированию такого в Fedora? https://github.com/IrosTheBeggar/mStream
Vasiliy Glazov
а как относятся к пакетированию такого в Fedora? https://github.com/IrosTheBeggar/mStream
Электрон? Расстреливают на дальних подступах из крупнокалиберного пулемёта.
ㅤ
а как относятся к пакетированию такого в Fedora? https://github.com/IrosTheBeggar/mStream
Там node для него используется? Тогда можно пакетить.
Aw
Скоро мы будем смотреть изменения в Федоре из Тайги.
Кругом Тайга и бурые медведи. осатонели, значит быть весне ....
Alexander "SonnySlave"
Электрон? Расстреливают на дальних подступах из крупнокалиберного пулемёта.
нет, это опционально. это сервер
Alexander "SonnySlave"
Там node для него используется? Тогда можно пакетить.
да, там нода под капотом
Alexander "SonnySlave"
core вообще без гуя - это сервер
Vasiliy Glazov
тогда уточняй
Alexander "SonnySlave"
Express я не трогал - хз, что там
Alexander "SonnySlave"
но мне не для себя - для людей. на моем серваке всё равно нет федоры и я просто из npm себе поставил
Aw
какая база лучше для хранения болобов?
Если тебе нужен поиск по блобам и они текстовые, то что-то СУБД с индексацией (например: treegram в postgres). Если слить все говнецо и вытагивать по датам или ключам, то всякие key-value БД подойдут (casandra ... haselcast (если инмемори))
RafaelRS
Давно таких новостей не было:
https://shazoo.ru/2019/05/21/79587/vlasti-yuzhnoj-korei-perehodyat-s-windows-na-linux
Sergey
Давно таких новостей не было:
https://shazoo.ru/2019/05/21/79587/vlasti-yuzhnoj-korei-perehodyat-s-windows-na-linux
https://t.me/russianfedora_flood
Теперь такое только туда
Дмитрий Харитонов
Aw
касандру. вполне щас можно
Aw
если у тебе дофигени много данных (терабайты), то тогда подойдет что-то кластерное, я пользовал HBase
Alexander "SonnySlave"
ScyllaDB тогда уж наверное
Alexander "SonnySlave"
или оно всё ещё не готово?
Aw
ScyllaDB тогда уж наверное
оно как я понял inmemory, поэтому такие результаты. Надо смотреть, то что с диском работает
Дмитрий Харитонов
если у тебе дофигени много данных (терабайты), то тогда подойдет что-то кластерное, я пользовал HBase
Есть кассандра кластер с 1.2П данных и с этим тоже есть некоторые проблемы)
Есть шардинг кластер с монгодб тоже под петабайт, но там не блобы
Aw
Есть кассандра кластер с 1.2П данных и с этим тоже есть некоторые проблемы)
Есть шардинг кластер с монгодб тоже под петабайт, но там не блобы
Я бы больше рекомендовал уже кластер на hadoop со spark поднять. и на нем в паркете все хранить
Дмитрий Харитонов
Что там в монге устарео не знаю, она только стабилизировалась и перестала ломаться) Развивается вроде, 4-я ветка недавно вышла.
Aw
Дмитрий Харитонов
Я бы больше рекомендовал уже кластер на hadoop со spark поднять. и на нем в паркете все хранить
В хадупе пробовали accumulo базу. Но чем больше данных, тем медленнее работает. И со стабильностью проблемы несмотря на полную реплекацию.
Дмитрий Харитонов
При перезапуске ноды можно запросто потерять несколько файлов
Aw
Aw
ну или просто как файлы храните, там оно быстро их ворочает и распределенно
Дмитрий Харитонов
Ну, как вариант
Дмитрий Харитонов
Если фс, то гластер или лизард ещё можно попробовать наверное
Aw
Если фс, то гластер или лизард ещё можно попробовать наверное
Не работал с ними, ничего не могу сказать
Aw
а hadoop + spark + parquet - отработанная схема уже давно
Дмитрий Харитонов
А спарк там для чего?
Aw
ну или просто hadoop + spark + твои файлы
Aw
spark для реализации распределенных запросов к кластеру.
Aw
Там можно hive прикрутить, что бы и с помощью SQL запросы делать
Дмитрий Харитонов
Это нужно городить кластер хадупа, поверх кластер спарка?
Дмитрий Харитонов
Больно много точек отказа
Aw
Это нужно городить кластер хадупа, поверх кластер спарка?
Хадуп нужен для hdfs (файлового хранилища). Все остальное на спарке. Тут вариант скорее кластер спарка на хадупе
Aw
если есть просто кластер спарка, то впринципе прикрутить hdfs хранилище не сложно
Дмитрий Харитонов
Под мои задачи выглядит как оверхэд.
У меня сейчас всё на одном хосту лежит.
Aw
спарк кластер. как таковой - это просто фраймворк, который надо просто запускать с каждой задачей
Aw
Под мои задачи выглядит как оверхэд.
У меня сейчас всё на одном хосту лежит.
поэтому и вопрос, про сколько у тебя данных планируется по размеру?
Дмитрий Харитонов
Так там просто запись, чтение. Никаких задачь больше нет
Aw
а размер данных какой?
Дмитрий Харитонов
Это просто cdn
Дмитрий Харитонов
Один терабайт
Aw
Это просто cdn
работа с 500 гб очень сильно отличается с работой с 20 ТБ. Там другие сервисы технологии задачи