Evgeny
я застал кончину whitehost в 13, кажется, кончину mchosta, кучи хабра и лепро хостингов.
Слушай, а что такое лепрохостинги? Я чтот пропустил или лепра реально плодила хостинги для своих?
Steve
Записей
Alexander 🐕
Ну давай 50м в сутки
И как оно сейчас в постгресе существует?
Alexander 🐕
Какой-нибудь полуручной шардинг?
Olsen
Какой-нибудь полуручной шардинг?
так вот тот первый флопс - тоже откуда-то из социалки и то там хорошо, то плохо...
Steve
50 миллионов
Steve
В сутки записывать
Steve
Последовательно
Olsen
не много.
Alexander 🐕
Ну - это я уже понял
Steve
Сейчас никак
Alexander 🐕
Да, в общем-то, довольно много
Aleksandr
так вот тот первый флопс - тоже откуда-то из социалки и то там хорошо, то плохо...
на флопсе сейчас всегда хорошо, если что но возможно это было не мне
Steve
Кассандра отлично подойдёт есть смысл запариться
Alexander 🐕
За 20 дней миллиард Это, кагбе, дохрена
Olsen
бг 600к записей (изменение статуса или что-то такое) на nosql базе обрабатывал пока к нему на хост не подселили проектов еще, секунды за полторы.
Steve
Да все было быстро пиздец
Alexander 🐕
А сколько записей-то было?
Steve
Пг в несколько раз хуже
Steve
Мало тысячи
Alexander 🐕
Аааа, хорошо
Alexander 🐕
Вас ждет ряд неприятных открытий
Steve
В чем?
Alexander 🐕
Первое из которых - кассандра использует mmapped files
Alexander 🐕
Да во всем
Steve
Ну и отлично?
Alexander 🐕
Отлично?
Alexander 🐕
Я правильно понимаю, что CTO ушел
Alexander 🐕
А новый не вырос?
Olsen
кстати, по поводу нагрузок. мне тут про технологии стучалась какая-то женщина из IBM. может выбьем коллективную скидку от них для чатика?)
Alexander 🐕
И слова “memory-mapped files” не говорят ничего?
Olsen
ток я не знаю чего хотеть
Steve
Разве ммап это не то как работают все файлы?
Alexander 🐕
Нет
Alexander 🐕
Это специальный сисколл тащемта
Olsen
https://vscale.io/ru/ - а старый он?
Alexander 🐕
Который мэпит файл на виртуальную память
Aleksandr
https://vscale.io/ru/ - а старый он?
не старый хотя я не понимаю критерия "старый", что имеется ввиду?
Olsen
как давно существует
Aleksandr
по-моему меньше года
Evgeny
Который мэпит файл на виртуальную память
так норм же! Виртуальной памяти много, ее не жалко.
Olsen
селектел - это адекватные чуваки?
Aleksandr
да
Evgeny
+1
А если будет не хватать - увеличим свап.
Alexander 🐕
Но 50 миллионов записей в день - это хорошо, да
Olsen
да
это про селектел? вскале.ио - их проект, выходит.
Alexander 🐕
Если не секрет - откуда такой поток
Olsen
пойду регаться)
Alexander 🐕
Ну и, конечно, тот факт, что кассандра - write-optimized А читать с нее весьма сильная боль Он кагбе тоже ускользнул
Alexander 🐕
Пока хотсет в памяти - она лучше постгреса, дооо
Olsen
а кто такая касандра?
Olsen
ток не бейте
Steve
В системе ты открываешь файл а ос внутри делает ммап
Steve
И это самый быстрый и оч. Надёжный способ
Alexander 🐕
Если вообще есть критерии для сравнения этих двух не слишком похожих систем хранения и извлечения информации
Steve
50м это 10м пользователей
Steve
Ну открой реализацию fopen
Alexander 🐕
50м это 10м пользователей
10м пользователей это аудитория большая, чем у MRA была
Steve
И 5 сообщений у каждого в личке
Steve
Актор сейчас в сети имеет пол ляма, новые кастомеры новые юзера
Steve
Если со сбером контракт подпишем то там сразу трафика будет прорва
Alexander 🐕
Ну - у любого роста есть предел же
Steve
Ну да
Steve
До 2 ярдов)
Alexander 🐕
Но идея в общем все та же Чтобы кассандра нормально работала, надо чтобы хотсет не слишком вызывающего размера был
Alexander 🐕
А то вышеупомянутые 20Т диски прикладывали довольно плотно
Steve
Обычно так да
Alexander 🐕
Правда, коллеги нашли способ это преодолеть
Steve
Сервер наш все сам кеширует
Steve
Там чтения даже нет обычно просто запись и иногда чтение
Steve
Все в оператве сервера идёт иначе такой перфрманс не сделать
Alexander 🐕
Ну - тогда более-менее пофиг
Alexander 🐕
Это логично, да
Steve
Сорян у меня тут инет пропадет