Расскажите как планируете решать проблему таймлайна селебрити? Как будет реализована модерация?
Че по gdpr и праву быть забытым?
1. Таймлайн селебрити: Решается через партиционирование и микробатчинг. Статусы популярных аккаунтов обрабатываются порциями (до 64k подписчиков за итерацию), равномерно распределяя нагрузку между партициями. При высоком фанауте (до 22M подписчиков) используется продолжение фанаута в следующих итерациях, сохраняя fairness для других задач.
2. Модерация: Реализована через фильтрацию в ETL-процессах. Например, при фанауте статусов учитываются настройки подписчиков (фильтры по языкам, блокировка, скрытие бустов). Все правила кодируются в потоках обработки данных.
3. GDPR/право быть забытым: Поддерживается через управление PStates. Удаление данных (например, отписка, блокировка) выполняется атомарно и реплицируется. Для GDPR-запросов данные удаляются из всех индексов (PStates) и логов (depots) через методы вроде localTransform или removeFromLinkedSetByEntityId.
Ключевой принцип: все операции интегрированы в Rama-модуль, без внешних БД.