что-то делаешь не так, всё должно восстанавливаться, но только если ты сразу засеттишь данные
по своей проблеме пока удалось разобраться, создавл простой список, всё работает даже пересоздавая layout manager каждый раз, он ресторит позицию, видно или я накосячил через Анко когда делал для андроид Х view или адаптер у меня с косяком, он тоже переписанный немного хитро(чтобы 1 адаптер был в проекте всегда и у него много настроек), в чем конкретно проблема пока не знаю, но с нуля сделал проект и всё хорошо работает само (