Не в утечке обычно, а в выполнении слишком многого кода в ui потоке
Я перепроверил, дело точно не в этом. У меня при старте экране запускается поток, который загружает все данные из Room, и отправляет в презентер, он в свою очередь в фрагмент, фрагмент в адаптер. И вот когда данные из не UI потока отправляются в UI поток, начинаются скипаться фрэймы. Я так понимаю, что recyclerView начинает какую-то работу делать, что фрэймы начинают скипаться, хз. Если закоментить  notifyDataSetChanged(); то все ок - фрэймы не скипаются