LinearLayoutManager 대신에 StaggeredLayoutManager를 horzontal방향으로 spanCount를 2로해서 테스트 해보시죠.
val layoutManager = StaggeredGridLayoutManager(2, StaggeredGridLayoutManager.VERTICAL)