안드로이드 RTSP 파서 성능도 그리 좋지 않고 HW코덱의 경우 처음 로딩하는데 시간을 다소 잡아 먹는 듯 합니다.
비슷한 프로젝트를 했었는데 ..
10fps 720p 영상기준으로 FFMPEG가 0.5~1초의 딜레이고 Mediaplayer사용시 0.5초 정도 딜레이가 더 생겼습니다.
해상도가 저해상도라면 FFMPEG를 이용해서 재생해보세요.
(직접 개발을 하지 않고 VLC 플레이어 같은 것에 URL만 입력하여 테스트 해 보셔도 됩니다.)