지연시간의 경우 ffmpeg 같은 SW 방식이 HW방식보다 빠를 수도 있습니다. HW 방식은 드라이버 로드하는데도 시간이 꽤 걸리거든요... 버퍼 크기를 확인 해보시는게 좋을 듯 합니다.
폰에서 디코딩을 SW 방식이 아닌 HW 방식을 쓰시고자 한다면,
서버를 MS Media Streaming Server 로 구축하시는것도 좋을 듯 합니다.
구축하면 SmoothStreaming이나 HLS로 데이터를 전송할 수 있습니다.
HLS의 경우 MediaPlayer API에서 지원하니 일반적인 플레이어 모두 사용가능하며,
구글이 공개하는 ExoPlayer 같은 걸 사용하면 HLS, SmoothStreaming 모두 재생 가능합니다.