안드로이드에서 영상 출력은 RGB 형태의 Bitmap 출력 혹은 YUV형태의 openGL(vulkan) 로 출력으로 나뉩니다.
색손상이 없어야 하니 YUV 변환을 하지 않는 Bitmap 출력으로 하셔야 할 듯 하며,
libjpeg-turbo를 쓰더라도 결론적으로 Bitmap 객체를 만들어서 출력해야 하니. 안드로이드에서 제공하는 BitmapFactory.decodeFile 를 써서 하시는게 제일 좋을 듯 합니다.
문제가 되는 부분은 핀치줌 쪽 속도 문제로 생각되는데, 영상을 임의로 줄이는게 아니라 Layout의 background 이미지로 설정하고 LayoutParams 값을 zoom 입력 값에 따라 조절하여 세팅하시는 방식으로 구현하시면, 렌더러에서 이미지 사이즈를 조절하기 때문에, cpu를 통해 bitmap size를 매번 줄여 설정하는 방식보다 빠를 것으로 생각됩니다.