mViewPager.setOffscreenPageLimit(0);
를 쓰면 될 것 같았는데
http://stackoverflow.com/questions/10073214/viewpager-setoffscreenpagelimit0-doesnt-work-as-expected
위 글을 보니 안된다고 하는 것 같구.. 대신
setUserVisibleHint
를 써서 해결했다고 하는 것 같습니다.
참고하세요~