말씀하신 부분은 setOnTouchListener로 구현 불가능합니다.
ACTION_DOWN 하고 끝나는 부분은 onClickListener가 있고요
onTouchListener에서는 ACTION_DOWN,ACTION_MOVE, ACTION_UP 이 순서대로 따라갑니다.
터치시 flag를 둬서 처리하는게 좋아보입니다.