저같은경우는 각각 뷰에다 사각형을 넣고 터치 포인트에 X,Y 를 충돌처리 함수로 비교해서 Action Up 되었을때 포인트의 충돌지점 즉 뷰를 감지 해서 이벤트를 처리했습니다.
Rect r = new Rect(View_x ,View_y ,View_W+View_x,View_H+View_y); //뷰에 사각형 그리기
if(r.contains((int)touch_x,(int)Touch_y)) 만약에 터치 포인트가 r이라는 사각형안에 들어있으면
//할일처리
break;
이런식으로 ..