activity가 종료될 떄 handler에 던진 메시지를 remove 하시면 됩니다.
Remove any pending posts of messages with code 'what' that are in the message queue.
또는 Handler를 약한 참조로 생성해서 사용하는 방법도 있습니다.
아래 블로그를 참고하세요
http://aroundck.tistory.com/1020