맞는 답변일지는 모르겠습니다만
플래그 중에
Intent.FLAG_ACTIVITY_NO_HISTORY
플래그를 사용해보셨나요? 위 플래그는 해당 액티비티가 히스토리 스택에 남지 않도록 하여
액티비티가 다른 액티비티에 가려지게 됬을 때 자동으로 제거되는 플래그입니다.
본체가 되는 액티비티에 위 플래그를 추가하고 작업해보시면 어떨까요.
그것도 아니라면 본체가 되는 액티비티 onPause()를 오버라이드해서
액티비티가 퓨즈됬을 떄 this.finish()하시면 될거 같습니다.