실제 물리적인 파일경로는 삭제가 되었지만 미디어스토어에서는 이를 모르기 때문에 명시적으로 알려주어야 합니다.
contentResolver를 사용해서 직접 삭제해도 되지만 직접 미디어스토어에 이벤트를 날려서 시스템에서 직접 수행하도록 하는것이 더 좋겠지요.
아래는 특정 경로에 대해서 미디어 스캔을 수행하도록 이벤트를 날리는 코드입니다.
sendBroadcast(new Intent(Intent.ACTION_MEDIA_SCANNER_SCAN_FILE, Uri.parse("file://" + path)));