전에 답변주신 분께서 말씀하셨다시피 Fragment의 배경 색상이 alpha channel을 가지고 있을 경우에 뒷 배경이 겹쳐서 나오는 현상이 발생할 수 있습니다.
버튼을 클릭하면 화면에 보여질 화면을 제외하고는 visibility를 false로 설정하시거나, 가장 상단에 있는 Fragment의 Background Color에 Alpha Channel을 없애면 됩니다.
색상 16진수 코드 표기는 #FFFFFFFF -> # FF(Alpha) / FF(Red) / FF(Green) / FF(Blue)의 형태로 되어있습니다.