왜 그런 기능이 필요하신지는 모르지만, BottomaNavigationView보다 더 적합한 뷰가 있는지 먼저 살펴보시구요. 꼭 사용해야 한다면,
NavigationView에 getMenu()메소드가 있습니다.
https://developer.android.com/reference/com/google/android/material/navigation/NavigationView#getMenu()
이 메소드를 Navigation Menu를 구해와서 원하는 아이템을 찾습니다. 그리고 찾으면 setChecked를 false로 설정해 줍니다.
Menu bottomNavigationMenu = navigationView.getMenu()
// BottomNavigationView는 ReaioGroup처럼 한개의 메뉴가 선택되는 것이 기본 동작임. 이걸 변경하기 위해 onCreate.등에서 호출.
bottomNavigationMenu.setGroupCheckable(0, true, false)
// 특정 메뉴의 선택을 없애기 위해 호출.
bottomNavigationMenu.findItem(R.id.menu_id).setChcked(false)
코드를 보시면 알겠지만, 기본 동작을 많이 변경해야 하기 때문에 거기에 따른 side effect도 있을 것 같습니다.