Selector를 사용하는건 맞는 것 같구요,문제는 FAB에 checked 상태가 없다는 겁니다. checked상태를 사용하려면 Checkbox나 RadioButton처럼 FAB에 Checkable인터페이스를 구현하는 커스텀 뷰를 만들면 되지 않을까 생각하는데요.
아래 Github 라이브러리를 참고하시면 도움이 되실 것 같네요.
https://github.com/kiddouk/CheckableFloatingActionButton