원하시는 기능이 불가능하다는 말입니다.
서비스로 돌고 있는 앱이 백버튼 혹은 홈버튼을 감지하려면 프레임웍 자체의 홈키,백키 이벤트를 후킹할 수 있어야 하는데 불가능합니다.
따라서 서비스가 아닌 그냥 액티비티로 구동되는 앱을 만들고, 최상위(foreground)로 동작을 하다가 onPause 등으로 빠질 때, 이전키가 눌린 것인가를 판단해서 백키, 홈키 구분을 하라는 말이죠
하지만, 이러한 방법도 전화가 온다던가 하는 이유로 onPause되는 경우가 있으므로 예외상황에 대한 처리를 꽤 많이 해야 할 겁니다(전화가 와서 background로 빠진다면 백키가 눌린 것도 홈키가 눌린 것도 아님).