ScrollView는 최상위 레이아웃이 되는게 맞을 것 같구요. 버튼을 같이 스크롤 하고 싶으신거면 ScrollView대신에 NestedScrollView를 사용하셔야 할 것 같은데, 100% 정확하게 기억이 안나니 테스트 해보세요.
<?xml version="1.0" encoding="utf-8"?>
<ScrollView xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:app="http://schemas.android.com/apk/res-auto"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:fillViewport="true"
tools:context=".ui.home.HomeFragment">
<LinearLayout
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:orientation="vertical">
<ListView
android:id="@+id/listView"
tools:listitem="@android:layout/simple_list_item_2"
android:layout_width="match_parent"
android:layout_height="wrap_content" />
<Button
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:text="ADD" />
</LinearLayout>
</ScrollView>
ListView는 성능상의 이유와 라이브러리 지원 등의 이유로 요즘 사용하는 사람이 거의 없으므로 RecyclerView를 검토해 보시기 바랍니다.