ScrollBar em RecyclerView

Como posso personalizar a ScrollBar no RecyclerView?

Por exemplo, faço o RecyclerView assim:

<android.support.v7.widget.RecyclerView
    android:id="@+id/recyclerViewListaClientes"
    android:layout_width="wrap_content"
    android:layout_height="wrap_content"
    android:background="@color/white"
    android:cacheColorHint="@android:color/transparent"
    android:clipToPadding="false"
    android:divider="@null"
    android:dividerHeight="0dp"
    android:listSelector="@android:color/transparent"
    android:scrollbarStyle="outsideOverlay"
    android:scrollbars="vertical" />

O ScrollBar fica simples, só consigo fazer a rolagem deslizando o dedo na tela.
Como posso fazer com que eu consiga clicar no ScrollBar e arrastar ele para onde eu quiser?
Por exemplo se eu quiser deslizar mais para o fim da lista, não preciso ficar passando o dedo na tela, basta eu clicar no ScrollBar e arrastá-lo.