Pessoal, percebi que o click longo só funciona depois de eu dar um click simples no item.
E ao analisar uns APP em meu celular percebi que eu posso sim sobrescrever um método, para quando eu precionar um item da recyclerview acontecer algo. Em fim preciso dar um longo click e não um clik simples + um longo em seguida
Na realidade, o bug da sua app acontece pois você está retornando false no onItemLongClickListener e no onLongClickListener. Tente mudar o retorno para true e veja o que acontece.