E aí, se você usa ou já usou Android Navigation, com certeza você já se deparou com o problema de ter que ir para uma tela do seu App, mas quando apertar o botão voltar não deve voltar para a tela que você saiu. 

Para resolver esse problema é bem simples, no código abaixo te mostro como resolver.

val direction = UsersFragmentDirections.actionUsersFragmentToChatFragment(obGroup.uuid)
findNavController().navigate(
    direction,
    NavOptions.Builder().setPopUpTo(R.id.users_fragment, true).build()
)