Por seguridad se puede quitar el acceso con contraseña vía SSH de las PC o servidores con Linux, dejando así solo la posibilidad de usar la seguridad basada en llaves rsa.
Una vez que tengamos configurado el acceso con SSH RSA y que ya probamos que funcionasn, editamos el archivo /etc/ssh/sshd_config
sudo vim /etc/ssh/sshd_config
Buscamos la directiva PasswordAuthentication y ponemos su valor en no
PasswordAuthentication no
Guardamos el archivo y reiniciamos el servidor.
En Ubuntu
sudo service ssh restart
En CentOS/Fedora
sudo service sshd restart