Asignar los permisos correctos a los archivos id_rsa id_rsa.pub.
Después de configurar un usuario y copiar su carpeta home, tiraba error al conectar por ssh, faltaban asignar los permisos, estos son los permisos que corresponden.
sudo chown $USER:$USER ~/.ssh -R
chmod 600 ~/.ssh/id_rsa
chmod 644 ~/.ssh/id_rsa.pub
Usar $USER si se ejecuta sudo desde el usuario que corresponde, de lo contrario, usar el nombre del usuario y el grupo correspondiente.