Chicos hola que tal..!!

Les cuento tengo el siguiente problema.
No puedo acceder a mas de un servidor con ssh-keygen -t rsa
he seguido los pasos que indican en varios sitios y no ahi caso, solo puedo acceder a un solo servidor.
El procedimiento que uso es el siguiente.

#################################################################
[tulox@admin ~]$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/tulox/.ssh/id_rsa):
/home/tulox/.ssh/id_rsa already exists.
Overwrite (y/n)? y
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/tulox/.ssh/id_rsa.
Your public key has been saved in /home/tulox/.ssh/id_rsa.pub.
The key fingerprint is:
1f:7a:f2:73:21:7a:a6:fc:d0:a4:dc:26:8f:b5:9c:81 tulox@admin.guru.net
[tulox@admin ~]$
#################################################################
y al copiar el id_rsa.pub al authorized_keys al segundo server remoto me sigue solicitando la
contraseña, cabe señalar que la configuracion del sshd_config y versiones de ssh son las mismas en los servidores que estoy probando, tambien el mismo usuario, pero ni asi funciona.
en mis sshd_config tengo estas lineas descomentadas

RSAAuthentication yes
PubkeyAuthentication yes
#AuthorizedKeysFile %h/.ssh/authorized_keys

Que puedo estar haciendo mal ?

Saludos y un abrazo a todos.