Conexión SSH a un servidor sin que nos pida password, usando nuestra llave pública

Primero generamos nuestra llave pública y privada (Puede ser generada como dsa o rsa):

$ ssh-keygen -t rsa

Luego copiamos el ID hacia el servidor remoto:

$ ssh-copy-id usuario@servidor.remoto

Si no tenemos el comando ssh-copy-id podemos hacer lo siguiente:

$ cat ~/.ssh/id_rsa.pub | ssh usuario@servidor.remoto "cat - >> ~/.ssh/authorized_keys"

Verificamos que se hayan creado las llaves autorizadas en el servidor remoto:

[usuario@servidor.remoto ~] $ cat ~/.ssh/authorized_keys

y eso es todo, ya podemos conectarnos sin que nos pida el password:

$ ssh -l usuario servidor.remoto

Referencias:
http://www.linuxquestions.org/linux/answers/Networking/Public_key_authentication_with_ssh
http://www.guia-ubuntu.org/index.php?title=Servidor_ssh