ユーザー単位で許可(PAM認証を使う)
etc/pam.d/sshd に追記 account required /lib/security/pam_access.so
/etc/security/access.confが有効になる

TELNETの設定の時/etc/security/access.confに記述した設定が有効になる。

/etc/ssh/sshd_config に
UsePAM yes を追記する