SSH は Secure Shell の略です。サーバーの管理画面ではできない作業、たとえばファイルのまとめての確認や、データベースの書き出し、プログラムの配置を、コマンドで行えます。通信は暗号化されるので、途中でパスワードや中身を読まれにくくなっています。
レンタルサーバーには、SSH を使えるものと、ファイルを送る FTP しか使えないものがあります。SSH が使えれば、作業の手順をそのまま記録に残せ、サーバーの通信の記録（アクセスログ）も読みやすくなります。サーバーを選ぶときに確かめておく項目の 1 つです。
SSH に入るための鍵やパスワードは、サーバーそのものの鍵です。作業を頼んだ会社との契約が終わったときや、担当が替わったときは作り直し、使わなくなった鍵は消します。