Где хранится ключ SSH в OS X после удаления самого файла ключа?

Добрый день!

Сгенерировал ключ паролем через терминал. Получил 2 файла в папке ~/.ssh: id_rsa и id_rsa_pub.

После этого подключился к серверу (через терминал) с помощью данного ключа и паролем к нему. В папке  ~/.ssh появился еще один файл known_hosts

Вопрос: после того, как я удаляю из папки все файлы доступ к серверу через терминал все равно сохраняется. Смотрел в связке ключей, там ничего не сохранено. Где же тогда хранится ключ? Допустим, я хочу убрать доступ у этого компьютера. Повторю удаление самих файлом ключей из папки ~/.ssh не помогает. Доступ все равно сохраняется и уже никакие ключи не требуются.

Спасибо