https://en.wikipedia.org/wiki/Transport_Layer_Security указывает, что сертификат сервера передан клиенту. Секретный ключ - это то, о чем вы хотите беспокоиться.
Сертификат SSL не может использоваться сам по себе без закрытого ключа, однако без его совместного использования с общедоступными веб-клиентами невозможно установить безопасную связь.