綜合外媒報導，哈佛大學電腦科學工程師兼內科醫生柯漢（Isaac Kohane）在其新書中透露，他用美國醫學資格考試測試最新版的ChatGPT，結果令人驚訝，該人工智能能答對超過90%的題目，不僅優於前幾版，甚至比部分持有執照的醫生表現更佳。
柯漢表示，ChatGPT不僅能回答考試問題，還可在臨床上為醫生提供更佳建議，例如教導醫生如何用更簡單、清晰及具同理心的方式向病患解釋病情。此外，它還能輕鬆地摘要冗長的醫學報告，將住院程序翻譯成不同語言，甚至將醫療術語精簡成醫學院6年級學生易於理解的內容。
柯漢進一步用ChatGPT進行臨床實驗，將自己過去治療的個案資料，如超音波和體內激素標準等提供給ChatGPT。意想不到的是，它成功診斷出罕見的先天性腎上腺增生症（congenital adrenal hyperplasia），機率僅為10萬分之1，與柯漢多年研究和經驗得出的結果相符。
然而，柯漢也意識到全球數百萬家庭能透過ChatGPT獲取醫療知識，他表示：「我不知道我們如何才能保證或證明GPT-4的建議是安全或有效的。」柯漢認為，ChatGPT容易出錯，錯誤通常在細節上，如公式計算錯誤、忘記計算平方等，甚至曾算錯人體的BMI值。「一個錯誤的數字或計算錯誤的體重，都可能導致嚴重的診斷誤差。」柯漢詢問ChatGPT有關計算錯誤時，它回答：「我無意欺騙或誤導任何人，但我有時會根據不完整或不准確的數據犯錯，我也沒有人類醫生或護士的臨床判斷或道德責任。」