← 返回新闻首页
世界新闻网本地

研究:AI模型回答財務問題出錯率高 表現最優的是這款

許多人有財務問題時,愛求助於人工智慧(AI)機器人。但研究發現,市面上的AI模型回財務相關問題時,出錯率極高。

世界新闻网編譯湯淑君/綜合外電查看原文 ↗
研究發現,AI模型回答財務問題的出錯率高,但Claude Opus 5「推論」模式表現最佳。(路透)
研究發現,AI模型回答財務問題的出錯率高,但Claude Opus 5「推論」模式表現最佳。(路透)

研究發現,AI模型回答財務問題的出錯率高,但Claude Opus 5「推論」模式表現最佳。(路透)

許多人有財務問題時,愛求助於人工智慧( AI )機器人。但研究發現,市面上的AI模型回財務相關問題時,出錯率極高。

金融時報報導,科技公司Saturn的研究發現,當前最熱門的AI模型,包括 ChatGPT 、Claude、Copilot、Grok和 Gemini ,對財務相關提問提供的答覆出錯率有57%。若是詢問較複雜的問題,比方說需要不只一次計算者,AI模型平均出錯率達88%。有些模型遇上難題時,出錯率甚至高達99%。

這項研究用超過100個錢財相關問題,來考驗免費版及付費版AI模型,受測的模型包括:ChatGPT、Claude、Copilot和Gemini。問題最多重複五遍,對18種不同的AI模型總共問了超過1萬個問題。

結果發現,AI模型的答覆充斥著錯誤,包括計算錯了、未考量將實施的稅法規定改變,或AI自己幻想出規則。

最糟的是倚賴AI回答稅務問題恐致嚴重的財務損失。Saturn執行長喬利說:「數百萬人現在靠AI模型提供財務建議,但得到的卻是錯誤答案,可能造成金錢損失。」

例如,去年推出的免費版AI模型Claude Haiku 4.5,因為弄錯退休金稅法規定,害英國一名退休金儲戶面臨得補繳17,500英鎊稅金給國稅局。另一例是,被問到學生貸款問題時,Claude竟然「自創規則」,告訴某畢業生說,移居海外可停繳學貸。

研究發現,付費版AI模型給的答案比免費版正確,較新版模型的表現也比舊版好。

根據Saturn的研究,整體來說,表現最佳的模型是Claude Opus 5「推論」模式,但回答問題的出錯率仍有39%。

投資平台AJ Bell個人理財主管柯爾絲表示,AI給的財務相關建議不可輕信,但聊天機器人在預算規劃和資料研究方面的確很有用,例如根據某人的收入和支出,點出哪些地方可能花太多錢。

精華 FAQ Q1:這項研究發現AI回答財務問題的整體表現如何? Saturn測試超過1萬題後發現,主流AI模型回答財務相關問題的平均出錯率達57%,顯示現階段不宜把它們當成可靠的財務顧問。 Q2:哪些情況下AI模型的財務答覆最容易出錯? 當問題較複雜、需要不只一次計算,或牽涉稅法與規則變動時,AI更容易答錯,平均錯誤率達88%,部分模型甚至高達99%。 Q3:哪一款AI模型表現最好,研究又給出什麼提醒? 研究指出Claude Opus 5的推論模式整體表現最佳,但仍有39%出錯率。專家提醒,AI可用於預算整理與資料研究,卻不該直接取代專業財務建議。

Q1:這項研究發現AI回答財務問題的整體表現如何? Saturn測試超過1萬題後發現,主流AI模型回答財務相關問題的平均出錯率達57%,顯示現階段不宜把它們當成可靠的財務顧問。

Q1:這項研究發現AI回答財務問題的整體表現如何?

Saturn測試超過1萬題後發現,主流AI模型回答財務相關問題的平均出錯率達57%,顯示現階段不宜把它們當成可靠的財務顧問。

Q2:哪些情況下AI模型的財務答覆最容易出錯? 當問題較複雜、需要不只一次計算,或牽涉稅法與規則變動時,AI更容易答錯,平均錯誤率達88%,部分模型甚至高達99%。

Q2:哪些情況下AI模型的財務答覆最容易出錯?

當問題較複雜、需要不只一次計算,或牽涉稅法與規則變動時,AI更容易答錯,平均錯誤率達88%,部分模型甚至高達99%。

Q3:哪一款AI模型表現最好,研究又給出什麼提醒? 研究指出Claude Opus 5的推論模式整體表現最佳,但仍有39%出錯率。專家提醒,AI可用於預算整理與資料研究,卻不該直接取代專業財務建議。

Q3:哪一款AI模型表現最好,研究又給出什麼提醒?

研究指出Claude Opus 5的推論模式整體表現最佳,但仍有39%出錯率。專家提醒,AI可用於預算整理與資料研究,卻不該直接取代專業財務建議。

駁AI世界末日論 黃仁勳:應儘可能全速發展

手机左右滑动,电脑按 ← → 键,也能切换新闻