ChatGPTに搭載される人工知能モデルGPTが日本獣医師国家試験に合...

発表のポイント

◆ChatGPTに搭載されている人工知能モデルGPTを用いて、獣医領域における人工知能活用の基盤となる性能比較を実施した。
◆GPTは日本獣医師国家試験において合格最低点を大幅に上回る性能を示した。
◆GPTは日本獣医師国家試験を日本語原文のまま英語翻訳なしに解釈し、高い正答率を示した。

[Link]日本獣医師国家試験におけるGPTの得点率

概要

　東京大学大学院農学生命科学研究科の加藤大貴 特任講師・中川貴之 教授の研究グループは、ChatGPTに搭載されている人工知能モデルGPT(注1,2)の日本獣医師国家試験(注3)における解答性能を検証し、GPTが合格最低点を大幅に上回る解答性能を有することを明らかにしました。これまで、医師国家試験におけるGPTの解答性能の検証は日本を含め、様々な国で行われており、英語への翻訳を行うことで合格最低点を超えることが報告されていました。一方で、日本語で出題される日本獣医師国家試験における、GPTの回答性能は検証されておらず、獣医学という特殊な知識を必要とする分野におけるGPTの性能は不明でした。本研究では日本獣医師国家試験を用いて、各GPTのモデル性能比較や入力プロンプト・言語翻訳による性能への影響を評価しました。最終的な検証にて、GPT o3モデルは日本語の試験問題原文の入力にて、全てのセクションで合格点(60〜70%)を大幅に上回り、全体合計で92.9%という高得点を示すことを明らかにしました。本結果は、日本の獣医領域における人工知能モデルGPTの活用研究の原点となる成果と言えます。

発表内容

　近年、人工知能が医療分野において様々な用途で活用され始めています。とくに、GPT(Generative Pre-trained Transformer)は、アテンションメカニズムを採用した大規模言語モデル(注4)であり、人間と自然なインタラクションを行うことができることから、注目を集めています。ヒト医学分野においては、日本医師国家試験の問題文を英語に翻訳し、GPTに入力することで、合格点を上回る正答率を示すことが報告されています。一方、日本語ベースで、特殊な知識を必要とする国内の獣医学領域におけるGPTの性能は不明でした。
　研究チームは、過去3年分の日本獣医師国家試験問題を用いて、各GPTのモデル性能比較や入力プロンプト・言語翻訳による解答性能への影響を評価しました。その結果、GPT-4oモデルに比べ最新のo3モデルが、最も高い正答率を示すことがわかり、事前学習量やパラメータ数の増加により、獣医学分野においても解答性能が向上することが示されました。さらに検証実験では、日本語原文の問題文のまま、特別なプロンプトの最適化を行わずとも、全てのセクションで合格点(60〜70%)を大幅に上回り、全体合計で92.9%という高得点を示すことを明らかにしました。本結果は、GPTが日本の獣医学部卒業レベル以上の知識を持っていることを示唆しています。
　また、不正解問題の分析を行い、国内法規に基づく法律問題や画像問題、情報統合と論理的思考を要する臨床問題において正答率が低下することわかりました。つまり、GPTは日本獣医師国家試験問題における強い分野と弱い分野があることが明らかとなり、今後は本結果に基づいたGPT活用のための検証が必要と考えられました。
　本研究は、GPTが日本国内の獣医学教育や実務現場において、学習支援や業務支援などの補助的な用途で活用されうることを示す基盤的な研究であり、今後の獣医学領域におけるGPTの安全で効率的な活用のための重要な出発点です。なお、本研究はGPTが獣医師に代わって診断や治療などの業務を行うことを想定したものではなく、あくまで獣医師の業務を補助するツールとしての可能性を検討したものです。また、本検証結果は同時に、GPTは完全ではなく誤る可能性があることも提示しており、GPTの強みを活かした今後の活用法の検討が重要であることも示しました。

[Link]図1:モデル比較
GPT-4oモデルと比較してo1およびo3モデルが高い正答率を記録した。

[Link]図2:言語およびプロンプト比較
標準プロンプト、日本語の群が一部の群と比較して高い正答率を記録した。

〇関連情報:
1.「プレスリリース 獣医臨床教育における新たな一歩:VR教材の有効性を検証」(2024/12/27)
https://vr.u-tokyo.ac.jp/2024/12/27/pressrelease_20241227vr_meets_vet/

2.東京大学大学院農学生命科学研究科 獣医外科学研究室
https://www.vm.a.u-tokyo.ac.jp/geka/

発表者・研究者等情報

東京大学大学院農学生命科学研究科・農学部
加古　貴大　学部生(獣医学専修)
加藤　大貴　特任講師
中川　貴之　教授

論文情報

雑誌名:Scientific Reports
題　名:Performance evaluation of Generative Pre-trained Transformer on the National Veterinary Licensing Examination in Japan
著者名:Takahiro Kako, Daiki Kato*, Takaaki Iguchi, Shiyu Qin, Miki Ando, Shoma Koseki, Hayato Shibahara, Haruka Motoi, Rin Isaka, Namiko Ikeda, Hiroto Toyoda, Takayuki Nakagawa
DOI: 10.1038/s41598-026-37300-9

用語解説

(注1)人工知能
人間の知能のように「考える」「学ぶ」「判断する」ことができるコンピュータの仕組み。
(注2)Generative Pre-trained Transformer (GPT)
OpenAI社によって開発された人工知能モデル。人間のような自然な文章を作成したり、質問に答えたりすることができる。
(注3)日本獣医師国家試験
日本において、国家資格である獣医師の免許を取得するための国家試験。獣医療・獣医学の基本的事項や衛生学や獣医臨床学などに関連する幅広い問題が、5つのセクション(必須問題、A〜D問題)に分けられ、全問題数は330問である。必須問題で7割、A〜D問題で6割の得点率が合格基準である。
(注4)大規模言語モデル
膨大な文章データで学習した人工知能で、文章の理解や生成を得意とする。

問合せ先

(研究内容については発表者にお問合せください)
東京大学 大学院農学生命科学研究科
教授 中川 貴之(なかがわ　たかゆき)
Tel:03-5841-5420 E-mail:[email protected]

東京大学 大学院農学生命科学研究科・農学部
総務課総務チーム広報情報担当
Tel:03-5841-5484　E-mail:[email protected]

関連教員

中川　貴之