生成AIは情報処理技術者試験に合格できるのか？【2025】
以前のこの記事から、もうすぐ1年になります。
この1年で生成AIはどんどん成長し、いろいろなことができるようになりました。
応用情報技術者試験なんて楽勝、なのかどうか。改めて問題を解かせてみようと思います。
概要
前回と同様、生成AI（Gemini・GPT-4o）に情報処理技術者試験の「応用情報技術者試験」の午前問題を解いてもらいます。
応用情報技術者試験についてはこちら → 応用情報技術者試験｜試験情報｜IPA 独立行政法人 情報処理推進機構
午前問題は、全80問の四択形式で、ITに関する幅広い分野の問題が出題されます。
知識を問う問題や、実践的に計算が必要になる問題もあります。
60点（60％）が合格ラインです。
問題は、前回と同じ条件で、2023年秋の問題を使用しました。応用情報技術者試験のページで過去問題のPDFが公開されています。
問題データのテキストや画像も前回のものを利用します。
生成AI側は、グラウンディングや学習等のカスタマイズはせず、公開されているモデルをそのまま利用します。
今回変わった部分は「生成AIモデル」と「プロンプト」のみです。
※プロンプトは、結果の出力指定等の最小限の変更で、問題の内容にかかわる部分は変更していません。
問題画像で出題
問題ごとの画像データをそのまま生成AIに渡し、解答してもらう方法です。
今回は解答のみ生成させました。※参考として前回の結果も載せています。
「gpt-4o mini」以外は合格でした。
前回「gpt-4」は画像読み取りがうまくできませんでしたが、「gpt-4o」では改善されているようです。
Geminiについては、前回よりさらに良くなりました。80点を超えれば合格間違いなしですね。
「gemini-1.5-flash」は、前回の番外編でもやりましたが、今回改めて新しいプロンプトで実行しました。60％台ではありますが、安定して合格点を出しています。
問題文テキストで出題
可能な限り問題文をテキストに書き起こし、テキストで表現できない図表部分のみ画像を添付して出題する方法です。
すべて合格点となりました。問題文が正確になり、表等の判断しにくいものがテキスト化されるため、全体的にスコアが上がっています。
今度は、「gpt-4o mini」も70％台と余裕の合格になりました。「gpt-4o」も86％まで上がっているので、やはりgptは画像読み取りにハードルがあったのだとわかります。
Geminiについては、すべてが80%を超えました。公開されている得点分布から計算すると、80点以上は6％程度のようです。（令和6年秋の得点分布より）
実行時間は、ファイル読み込みや通信時間等を含めても80問1分～1分半なので、もう人間では勝てそうもありません。
知識問題は90%前後と、前回から微増という感じですが、実践問題は、明らかに正解率が上がっているように見られます。今後は、実践問題の正解率が重要になってきそうです。
PDFのまま出題（←NEW）
この1年で、GeminiはPDFを読めるようになりましたので、公開されているPDFを無加工でそのまま渡してみます。
公開されている試験問題のPDFは紙面をスキャンしたデータなので単純にテキスト部分を抜き出すのは難しいです。
※現時点で、gptのAPIにはPDFをそのまま渡す機能はありませんでした。
実行が簡単なので、最新の試験3回分を実行してみました。
問題画像で出題する方法と同程度の結果となりました。
もう分割したり、テキスト化したりする必要はないかもしれません。
実行時間は表のようになりました。
早いですね。26秒でもびっくりですが、10秒台で80問の速度は生成AIにしかできないことだと思います。
まとめ
前回と比較すると、全体的に正解率が向上しました。
画像が不得意なモデルはありましたが、テキストで出題すると、70%以上正解しています。
gptは画像に弱かったという印象でしたが、今回「gpt-4o」は画像でも合格点を出していました。
geminiの正解率は前回に引き続き良く、「gemini-2.0-flash」では88%という高得点も出ました。
知識問題は90%程度と前回から大きく増えてはいませんが、実践問題は明らかに正解率が上がっています。
今後どこまで知識問題の正解率が上がるのか、楽しみです。
この1年の間に、GeminiはPDFも読めるようになりました。
問題PDFをそのまま渡した場合でも、画像に分割した場合とほぼ同じ結果となっています。
分割する必要がない分、手間も実行時間も短く済みます。10秒台ですべての問題をこなしてしまうのには驚きました。
情報処理技術者試験を使って実験してみて、生成AIが、人と同じくらい解答できるようになっていると実感しました。速度においては、人間では問題文を読むことすら不可能です。
一方で、ここまで来ても100％にはならないのだと再認識できました。生成AIは機械だというのがどこか頭にあって、普段利用するときに完璧を求めがちです。「高速で、その分野のプロ並みのことができるが、間違う」ということを考慮したうえで、有効活用できるようにしたいです。
参考（プロンプト）
今回のプロンプトです。出力の形式は、json指定ができるようになったので、別途指示しています。
（出力形式をしっかり守ってくれるようになったので採点が楽でした。）
問題画像で出題
画像の問題を解き、選択肢の中から最も適切なものを選び、ア、イ、ウ、エのいずれかの記号1文字で回答してください。問題文テキストで出題
以下の問題を解き、選択肢の中から最も適切なものを選び、ア、イ、ウ、エのいずれかの記号1文字で回答してください。
問題：{問題文}
選択肢：
ア：{選択肢ア}
イ：{選択肢イ}
ウ：{選択肢ウ}
エ：{選択肢エ}PDFのまま出題
PDFには最初の説明部分も含まれるためか、最小限の指示で求める回答を出してきました。
PDFから80問の問題を読んで、すべてに解答してください。