AIエージェントは経験から本当に成長するのか：ContinualSkillBenchを読む
木村 優志
AIエージェントに業務を任せるとき、「使うほど仕事を覚え、賢くなっていく」ことを期待する場面があります。実際、最近のエージェントには、タスクを終えた後に手順や注意点を「スキル」としてファイルに保存し、次のタスクで参照する仕組みが増えています。
しかし、スキルを保存すれば本当に性能は上がるのでしょうか。過去の会話や評価結果を見られることによる効果と、スキルとして抽象化して再利用することによる効果は、同じではありません。
2026年8月に公開された論文 ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities? は、この問いを正面から検証しています。本記事では、論文の設計と結果を紹介しながら、業務向けAIエージェントを設計・評価するときに何を確認すべきかを考えます。
「経験を残す」には、少なくとも三つの段階がある
エージェントの継続的な改善を考えるとき、次の三つを分けると整理しやすくなります。
- 過去の文脈を参照する：以前のタスク、失敗、利用者からのフィードバックを次の判断に使う
- 経験を手順に抽象化する：個別の成功・失敗から、別の場面でも使えるスキルを作る
- 適切な場面で再利用する：蓄積したスキルの中から、現在のタスクに必要なものを選ぶ
一つ目だけでも、連続して作業するエージェントは改善するかもしれません。たとえば、前のタスクで「この顧客データには欠損値が多い」と分かれば、次の分析で先に欠損を確認できます。
一方、二つ目と三つ目ができなければ、経験は単なる作業履歴のままです。似たタスクが後で現れても、長い履歴から必要な知識を見つけられなかったり、前の案件だけに通用する手順を誤って適用したりします。
この論文の重要な点は、これらを一緒に「学習」と呼ばず、比較できる実験にしたことです。
ContinualSkillBenchは何を測るのか
著者らは、医療、法律、金融、数学、オフィス業務の5領域について、各100件、合計500件のタスク列を作りました。
タスクは無作為に並べられているわけではありません。比較的単純な問題から始め、前のタスクで使った知識や手順が後のタスクでも役立ちそうな順に並べています。たとえば金融では、基本的な計算から市場分析、さらに戦略的な意思決定へと難しくなります。
各タスクの終了後、エージェントは評価結果を受け取ります。そのうえで、次のタスクに向けてスキルを新しく作成したり、既存のスキルを更新したりできます。著者らの分析では、後続タスクの69.5%に、過去に現れたスキルと重なる要素が少なくとも一つ含まれていました。
評価したのは、次の三つの条件です。
| 条件 | 過去の文脈・フィードバック | スキルの作成・更新 |
|---|---|---|
| 独立実行 | 引き継がない | しない |
| 文脈学習（ICL） | 引き継ぐ | しない |
| スキル蓄積ありの連続実行 | 引き継ぐ | する |
ここで大切なのは、スキル蓄積ありの結果を、独立実行と比べるだけでは不十分なことです。文脈学習だけでも改善するなら、その差分を測らなければ「スキルが効いた」とは言えません。
連続して作業すると、たしかに多くの場合で改善する
GPT-4o、GPT-5.3-Codex、Opus 4.7を対象に、独立実行とスキル蓄積ありの連続実行を比較したところ、正規化スコアは15通りのモデル・領域の組合せのうち14通りで改善しました。平均の相対改善率は16.9%です。
過去のタスク、評価結果、スキルを引き継いで作業することには、全体として効果があります。
ただし、改善の大きさは一定ではありません。領域別では医療が最も大きく改善し、モデル別ではGPT-5.3-Codexが最も大きな改善を示しました。一方、Opus 4.7の数学では、わずかにスコアが下がっています。
この結果は「連続実行なら常に賢くなる」ことを意味しません。前の経験が役に立つタスクの並びか、モデルが経験を整理できるか、正確な形式の出力が求められるかによって、効果は変わります。
スキルを蓄積したから改善した、とは限らない
論文で最も興味深いのは、GPT-5.3-Codexを使い、法律・金融・医療の3領域で行った追加比較です。
平均の正規化スコアは次のようになりました。
独立実行 0.466
文脈学習（スキルを保存しない） 0.605
スキル蓄積あり 0.602スキルを保存しない文脈学習と、スキルを保存する連続実行の平均性能は、ほぼ同じでした。少なくともこの実験条件では、連続実行による改善の多くは、明示的なスキルファイルではなく、過去の文脈やフィードバックを保持したことから生じている可能性があります。
ただし、スキルが無意味だったわけでもありません。法律・金融の完全一致が求められる問題や、医療領域のプログラム実行型タスクでは、スキル蓄積ありの条件が有利でした。
反対に、自由記述をルーブリックで評価するタスクでは、文脈学習だけの方が高い場合もありました。著者らは、スキルが過去の評価基準へ過度に最適化され、柔軟な回答を妨げる可能性を指摘しています。
これは実務でも自然な結果です。JSONの出力形式、ファイル配置、申請フローのように、再現可能な手順が価値を持つ仕事では、スキルとして固定する意味があります。一方で、顧客への提案文や調査の論点整理のように、案件ごとの文脈を広く捉える仕事では、固定的な手順がかえって制約になることがあります。
スキルは多ければよいわけではない
スキルライブラリの振る舞いにも、モデルによる違いがありました。
GPT-4oは5領域で384個のスキルを作成したのに対し、GPT-5.3-Codexは205個でした。しかしGPT-5.3-Codexは、より少ないスキルを後続タスクでより頻繁に再利用し、スキル品質の評価も高かったと報告されています。
個別のタスクだけに通用する細かなメモを増やすと、エージェントは次の問題を抱えます。
- 類似したスキルが増え、どれを使うべきか選びにくくなる
- 過去の特定案件にだけ合う条件を、別案件へ持ち込んでしまう
- スキルの更新や検証にかかるコストが増える
- 使われないスキルが残り、保守対象だけが増える
「100件のスキルを作った」という数値は、能力向上の証明にはなりません。似た経験を統合して、適用条件と例外を明確にし、必要なときに取り出せることが重要です。
業務で評価するときに見るべきこと
この研究から得られる実務上の教訓は、スキル型エージェントを採用するかどうかを、最終的なタスク成功率だけで判断しないことです。
導入・検証の際には、少なくとも次を分けて計測するとよいでしょう。
- 過去の会話や実行履歴を渡しただけで、どれだけ改善するか
- スキルを渡すことで、さらにどれだけ改善するか
- 作成したスキルが、後続のどの業務で何回使われたか
- スキルの利用によって、誤りや作業時間がどう変化したか
- 古いスキルを更新・無効化する責任者と手順があるか
たとえば、社内の問い合わせ対応エージェントであれば、「回答に利用したスキル」「参照した文書」「利用者による修正」を記録します。そのうえで、スキルを使った回答が、使わなかった回答より正確だったのか、修正が少なかったのかを検証します。
記憶、検索、スキル、モデル更新を一つの「学習機能」として扱うと、改善の原因が分からなくなります。原因が分からなければ、品質が落ちたときにも、どこを直すべきか判断できません。
現時点では「継続的に成長する」とは言い切れない
ContinualSkillBenchは、エージェントが連続した経験から改善する可能性を示す一方、現在のスキル進化には限界があることも示しました。
経験を引き継ぐことは有効です。しかし、その経験を汎用的なスキルへ整理し、別のタスクで安定して使えるようにすることは、まだ十分にできていません。
AIエージェントを本番業務に導入するときは、「使うほど賢くなる」という期待を要件にするのではなく、次のように具体化する必要があります。
どの業務で経験を再利用するか
どの手順をスキルとして固定するか
誰がスキルの品質と更新を確認するか
スキルを使った結果を、どう評価し切り戻すかスキルを保存する機能は、便利な記憶装置ではありません。再利用の価値を検証し、品質を維持する運用まで含めて初めて、業務の資産になります。
論文の限界
本論文は2026年8月公開のプレプリントであり、査読を経た確立した結論ではありません。また、タスクは5領域にまたがりますが、実際の業務より制御されたベンチマーク環境です。例外処理、ルール変更、入力データの変化、組織ごとの権限といった本番環境の複雑さは、十分に含まれていません。
さらに、タスク間でスキルが転用できそうかを判断・並べ替える工程にもLLMを使っています。そのため、現実の業務履歴から同じ効果が得られるかは、個別に確かめる必要があります。
それでも、スキル蓄積と文脈保持の効果を分けて測ろうとした点は重要です。AIエージェントの「学習」を評価する際の、よい出発点になる研究だと考えます。
