実測の進め方

手順1：架空のサンプルと正解表を先に作る

検証に使う書類は、当社が作った架空のものです。実在の会社や個人の情報は使いません。食い違いや誤りを仕込む場所を決め、何を見つければ正解か、何を書き足したら誤りかを、正解表に書きます。

サンプルと正解表は、AIに解かせる前にコミット（変更の記録）を残します。回答を見てから採点基準を決めると、出てきた答えに合わせた採点になるためです。

手順2：答えを知らないAIに、ツールを使わせず解かせる

「答えを知らないAI」とは、サンプルと依頼文だけを渡されたAIです。正解表は渡さず、検索やファイルの読み書きなどのツールも使わせません。依頼文は、「次の規程の改定前と改定後から、新旧対照表を作ってください。」のようにただ頼む条件と、記事のプロンプトを使う条件の2通りを基本にします。

使ったモデル（Claudeの Opus 5.5 と Haiku 4.5 など）と依頼文は、検証ごとの記録に残します。各条件1回ずつ解かせます。

手順3：回答の原文を保存して、正解表で採点する

返ってきた回答は、手を加えずに原文のまま保存します。記事に書く数字と引用は、この原文を正解表と照らしたものだけです。実際に得ていない数字や結果は書きません。

手順4：別のAIに独立照合させる

書いた記事は、別のAIに、記事・回答の原文・正解表を渡して照合させます。見るのは、かぎかっこの引用が原文と一字一句同じか、正解表に無い基準で採点していないか、サンプルに無い書き足しを見落としていないか、の3点です。指摘があれば記事を直し、照合の結果と直したことを検証の記録に残します。

この手順で行った実測記事を、経理・総務・人事・営業事務の担当別に探すときは担当別 AI実測記事ガイドが入口です。

この実測の限界

• 各条件1回の結果です。同じ条件で繰り返すと、結果が変わることがあります。
• 架空の短いサンプルです。実際の書類は行数が多く、表記のゆれや例外があるため、同じ精度になるとは限りません。
• 試したのはClaudeだけです。ChatGPT・Gemini・Sonnetなど、試していないモデルの結果は書いていません。
• 独立照合も、誤りがゼロになる保証ではありません。公開後に誤りが分かったときは、検証・編集・AI利用方針の訂正の記録に残します。

同じ条件でやり直すと、結果が変わった例

報告書の記事では、同じ展示会メモ・同じ依頼文で、2026年9月25日と10月8日の2回、4条件を1回ずつ解かせました。9月25日はOpus 5.5がプロンプトありでメモに無い書き足しが0でしたが、10月8日は同じ条件で小さな書き足しが2か所ありました。Haiku 4.5の外れた点も、2回で違いました。このため、記事の表は「その日の1回の結果」として読み、順位や精度として受け取らないでください。詳しくは報告書の書き方とテンプレートの「悪い例と直した例の対比」にあります。

再検証の基準（測り直すとき・順番・更新日の扱い）

記事の数字は、書いた日のモデルの版での結果です。次の2つのどちらかに当たったときに、測り直します。

• 記事に書いたモデルより新しい版が出たとき。記事に書いた版（例：Opus 5.5・Haiku 4.5）の結果は残したまま、新しい版を同じ条件・同じ依頼文で解かせて並べます。
• 同じ条件でやり直して結果が変わったと分かったとき。報告書の記事と要約の記事では、2026年10月8日の再実測で一部の結果が9月25日と変わりました。このような差が見つかった記事は、ほかの記事より先に測り直します。

測り直す記事の順番は、次のとおりです。

1. 結果が変わったと分かった記事
2. 数字・日付・条件の取り違えを扱った記事（間違うと業務への影響が大きいため）
3. それ以外の記事は、公開日が古いものから

測り直したときの記事・一覧の直し方は、次のとおりです。

• 前回の数字と回答の原文は消さず、「再実測の日付・前回との違い」の節を足して並べます。
• 更新日は、実際に測り直した記事だけ変えます。文言の直しだけのときは変えません。
• 下の検証の一覧は、日付とモデルの列を直します。
• 検証・編集・AI利用方針の「訂正・補足の記録」に、記事名と日付、何を足したかを1行で残します。

測り直しても、各条件1回ずつの結果であることは変わりません。数字は順位や精度としてではなく、その日の結果として読んでください。

記事ごとの記録の探し方

• 使ったモデル・依頼文・採点・独立照合の指摘：検証ごとに、回答の原文とあわせて当社の記録に残しています。記事の「この検証の範囲」には、条件の数と試していないモデルを書いています。
• 公開後の訂正：検証・編集・AI利用方針の「訂正・補足の記録」にまとめています。
• 各記事の日付：記事の冒頭に公開日、末尾の「このページについて」にAIの検証を行った日を書いています。

これまでの検証の一覧（140件）

各検証は、サンプルと正解表を先に作り、答えを知らないClaudeに解かせ、回答の原文を保存して採点しています。条件数は、モデルとプロンプトの有無などの組み合わせの数で、どれも各条件1回です。使ったモデルは、検証ごとの当社の記録にある指定と版です。回答の原文は当社の記録に保存していて、この一覧はその記録と記事から作っています。

AIに仕事を任せるときは、数字や固有名詞を原本と見比べる確認の手順を残してください。検証の方針や訂正の記録は、検証・編集・AI利用方針にまとめています。