AIが元メモに無いことを書き足した件数
メール・文書36本の実測を、指示なしと「足さない」指示つきに分けた集計
このページは新しい実測ではありません。当社が保存している36本の採点結果(docs/tests)から、書き足しの有無を数え直した集計です。各記事は、2モデル(Opus 5.5・Haiku 4.5)と、指示なし・指示つきの2通りの計4条件を、それぞれ1回ずつ試しています。
条件別の件数
数えたのは、各記事の採点表にある「メモに無い事実・手順・約束を足さない」の項目が×になった回答です。値は各条件36回答のうちの件数です。
| 指示なし | 「足さない」指示つき | |
|---|---|---|
| Opus 5.5 | 12 / 36 | 3 / 36 |
| Haiku 4.5 | 23 / 36 | 7 / 36 |
| 2モデル合計 | 35 / 72 | 10 / 72 |
指示つきの条件は、各記事のプロンプトです。「メモに無い事実・数字は足さない」を含むルールを付けていますが、文面は記事ごとに違います。
記事ごとの採点
「あり」は、その条件の回答に、メモに無い内容の書き足しがあったことを示します。各行の記事に、回答の原文と採点の理由があります。右端は保存場所(docs/tests)のフォルダ名です。
| 記事 | Opus・指示つき | Opus・指示なし | Haiku・指示つき | Haiku・指示なし | 採点項目 | 保存場所 |
|---|---|---|---|---|---|---|
| 異動・退職の挨拶メール | なし | なし | なし | なし | ⑦ | 2026-09-26-ido |
| 日報 | なし | なし | あり | あり | ⑦ | 2026-09-26-nippo |
| 日程調整メール | なし | あり | なし | あり | ⑦ | 2026-09-26-nittei |
| お礼メール | なし | なし | なし | なし | ⑦ | 2026-09-26-orei |
| リマインドメール | なし | なし | なし | なし | ⑦ | 2026-09-26-remind |
| 催促メール | なし | なし | なし | あり | ⑦ | 2026-09-26-saisoku |
| 提案書 | なし | なし | あり | あり | ⑦ | 2026-09-26-teian |
| 顛末書・始末書 | なし | なし | あり | あり | ⑦ | 2026-09-26-tenmatsu |
| 督促状 | なし | なし | あり | あり | ⑦ | 2026-09-26-tokusoku |
| 社内通知 | なし | なし | なし | あり | ⑦ | 2026-09-30-tsuchi |
| クレーム返信メール | なし | なし | なし | あり | ⑦ | 2026-10-01-claim |
| 週報 | なし | なし | なし | あり | ⑦ | 2026-10-04-shuho |
| プレスリリース | なし | なし | なし | あり | ⑦ | 2026-10-05-press |
| お見舞いメール | なし | あり | なし | あり | ③ | 2026-10-06-mimai |
| 退職願 | なし | なし | なし | なし | ⑦ | 2026-10-06-taishoku |
| 年末年始休業のお知らせ | なし | なし | なし | なし | ⑦ | 2026-10-07-kyugyo |
| 採用・不採用の通知メール | なし | なし | なし | なし | ⑨ | 2026-10-07-saiyo |
| 報告書 | あり | なし | あり | なし | ⑦ | 2026-10-08-report |
| 引き継ぎ書 | なし | あり | あり | あり | ⑦ | 2026-10-09-hikitsugi |
| 求人票 | なし | あり | なし | あり | ⑦ | 2026-10-09-kyujin |
| 見積書の送付メール | なし | あり | なし | あり | ⑦ | 2026-10-09-mitsumori-soufu |
| 値上げ・料金改定のお知らせ | なし | あり | なし | なし | ⑦ | 2026-10-09-nedan |
| 手順書 | なし | あり | なし | あり | ⑦ | 2026-10-09-tejunsho |
| 社内規程のやさしい説明 | なし | なし | なし | なし | ⑦ | 2026-10-10-shanai-kitei |
| 月報 | なし | あり | なし | あり | ⑦ | 2026-10-11-getsuho |
| 取引先への欠席連絡メール | あり | あり | なし | あり | ⑦ | 2026-10-11-kesseki-renraku |
| 出張報告書 | なし | あり | あり | あり | ⑦ | 2026-10-11-shucchou-memo |
| 宿泊予約の確認メール | なし | なし | なし | なし | ⑦ | 2026-10-15-yado-yoyaku |
| 雇用保険被保険者証・源泉徴収票の再発行依頼メール | なし | なし | なし | あり | ⑦ | 2026-10-15-saihakko-irai |
| 診断書をもとにした欠勤連絡メール | なし | あり | なし | あり | ⑦ | 2026-10-15-shindansho-kekkin |
| 休暇届 | なし | なし | なし | あり | ⑦ | 2026-10-15-kyukatodoke |
| 委任状 | なし | なし | なし | なし | ⑦ | 2026-10-15-ininjo |
| 誓約書 | なし | なし | なし | なし | ⑦ | 2026-10-15-seiyakusho |
| お歳暮のお礼状 | あり | あり | なし | あり | ⑥ | 2026-10-15-oseibo-reijo |
| 発注書 | なし | なし | なし | あり | ⑦ | 2026-10-17-hacchusho |
| 領収書 | なし | なし | なし | なし | ⑦ | 2026-10-17-ryoshusho |
| 書き足しあり(36本中) | 3本 | 12本 | 7本 | 23本 |
契約・誓約系の書類4本の書き足し
上の表のうち委任状と誓約書に、覚書と契約更新のご案内を加えた4本を、書き足しの有無で並べます。数は各検証フォルダ(docs/tests)の採点表から転記しており、数え直していません。覚書と契約更新のご案内は、上の36本の集計には入っていません。
| 記事 | 書き足しあり(4条件中) | あった回答 | 保存場所 |
|---|---|---|---|
| 覚書 | 1回答 | Opus 5.5・指示つき。第7条「取引の詳しい条件は、その売買契約書で決めます。」(メモに無い位置づけの説明) | 2026-10-14-oboegaki |
| 契約更新のご案内 | 0回答 | なし | 2026-10-14-keiyaku-koshin-annai |
| 委任状 | 0回答 | なし | 2026-10-15-ininjo |
| 誓約書 | 0回答 | なし(Opus 5.5・指示なしの持ち出しの「事前に」、Haiku 4.5・指示なしの「事前に」「在職中は」は、判断が分かれたため数えていません) | 2026-10-15-seiyakusho |
4本16回答のうち、条項・金額・日数・期限・同意の範囲などの書き足しとして数えたのは覚書の1回答だけでした。ただし、各記事は架空のメモに対する各条件1回の結果で、メモの長さも採点項目も違います。契約・誓約系は書き足しが起きない、とは言えません。
この集計から言えること
- 指示なしより、指示つきのほうが書き足しは少なかった。72回答のうち、指示なしは35回答、指示つきは10回答でした。
- 指示つきでも、10回答には書き足しが出た。報告書、日報、顛末書、督促状、提案書、引き継ぎ書、出張報告書、取引先への欠席連絡メール、お歳暮のお礼状の回答です。指示で防げる回もあれば、防げない回もありました。
- Haiku 4.5のほうが、Opus 5.5より多かった。ただし、Opus 5.5は指示なしでも12本で書き足しており、モデルを替えれば防げるとは言えません。
- 0本の記事は、異動・退職の挨拶、お礼、リマインド、退職願、年末年始休業のお知らせ、採用・不採用の通知、社内規程の説明、宿泊予約の確認メール、委任状、誓約書、領収書の11本。4条件とも書き足しがありませんでした。メモの書き方の影響は、この集計では分けていません。
集計から外したもの
- 稟議書は、保存した検証フォルダに採点表が無く、条件ごとの書き足しの有無を数えられなかったため外しました。
- 納期変更のお詫びメールは、書き足しの採点が曜日などの項目と1つにまとまっていて、書き足しだけを取り出せなかったため外しました。
- 翻訳、画像や表の読み取り、議事録などの抜き出し、契約書・規約・労働条件の要約は、「メモから文書を書く」実測ではないため外しました。
- 2026-10-15公開の検証のうち、報酬の支払通知書・医療費の領収書・ふるさと納税の寄附金受領証明書・住宅ローンの年末残高等証明書・クレジットカード利用明細などの集計、住民票・離職票-2・雇用保険被保険者証・扶養控除等申告書などの読み取り、業務委託契約書・重要事項説明書・原状回復費用の精算書などの抜き出しや要約、議事録は、メモから文書を書く実測ではないため外しました。
- 宿泊予約の確認メールのHaiku 4.5・ただ頼んだ条件は、本文のあとに送り手向けの注記が付きました。宿泊者向けの文面ではなく、メモに無い約束でもないため、「なし」と採点されています(記事の備考では判断が分かれるとしています)。
- お見舞いメールは、書き足しを数える項目が③、採用・不採用の通知メールは⑨のため、その項目で数えました。
よくある質問
AIはどのくらいの割合で、元メモに無いことを書き足しますか?
当社の36本の実測では、144回答のうち45回答でした。指示なしで35 / 72、「足さない」指示つきで10 / 72です。各条件1回ずつの結果で、確率ではありません。
「メモに無いことは足さない」と指示すれば防げますか?
減りましたが、防げない回がありました。指示つきでも72回答のうち10回答に書き足しがありました。
書き足しの具体例は見られますか?
AIが元メモに無いことを書き足した実例集に、元メモの一文と回答の原文を並べています。
合同会社フューチャープロンプト(AIプロダクト開発・業務自動化/東京・渋谷)がまとめました。件数は各検証の採点表(docs/tests)によります。検証の進め方は実測の進め方、方針は検証・編集・AI利用方針をご覧ください。
書類の種類ごとに、貼り付けてそのまま使える指示文は業務書類のAIプロンプト集に一覧があります。