OpusよりHaikuの点が高かった・同点だった例外集
Opus 5.5が点を落とした17記事18件を、減点の理由つきで並べた一覧
「高いモデルのほうが常に良いのか」を、当社の実測の記録から確かめました。新しい実測ではなく、各記事の採点表と減点の備考を拾い直したもので、数字は出典の記事のままです。
同じ条件でHaikuのほうが高かった9件
同じ記事の同じ条件(プロンプトあり同士、またはただ頼んだ同士)で比べて、Haiku 4.5がOpus 5.5より高かった例です(差は社内報の2点以外は1点)。Opusの減点は、メモに無い事実や約束を書き足したものが中心でした。
| 業務(記事) | 条件 | Opus 5.5 | Haiku 4.5 | 点が分かれた項目 |
|---|---|---|---|---|
| 議事録の決定事項・担当・期限の抜き出し | プロンプトあり | 5/7 | 6/7 | Opusは「アンケートの集計を誰がやるか決める」を7件目の作業として足し、次回の会議を決定事項に入れなかった。Haikuは次回の会議を入れなかった1点だけ。 |
| お見舞いメール | ただ頼んだ | 5/7 | 6/7 | Opusはメモに無い「お怪我の痛みや入院中のご不便」と、メモに無い約束「弊社でも杉本様と連絡を取りながら進めてまいります」を書いた。Haikuはメモに無い約束「当社にて対応させていただきます」の1点。 |
| 値上げ・料金改定のお知らせ | ただ頼んだ | 6/7 | 7/7 | Opusは「弊社でも経費の削減に努めてまいりましたが」など、メモに無い事実を書き足した。 |
| 欠席連絡のメール | プロンプトあり | 6/7 | 7/7 | Opusは「足さない」の項目で、メモに無い連絡の時期の事実「直前のご連絡となり」を書いた。Haikuはこの項目を落とさなかった。 |
| 見積依頼のメール | プロンプトあり | 6/7 | 7/7 | Opusは「足さない」の項目(境界)で、「日程が難しい場合は、お見積りの際に納品可能な時期をお知らせいただけますと幸いです。」を書いた。Haikuはこの項目を落とさなかった。 |
| 社内報の記事 | ただ頼んだ | 5/7 | 7/7 | Opusは「月4時間短くなりました」の計算と、「営業部の田中宛てのご連絡は、今後は山本までお願いします」の案内を書き、2点を落とした。Haikuは満点。 |
| 昇進祝いのメール | ただ頼んだ | 6/7 | 7/7 | Opusはメモに無い昇進の理由「これまでのご活躍が認められてのご昇進と存じます」を書いた。Haikuは満点。 |
| 医療費のお知らせの読み取り | ただ頼んだ | 7/8 | 8/8 | Opusは「医療費控除に使う場合は、これらを領収書をもとに別に足す必要があります。」など、医療費控除の助言と高額療養費の説明を足した。Haikuは満点。 |
| 事業計画書の下書き | ただ頼んだ | 7/8 | 8/8 | Opusはメモに無い月10個・20個の販売数を仮定して、売上額を表にした。Haikuは上限の目安だけを「実際の売上ではない」と明記した。 |
Opusも点を落とし、Haikuと同点だった9件
Opus 5.5が満点にならず、同じ条件のHaiku 4.5と同じ点だった例です。同点でも、落とした項目が同じものと、別のものがあります。「ただ頼んだ」の8件のうち7件は、プロンプトありのOpusが満点でした。議事録の抜き出しだけは、プロンプトありのOpusも5/7でした。
| 業務(記事) | 条件 | Opus 5.5 | Haiku 4.5 | 点が分かれた項目 |
|---|---|---|---|---|
| 異動の挨拶メール | ただ頼んだ | 6/7 | 6/7 | Opusは相手の評価「いつも丁寧にご対応いただき」を書いた。Haikuは担当の最終日(9月30日)を書かなかった。 |
| 日程調整メール | ただ頼んだ | 6/7 | 6/7 | 書き足しの項目。Opusは送ったとメモに無い資料に触れ、Haikuはメモに無い曜日を足した。 |
| 産休の挨拶メール | ただ頼んだ | 6/7 | 6/7 | 書き足しの項目で、2つとも今後の対応をメモに無いまま約束した。 |
| 求人票の文面 | ただ頼んだ | 6/7 | 6/7 | 書き足しの項目で、2つとも条件メモに無い内容を足した。 |
| 手書きの発注書の読み取り | ただ頼んだ | 6/7 | 6/7 | 足さないの項目(7項目め)で、2つとも1点を落とした。 |
| 業務手順書 | ただ頼んだ | 6/7 | 6/7 | 書き足しの項目で、2つとも作業メモに無い確認事項などを足した。 |
| 議事録の決定事項・担当・期限の抜き出し | ただ頼んだ | 6/7 | 6/7 | 別の項目で1点ずつ。Opusは予算の確認の期限を「次回の会議(10月28日)」と書き、Haikuは次回の会議を決定事項に入れなかった。 |
| 中国語訳 | ただ頼んだ | 6/7 | 6/7 | 社名・部署・人名の項目で、2つとも1点を落とした(もう1項目は対象外)。 |
| ベトナム語訳 | プロンプトあり | 7/8 | 7/8 | 別の項目で1点ずつ。Opusはキャンセル料の訳に原文に無い「後でお知らせします」を足し、Haikuは社名を英語に訳した。 |
よくある質問
OpusよりHaikuの点が高かったことはありますか?
当社の記事の採点表では、同じ条件でHaiku 4.5のほうが高かった例が9件ありました。議事録の抜き出し(プロンプトあり)、お見舞いメール、値上げのお知らせ(以上2件はただ頼んだ)、欠席連絡メール、見積依頼メール(以上2件はプロンプトあり)、社内報、昇進祝いのメール、医療費のお知らせの読み取り、事業計画書(以上4件はただ頼んだ)です。どれも各条件1回の結果で、差は社内報の2点以外は1点です。
Opusが点を落とすのはどんなときですか?
この18件のうち、Opusが点を落としたのは、プロンプトなしが14件、プロンプトありが4件(議事録の抜き出し、ベトナム語訳、欠席連絡メール、見積依頼メール)でした。メモに無い事実や約束を書き足した減点が目立ちます。
それでもHaikuよりOpusを選ぶ意味はありますか?
使い分け早見表では、Haikuがプロンプトを付けても点を落とした業務が13本ありました。この例外集は、そのうえで「Opusなら必ず満点」とは言えない例を集めたものです。点の差が小さいものは偶然の可能性もあります。
ChatGPTやGeminiでも同じ結果になりますか?
このページでは試していません。当社が比べたのはClaude Opus 5.5とClaude Haiku 4.5だけで、Sonnetなど他のClaudeのモデルや、ChatGPT・Geminiの結果は載せていません。
合同会社フューチャープロンプト(AIプロダクト開発・業務自動化/東京・渋谷)がまとめました。数字はすべて、各出典記事の採点表によるものです。Sonnetなど他のClaudeのモデルは試していません。検証の作り方は検証・編集・AI利用方針をご覧ください。