実測のまとめ

OpusよりHaikuの点が高かった・同点だった例外集

Opus 5.5が点を落とした17記事18件を、減点の理由つきで並べた一覧

結論(先に)文書の下書きと翻訳の採点表を見直すと、同じ条件でHaiku 4.5のほうが高かったのが9件、Opus 5.5が点を落としてHaikuと同点だったのが9件ありました。Opusが点を落としたのは、プロンプトなしが14件、プロンプトありが4件です。どれも各条件1回の結果で、差は1点です。

「高いモデルのほうが常に良いのか」を、当社の実測の記録から確かめました。新しい実測ではなく、各記事の採点表と減点の備考を拾い直したもので、数字は出典の記事のままです。

同じ条件でHaikuのほうが高かった9件

同じ記事の同じ条件(プロンプトあり同士、またはただ頼んだ同士)で比べて、Haiku 4.5がOpus 5.5より高かった例です(差は社内報の2点以外は1点)。Opusの減点は、メモに無い事実や約束を書き足したものが中心でした。

業務(記事)条件Opus 5.5Haiku 4.5点が分かれた項目
議事録の決定事項・担当・期限の抜き出しプロンプトあり5/76/7Opusは「アンケートの集計を誰がやるか決める」を7件目の作業として足し、次回の会議を決定事項に入れなかった。Haikuは次回の会議を入れなかった1点だけ。
お見舞いメールただ頼んだ5/76/7Opusはメモに無い「お怪我の痛みや入院中のご不便」と、メモに無い約束「弊社でも杉本様と連絡を取りながら進めてまいります」を書いた。Haikuはメモに無い約束「当社にて対応させていただきます」の1点。
値上げ・料金改定のお知らせただ頼んだ6/77/7Opusは「弊社でも経費の削減に努めてまいりましたが」など、メモに無い事実を書き足した。
欠席連絡のメールプロンプトあり6/77/7Opusは「足さない」の項目で、メモに無い連絡の時期の事実「直前のご連絡となり」を書いた。Haikuはこの項目を落とさなかった。
見積依頼のメールプロンプトあり6/77/7Opusは「足さない」の項目(境界)で、「日程が難しい場合は、お見積りの際に納品可能な時期をお知らせいただけますと幸いです。」を書いた。Haikuはこの項目を落とさなかった。
社内報の記事ただ頼んだ5/77/7Opusは「月4時間短くなりました」の計算と、「営業部の田中宛てのご連絡は、今後は山本までお願いします」の案内を書き、2点を落とした。Haikuは満点。
昇進祝いのメールただ頼んだ6/77/7Opusはメモに無い昇進の理由「これまでのご活躍が認められてのご昇進と存じます」を書いた。Haikuは満点。
医療費のお知らせの読み取りただ頼んだ7/88/8Opusは「医療費控除に使う場合は、これらを領収書をもとに別に足す必要があります。」など、医療費控除の助言と高額療養費の説明を足した。Haikuは満点。
事業計画書の下書きただ頼んだ7/88/8Opusはメモに無い月10個・20個の販売数を仮定して、売上額を表にした。Haikuは上限の目安だけを「実際の売上ではない」と明記した。

Opusも点を落とし、Haikuと同点だった9件

Opus 5.5が満点にならず、同じ条件のHaiku 4.5と同じ点だった例です。同点でも、落とした項目が同じものと、別のものがあります。「ただ頼んだ」の8件のうち7件は、プロンプトありのOpusが満点でした。議事録の抜き出しだけは、プロンプトありのOpusも5/7でした。

業務(記事)条件Opus 5.5Haiku 4.5点が分かれた項目
異動の挨拶メールただ頼んだ6/76/7Opusは相手の評価「いつも丁寧にご対応いただき」を書いた。Haikuは担当の最終日(9月30日)を書かなかった。
日程調整メールただ頼んだ6/76/7書き足しの項目。Opusは送ったとメモに無い資料に触れ、Haikuはメモに無い曜日を足した。
産休の挨拶メールただ頼んだ6/76/7書き足しの項目で、2つとも今後の対応をメモに無いまま約束した。
求人票の文面ただ頼んだ6/76/7書き足しの項目で、2つとも条件メモに無い内容を足した。
手書きの発注書の読み取りただ頼んだ6/76/7足さないの項目(7項目め)で、2つとも1点を落とした。
業務手順書ただ頼んだ6/76/7書き足しの項目で、2つとも作業メモに無い確認事項などを足した。
議事録の決定事項・担当・期限の抜き出しただ頼んだ6/76/7別の項目で1点ずつ。Opusは予算の確認の期限を「次回の会議(10月28日)」と書き、Haikuは次回の会議を決定事項に入れなかった。
中国語訳ただ頼んだ6/76/7社名・部署・人名の項目で、2つとも1点を落とした(もう1項目は対象外)。
ベトナム語訳プロンプトあり7/87/8別の項目で1点ずつ。Opusはキャンセル料の訳に原文に無い「後でお知らせします」を足し、Haikuは社名を英語に訳した。
このページの範囲:拾ったのは、○×の採点表がある文書の下書き・翻訳・読み取りの記事です。画像の読み取りなど、数値の誤りを数える形式の記事は表の形が違うため、今回は拾っていません。記録に無い逆転は載せていません。どの記事も、当社が作った架空のサンプル1組に対する各条件1回の結果で、採点の項目数は記事ごとに違います。同じ条件で繰り返すと結果が変わることがあり、1点の差は偶然の可能性もあります。比べたのはClaude Opus 5.5とClaude Haiku 4.5だけで、Sonnetなど他のClaudeのモデルや、ChatGPT・Geminiでは試していません。

よくある質問

OpusよりHaikuの点が高かったことはありますか?

当社の記事の採点表では、同じ条件でHaiku 4.5のほうが高かった例が9件ありました。議事録の抜き出し(プロンプトあり)、お見舞いメール、値上げのお知らせ(以上2件はただ頼んだ)、欠席連絡メール、見積依頼メール(以上2件はプロンプトあり)、社内報、昇進祝いのメール、医療費のお知らせの読み取り、事業計画書(以上4件はただ頼んだ)です。どれも各条件1回の結果で、差は社内報の2点以外は1点です。

Opusが点を落とすのはどんなときですか?

この18件のうち、Opusが点を落としたのは、プロンプトなしが14件、プロンプトありが4件(議事録の抜き出し、ベトナム語訳、欠席連絡メール、見積依頼メール)でした。メモに無い事実や約束を書き足した減点が目立ちます。

それでもHaikuよりOpusを選ぶ意味はありますか?

使い分け早見表では、Haikuがプロンプトを付けても点を落とした業務が13本ありました。この例外集は、そのうえで「Opusなら必ず満点」とは言えない例を集めたものです。点の差が小さいものは偶然の可能性もあります。

ChatGPTやGeminiでも同じ結果になりますか?

このページでは試していません。当社が比べたのはClaude Opus 5.5とClaude Haiku 4.5だけで、Sonnetなど他のClaudeのモデルや、ChatGPT・Geminiの結果は載せていません。

このページについて
合同会社フューチャープロンプト(AIプロダクト開発・業務自動化/東京・渋谷)がまとめました。数字はすべて、各出典記事の採点表によるものです。Sonnetなど他のClaudeのモデルは試していません。検証の作り方は検証・編集・AI利用方針をご覧ください。

業務に合ったAIのモデル選びと組み込みのご相談

合同会社フューチャープロンプトは、実際の業務でどのモデルがどこまで使えるかを確かめるところから、仕組みづくりをご一緒します。

お問い合わせ →