出勤簿の写真をAIで表に起こす精度検証

検証方法

当社で架空の出勤簿を2枚作成しました。どちらも列は日付・曜日・出勤・退勤・休憩（分）で、土曜は「休み」です。

• サンプル1（印字）：5日分。8:45や19:20のような中途半端な時刻があり、金曜は17:00から「翌2:30」まで、日をまたぐ。
• サンプル2（手書き風フォント）：5日分。出勤・退勤・休憩のマスをわずかに傾けた。火曜の出勤（9:10を8:50へ）、水曜の退勤（17:00を18:30へ）、金曜の休憩（30を45へ）は、古い値に取り消し線を引いて隣に書き直してある。木曜は22:00から「翌6:00」までの夜勤。副題に、書き直したところは古い時刻や数字に線を引いてあると書いてある。

答えを知らないClaude（Opus 5.5・Haiku 4.5）に、下のプロンプトと、画像を開く手順・表と合計だけを返す指示だけを渡し、画像1枚ずつを別々に読み取らせました（各1回）。実働時間は「退勤−出勤−休憩」とプロンプトに書いてあります。正解表の項目（印字は4項目、手書き風はそれに取り消し線の扱いを加えた5項目）で採点しました。項目は次のとおりです。出勤・退勤の時刻を正しく読む、休憩を正しく読む、日ごとの実働時間を正しく計算する、週の合計を正しく計算する、そして手書き風だけ、書き直し後の値を使う。

結果：時刻の読み取りと、実働時間・合計の計算

取り消し線と休みの日に対するAIの回答の原文（手書き風の出勤簿）

書き直しのある3か所と、休みの土曜について、保存した回答の原文を2モデルで並べました（各条件1回）。

わかったこと

• 4回とも、採点した項目の誤りは0件だった。8:45や19:20といった中途半端な時刻、深夜をまたぐ2日分（翌2:30、翌6:00）の引き算、週の合計の足し算を、2モデルとも間違えませんでした。
• 取り消し線のある時刻・休憩は、書き直し後の値を使った。Opus 5.5は、3か所とも取り消し前の値をセルに書き添えました。書き添え自体は正確ですが、元の出勤簿に無い文言なので、そのまま表計算に取り込むと、時刻の欄に文字が混ざり、計算に使えなくなることがあります。
• 休みの日の扱いは分かれた。土曜の実働は、Opus 5.5が「0時間00分」「0:00」、Haiku 4.5は印字で空欄、手書き風で「-」でした。どれも正解表では誤りにしていませんが、実働の列を後から計算に使うなら、空欄と0の違いは取り込む前にそろえます。
• この検証で差は出なかった。4条件とも全項目で正解だったため、2モデルの優劣は言えません。時刻の取り違えや計算の誤りが起きる条件（斜めの撮影、影、実際の手書きの崩れ、押し間違いのタイムカードの印字）は、今回は含めていません。

出勤簿の打刻漏れが見つかったあと、本人へ返す修正依頼の返信文をAIに書かせた実測は、休暇申請・打刻漏れ修正への返信文にあります。日付・日数、承認か差し戻しかの判断、理由と期限、規程に無い条件の書き足しを確かめています。

出勤簿の読み取りプロンプト

次のプロンプトは、上の検証で使ったものと同じです。

この出勤簿の写真を、日付・出勤・退勤・休憩の表にして、日ごとの実働時間（退勤−出勤−休憩）と、週の合計時間も出してください。

使うときのコツ

• 時刻は、元の写真と見比べる。今回は誤りが出ませんでしたが、1日の時刻の読み違いは実働時間と合計に直接響くので、表計算に取り込む前に、日またぎの日と書き直しのある日だけでも写真と照らします。
• 実働時間の計算式は、プロンプトに書く。検証では「退勤−出勤−休憩」と書きました。休憩の扱い（引くのか、すでに引いてあるのか）は職場ごとに違うので、書かずに頼んだ場合にどうなるかは試していません。
• 書き直した時刻に、取り消し前の値が混ざっていないか見る。検証では、Opus 5.5が取り消し前の値をセルに書き添えました。
• 残業・割増・法定の休憩の判定は別の手順で行う。この検証では頼んでいません。頼んだ場合にどうなるかは試していません。

まとめ

Opus 5.5とHaiku 4.5のどちらも、時刻と休憩を1件も読み違えませんでした。深夜をまたぐ勤務を含めて日ごとの実働時間と週の合計を正しく計算し、書き直した値は書き直し後のものを使いました。きれいな画像で、書き直しの意味を画像に書いた条件での結果です。実際の手書きの出勤簿や、撮影した画像で同じ結果になるかは確かめていません。