Clairic と Jev の返品メール仕分け：4つの実験

Clairic と​ Jev と​ Claude Haiku で、​返品メール100件を​仕分ける​実験を​4つしました。​Jev は、​TypeSafe が​「System One モデル」と​呼ぶ判断特化の​ AI です。​Jev を​使った​4つの​組み方の​正解は​48〜78件で、​最も​速く​安かった​組み方​（Clairic を​使わず、​Jev と​ Python の​6ステップで​組んだ​実験4。​1件0.3秒・100件1.5円）も、​Claude Haiku 5.5 の​91件には​届きませんでした。

使った​モデルは、​Claude Haiku 5.5​（claude-haiku-5-5）、​Jev​（jev-1.14.0）、​Clairic（@cf/cloudflare/clairic、​2026年10月24日時点の​プレビュー版）です。

何を​調べたか

TypeSafe の​判断特化 AI​「Jev」を​業務に​組み込むと、​より​良く​・速く​・安く​判断できるか。​この​問いを​出発点に、​新たに​ Cloudflare から​リリースされた​抽出特化 AI​「Clairic」も​含めて、​業務の​形を​した​題材で​有効性を​検証しました。

題材は、​返品・返金の​問い​合わせメールの​仕分けです。​答えは​店の​規程で​決まりますが、​規程に​当てはめる​前に、​メールの​文章から​「何が​起きたか」​「何を​望んでいるか」を​読み取る​必要が​あります。
Cloudflare は​ Clairic の​紹介記事で、​Clairic が​値を​取り出し、​選択肢から​判断する​モデル Clef が​対応を​決め、​汎用 LLM が​返信を​書く、と​いう​組み方を​示しています​（Cloudflare の​ブログ）。​この​検証では、​Clef の​席に​ Jev を​置いた​ブログどおりの​組み方の​ほかに、​筆者が​考えた​「6ステップ」の​組み方​（下の​「組み方の​型」の​節で​説明します）、​Clairic を​使わずに​ Jev と​ Python だけで​組む形を​試しました。

読み物と​しての​実験記録は​ note に​連載しています​（記事の​最後に​リンクが​あります）。​この​ページは、​その​数字と​条件を​まとめた​参照先です。

note の​返品メールの​回で​「Clairic 版」と​呼んでいるのは、​この​ページの​実験1​（ブログどおり、​68件）、​「Jev+Python 版」は​実験4​（78件）です。

題材​：架​空の​店の​返品メール100件

架​空の​通販​「ミドリ台所店」​（キッチン雑貨と​小型家電、​1,500〜6万円くらい。​家電には​1年保証）に​届いた、​返品・返金の​問い​合わせメールを​100件作りました。​仕分ける​側は、​メールと、​管理画面に​ある​注文の​記録​（注文日・届いた​日・品名・数・単価、​過去1年の​返品回数、​添付ファイルの​数）を​見て、​次の​6つから​1つ​選びます。

• 返金
• 交換
• 修理
• 写真や​情報を​お願い​する
• お断り
• 担当者へ回す

規程は​次の​9条で、​上から​順に​当てはめ、​最初に​当ては​まった​ものにします​（規程8だけは、​規程5・6で​返金に​なった​ときの​例外です）。​人・Haiku・Jev は、​この​同じ文を​読みます。

1. けが​・事故、​強い​苦情、​この​規程に​ない​事情は、​担当者へ回す。
2. どの​注文の​ことか、​何が​起きたかが​分からない​ときは、​お客さんに​情報を​お願い​する。
3. 破損​（割れ・欠け・へ​こみ）の​申告で​写真が​付いていない​ときは、​まず​写真を​お願い​する。
4. 過去1年に​3回以上​返品している​お客さんは、​担当者へ回す。
5. 届いてから​30日以内の​初期不良​（ふつうに​使っていて​壊れた​ものを​含む）と​配送中の​破損は、​お客さんの​希望どおり返金か​交換に​する​（希望が​書いていなければ​交換）。​送料は​お店が​持つ。
6. お客さんの​都合​（イメージと​違った、​など）は、​届いてから​14日以内で​未使用なら​返金する。​送料は​お客さんが​持つ。
7. 保証の​付いた​家電が、​届いてから​30日を​過ぎて​1年以内に、​ふつうの​使い方で​壊れた​ときは、​修理に​する。
8. 5・6で​返金に​なり、​返金額が​3万円以上の​ときは、​担当者へ回す。
9. どれにも​当てはまらない​もの​（期限切れ、​使用済みの​お客さん​都合、​使い方に​よる​破損）は​お断りする。

グレーの​件は、​メールの​元に​した​事実に​規程を​文字どおり当てはめた​結果を​正解と​しています。​メールと​注文の​記録は、​Claude​（Anthropic の​ AI）が​正解を​先に​決めてから​文に​起こしました。​仕分ける​側の​ Haiku には​書かせていません。​並び順は​シャッフルし、​種類は​仕分ける​側に​見せていません。

組み方の​型：6つの​ステップ

この​記事では、​仕分けの​組み方を、​筆者が​考えた型で​説明します。​判断を​問いの​形で​6つの​ステップに​分ける​型で、​各実験の​図と​本文に​ある​ ③ 抽出・④ 確認・⑤ 判断は、​この​ステップを​指します。

実験ごとに​違うのは、​③〜⑤ を​だれ​（Clairic・Jev・Python）が​受け持つかと、​⑤ に​何を​見せるかです。​④ で​規程1〜9の​それぞれが​当てはまるかまで​確かめ、​⑤ には​当ては​まった​規程だけを​見せる​組み方を、​この​記事では​「6ステップ」と​呼びます。

結果の​一覧

実験は​次の​4つです。

• 実験1：Cloudflare の​ブログどおり。​Clairic が​値を​読み、​Jev が​規程の​全文から​決める。
• 実験2：実験1から​ Clairic を​外す。​メールは​ Jev が​選択肢で​読み、​注文の​記録は​ Python が​読む。​決め方は​実験1と​同じ。
• 実験3：6ステップ。​③ は​ Clairic、​④ は​ Python と​ Jev、​⑤ の​ Jev には​当ては​まった​規程だけを​見せる。
• 実験4：実験3から​ Clairic を​外した​6ステップ。​読み取りは​実験2と​同じ。

「規程で​決まる​62件」は、​規程どおり・​読み取りが​難しい​65件から、​メールが​2通りに​読める​3件を​除いた​ものです。​人の​外れ27件の​うち18件は​グレーで、​そのうち13件は​筆者が​「担当者へ回す」に​した件です。​グレーの​正解は​規程を​文字どおり当てはめた​答えなので、​迷って​担当者に​回した​判断は​外れに​数えています。

「規程の​コード」は、​規程の​9条を​ Python で​書いた​ものです。​④ までに​確かめた​結果に​規程を​上から​当てはめ、​規程の​文字どおりの​答えを​機械的に​出します。​6ステップの​実験3・4では、​⑤ 判断を​ Jev の​代わりに​規程の​コードに​した​場合も​数え、​⑤ の​判断が​規程と​食い​違っていないかを​見る​物差しに​しました。​規程の​コードは、​メールの​元に​した​正しい​事実を​渡せば、​100件とも​正解の​答えを​出します。

共通の​条件

• 規程と​答えの​候補は、​100件を​作る​前に​決めました。
• それぞれの​実験の​問いは、​練習用の​2件​（100件とは​別）で​配線を​確かめてから​固め、​その​実験の​100件の​結果を​見て​直していません。​練習で​直した​ところは、​各実験の​節に​書きます。
• 注文の​記録の​行が​要る​項目​（届いた​日・単価・届いてからの​日数・返金額など）の​当たりは、​どの​注文の​ことか​メールから​決められないように​作った​1件を​除いた​99件で​数えています。
• Clairic と​ Jev に​送る​文は​日本語です。​題材が​日本語の​業務だからです​（Jev は、​公式には​英語が​最も​精度が​高いと​されています）。
• モデルは​ Clairic（@cf/cloudflare/clairic、​プレビュー版）、​Jev​（jev-1.14.0）、​Claude Haiku 5.5（claude-haiku-5-5、​effort は​ medium）です。
• 時間は、​答えを​決めるまでの​ API の​応答時間の​合計です。​Haiku は​ CLI が​報告する​ API の​時間で、​CLI の​起動時間は​含みません。​人は、​仕分け用の​ページが​記録した、​画面が​見えていて​操作が​3分以上とだえていない​あいだの​時間です。
• 費用は​ API の​定価から​1ドル150円で​換算しました。​Clairic は​入力100万トークンあたり0.10ドル​（Cloudflare の​ドキュメント）、​Jev は​0.042ドル​（TypeSafe の​ドキュメント）で、​どちらも​出力は​無料です。​人は​時給1,500円で​換算しました。
• 返信や​判断の​理由の​文​（⑥）は、​人が​書いていないので​比べず、​時間と​費用にも​入れていません。

人

筆者が、​仕分け用の​ページで​1件ずつ、​6つの​答えから​選びました。​機械の​結果を​見る​前に​100件を​仕分けています。

Claude Haiku 5.5

• 渡す​もの​：規程・​メール・注文の​記録を​1回で。​答え​（6つの​どれか）だけを​ JSON で​返させます。
• 1件の​リクエスト：1本

実験1：Cloudflare の​ブログどおりに​組む

Cloudflare の​ブログの、​壊れた​品物の​苦情の​例に​沿って​組みました​（Clairic → Clef → 汎用 LLM の、​Clef の​席に​ Jev）。

• ③ 抽出​（Clairic、​1本）​：注文の​記録と​メールを​そのまま​渡し、​規程は​渡しません。​1つの​事実に​1つの​型つきの​項目で​読みます​（名前・注文番号・品物・届いてからの​日数・返金するとしたらの​額・添付の​数・過去1年の​返品・保証・​書いてある​不具合や​破損の​一覧・​使ったか・希望・​その​ほかの​事情の​一覧）。​日数​（日数の​型）と​返金額​（単価×数）の​計算は、​ブログに​ならって​ Clairic に​任せます。
• ④​（Python）​：読んだ値を​決まった​文に​埋めるだけで、​確認は​しません。​30日以内か、​3万円以上か、といった​境目は​計算しません。
• ⑤ 判断​（Jev、​1本）​：​その​文と​規程の​全文だけを​見て、​「この​問い​合わせに、​どう​対応するか」を​6つの​答えから​選びます​（選択式）。​メールは​見ません。
• 人に​回す印：ブログは​確信度で​自動に​する​件と​人に​回す件を​分けるよう​勧めていますが、​決まりは​書いていません。​流す前に​「判断に​使う​値​（品物・日数・返金額・添付・返品）に、​Clairic の​確信度が​0.5未満の​ものが​ある​件」を​人に​回す印に​すると​決めました。
• 1件の​リクエスト​（答えを​決めるまで）​：Clairic 1本、​Jev 1本
• 練習で​直した​こと​：ありません。​練習の​2件目で​ Clairic が​日数を​340日と​読み違えました​（正しくは​4日）が、​確信度0.38で​人に​回す印が​付いたので、​ブログどおりのまま​流しました。

結果は​68件でした。

外れ32件の​うち、​Clairic の​値​（日数・返金額・品物）が​違っていたのは​7件で、​残り25件は​値が​合っていて、​Jev が​規程の​文を​当てはめる​ところで​外していました​（希望が​交換なのに​返金5件、​お断りの​ところを​返金4件、​など）。​返金額が​3万円以上で​担当者へ回す4件​（規程8）は、​すべて​当たりでした。

人に​回す印が​付いたのは​11件で、​残り89件の​正解は​63件​（71%）でした。​100件の​費用4.9円の​うち4.2円が​ Clairic です​（入力は​1件あたり平均2,796トークン）。

実験2：Clairic を​使わず、​ブログどおりに​組む

実験1の​ Clairic の​役を​ Jev と​ Python に​替え、​⑤ の​聞き方は​実験1のままに​しました。​Jev は​選択肢と​「はい・いいえ」でしか​答えられず、​数字や​お客さんの​言葉は​出せないので、​値を​抜き出さない​形に​しています。

• ③ 抽出：しません。​注文の​記録は​ Python が​そのまま​読みます​（届いた​日・保証・単価・過去の​返品・添付）。​どの​行かは、​Jev が​選んだ​品物で​決めます。
• ④​（Jev、​1本）​：メールと​この​お客さんの​注文を​見せ、​6問に​選択肢で​答えさせます​（どの​品物か、​何が​起きたか、​使ったか、​希望、​写真で​見える​破損の​申告か、​規程1の​事情が​あるか）。​規程1の​事情は​規程の​文言で​聞きますが、​規程の​全文は​見せません。​問題の​ある​数は、​2個以上​頼んだ​品物が​ある​3件だけ、​1から​その​数までの​選択肢で​聞きます。
• ④​（Python）​：Jev の​答えと、​注文の​記録の​値を、​決まった​文に​埋めます。​30日以内か、​3万円以上か、といった​境目は​計算しません​（実験1と​同じ）。
• ⑤ 判断​（Jev、​1本）​：​その​文と​規程の​全文を​見て、​「この​問い​合わせに、​どう​対応するか」を​6つの​答えから​選びます。​メールは​見ません。
• 1件の​リクエスト​（答えを​決めるまで）​：Jev 2本
• 練習で​直した​こと​：ありません。

結果は​48件で、​実験1​（68件）より​下がりました。​Clairic を​外しても、​正解は​増えませんでした。​Jev は​「写真や​情報を​お願い​する」を​41件選び​（正解では​10件）、​そのうち40件は​添付が​0枚、​破損の​申告が​あったのは​3件だけです。​決まった​文の​「添付の​写真0枚」​「写真で​見える​破損の​申告：なし」に​引っぱられたのかもしれません​（後からの​見立てです）。​読み取りの​当たりは、​品物99件中98件、​どの​注文か​100件中99件、​問題の​ある​数99件中98件でした。

実験3：判断を​6つの​ステップに​分ける

実験1・2では、​④ で​規程の​条件を​確かめず、​値を​埋めた​文と​規程の​全文から、​規程の​当てはめまで​ ⑤ の​ Jev に​任せていました。​実験3では、​上の​「組み方の​型」​どおりに、​④ で​規程1〜9の​それぞれが​当てはまるかまで​確かめ、​⑤ の​ Jev には​当ては​まった​規程だけを​見せます​（6ステップ）。​読み取りは、​実験1と​同じく​ Clairic です。

例えば​電動コーヒーミルの​件では、​届いてから​5日の​不具合で​返金希望なので​規程5に​当てはまり、​過去1年に​4回返品しているので​規程4にも​当てはまります。​規程は​上から​当てはめるので、​正解は​規程4の​「担当者へ回す」です。​⑤ の​ Jev は、​当ては​まった​2つの​規程を​見比べて​「担当者へ回す」を​0.93、​「返金」を​0.06と​答えました。

• ③ 抽出​（Clairic、​1本）​：注文の​記録と​メールを​渡します。​メールに​書いてある​注文番号、​記録に​ある​添付の​数・過去1年の​返品・​メールを​受け取った​日、​メールが​指している​注文の​1行​（品名・​届いた​日・数・単価・保証）を​写させます。​日数や​返金額の​計算は​させません。​メールの​中身は、​規程の​ことばに​当ては​めずに、​お客さんの​言葉の​まま​項目ごとに​写させます​（何が​起きたか​・きっかけ・​使ったか・希望・破損・問題の​ある​数・​その​ほかの​事情）。
• ④ 確認​（Python と​ Jev、​1本）​：Jev には、​③ で​写した​お客さんの​言葉と​規程を​見せ、​4問に​答えさせます​（何が​起きたか​：不具合／配送中の​破損／お客さんの​都合／使い方に​よる​破損／分からない、​使ったか、​希望、​規程1の​事情が​あるか）。​メールは​見せません。​Python は、​③ の​日付と​数から、​届いてからの​日数・期限・保証・返金額を​計算し、​規程1〜9の​それぞれが​当てはまるかを​出します。
• ⑤ 判断​（Jev、​1本）​：規程の​文と​「当ては​まった​規程」​（例：規程5→返金、​規程8→担当者へ回す）だけを​見せて、​答えを​1つ選ばせます​（答えごとの​確率つき）。
• ⑥ 言語化​（Claude Haiku 5.5）​：判断の​理由を​150字までの​文に​させました。​比べるのは​ ⑤ までです。
• 1件の​リクエスト​（答えを​決めるまで）​：Clairic 1本、​Jev 2本​（④ は​ ③ の​答えを​使うので、​順に​聞きます）
• 練習で​直した​こと​：③ が​「1枚が​箱の​中で​割れていました」を​写せていたのに、​④ の​ Jev が​破損の​申告を​「なし」と​答えたので、​破損の​申告は​ ③ が​破損の​記述を​写したかで​ Python が​決める​ことにしました。

結果は​77件で、​⑤ を​規程の​コードに​すると​78件です。​⑤ の​ Jev の​答えは、​同じ​「当ては​まった​規程」に​規程の​コードを​当てた答えと​100件中99件で​同じでした。

外れ23件の​多くは、​③④ の​読み取りでした。​規程1の​事情は、​なかった​事情を​「ある」としたのが​11件です。​破損の​申告は、​練習で​決めた​「③ が​破損の​記述を​写したら​あり」が​広すぎ、​コーティングのはがれ・変色・ぐら​つきなども​「あり」に​なりました​（言いすぎ10件、​うち6件が​「写真や​情報を​お願い​する」へ​外れた）。

Clairic が​注文の​記録と​メールを​丸ごと​読むので、​入力は​1件あたり平均4,737トークンに​なり、​100件の​費用8.8円の​うち7.1円が​ Clairic でした。

実験4：Clairic を​使わず、​6ステップで​組む

実験3の​ Clairic の​役を、​実験2と​同じ​ Jev と​ Python に​替えました。​④ の​規程の​当てはめと​ ⑤ は​実験3と​同じです。

• ③ 抽出：しません​（実験2と​同じ）。
• ④ 確認​（Jev、​1本）​：実験2と​同じ​6問の​答えを​使います。
• ④ 確認​（Python）​：規程を​1条ずつ​当てはめます​（実験3の​ ④ と​同じ）。
• ⑤ 判断​（Jev、​1本）​：当ては​まった​規程と​規程の​文から、​答えを​1つ選ばせます​（実験3の​ ⑤ と​同じ）。
• 1件の​リクエスト​（答えを​決めるまで）​：Jev 2本​（読む1本は、​実験2と​同じ​もの）
• 練習で​直した​こと​：ありません。​練習の​2件目​（皿が​箱の​中で​割れていた）で​ Jev が​破損の​申告を​「なし」と​読み、​外れました。​実験3で​ Python に​移した​弱点と​同じですが、​Clairic の​写した​文が​ないので​移す先が​なく、​問いは​直さずに​流しました。

結果は​78件で、​実験3​（77件）と​同じくらいのまま、​100件の​費用は​8.8円から​1.5円​（6分の​1）、​1件の​時間は​0.9秒から​0.3秒に​なりました。​⑤ の​ Jev の​答えは、​規程の​コードの​答えと​100件とも​同じでした。​当たった​件の​顔ぶれは​少し​入れ替わり、​両方​当たりが​64件、​実験4だけ​当たりが​14件、​実験3だけ​当たりが​13件です。

読み取りは​実験2と​まったく​同じなので、​⑤ の​聞き方だけで、​正解は​48件から​78件に​変わった​ことになります。

外れの​中身も​入れ替わりました。​破損の​申告は、​実験3の​言いすぎ10件が​0件に​なり、​代わりに​ Jev が​申告を​見落とした​件が​5件出ました。​規程1の​事情を​「ある」と​言いすぎた​件は、​11件から​19件に​増えました。​外れ22件の​うち19件は、​規程1の​事情の​読み違いを​含みます。

読み取りの​当たり​（③④）

6ステップの​2つの​実験で、​メールから​読む項目の​当たりを​並べます。​実験3​（Clairic で​読む）の​破損の​申告は​ Python が​決めた​ものです。​実験2​（Clairic なし・ブログどおり）の​読み取りは、​実験4と​同じです。

確信度で​振り分ける​（後から​引いた​線）

Jev は​答えごとの​確率を、​Clairic は​読んだ​値ごとの​確信度を​返します。​Jev の​確信度は​答えの​確率の​最大値、​Clairic の​確信度は​判断に​使う​5項目​（品物・届いてからの​日数・返金額・添付の​数・過去の​返品）の​確信度の​最小値です。​確信度が​閾値以上の​件だけを​ Jev に​任せ​（⑤ の​ Jev の​答えを、​人が​見ずに​そのまま​使う）、​残りを​人に​回すことを​考えます。​Clairic の​確信度で​分ける​ときも、​そのまま​使うのは​ ⑤ の​ Jev の​答えです。

まず、​100件の​確信度の​分布です。

同じ​ Jev でも、​組み方で​確信度の​出方が​違いました。​ブログどおり​（実験1）の​ Jev は​確信度が​ばらけ、​0.8以上は​39%でした。​6ステップ​（実験3・4）の​ ⑤ の​ Jev は​高い方に​寄り、​0.9以上が​71%と​73%、​ちょうど​1.0が​28%ずつありました。​確信度0.99以上の​件は、​どれも​当ては​まった​規程が​1つだけの​件です。​Clairic の​確信度は​0.8〜0.99に​55%が​集まり、​1.0の​件は​ありませんでした。​同じ​0.8の​線でも、​Jev に​任せる​件は​ブログどおりで​39%、​6ステップで​79〜81%に​なります。

次に、​確信度が​閾値以上の​件だけを​ Jev に​任せた​ときの、​その件の​正解率です。

ブログどおり​（実験1）の​ Jev は、​閾値を​上げる​ほど​正解率が​上がりました​（0.8以上で​95%、​0.97以上で​100%）。​0.8以上で​外れた​2件は​どちらも​グレーで、​0.8未満の​61件の​正解は​31件でした。​Clairic の​確信度で​分けると、​閾値を​上げても、​Jev に​任せた​件の​正解率が​7割前後から​上がりません。​外れの​多くが、​値の​読み取りではなく、​その後の​ Jev の​判断で​起きていた​ためです。

6ステップ​（実験3・4）は​0.9以上で​正解率が​9割を​超えましたが、​確信度1.0でも​外れる​件が​ありました​（実験3で​2件、​実験4で​1件）。​⑤ は​当ては​まった​規程しか​見ないので、​③④ の​読み違いに​気づけません。​実験3で​ ④ の​4問の​確率の​最小値を​使うと、​0.85以上の​22件は​全部​正解でした。

閾値ごとの、​Jev に​任せた​件数と​そのうちの​正解の​数です。

ブログどおり​（実験1）の​ Jev の​確信度0.8以上を​「確信」と​して、​残りの​振り分け先を​変えた​結果です。​最後の​行だけは、​実験4​（Clairic なし・6ステップ）の​ ⑤ の​ Jev の​確信度0.8以上を​「確信」に​しています。​「見ずに​外れ」は、​人が​一度も​見ないまま​外れた​答えが​出ていった​件数です。

「確信は​ Jev、​残りは​人」の​正解80件の​内訳です。​確信度0.8以上の​39件は​ Jev の​答えを​そのまま​使い、​37件が​正解でした。​残りの​61件は​筆者の​仕分けを​そのまま​使い、​43件が​正解でした。​37件と​43件で​80件です。​人だけ​（73件）との​違いは、​Jev に​任せた​39件だけで​生まれています。​この​39件で​筆者が​当てたのは​30件で、​Jev が​当てて筆者が​外した​7件が、​そのまま​増えた分です​（筆者が​当てて Jev が​外した件は​ありませんでした）。​7件の​内訳は​規程どおり3件、​読み取りが​難しい​2件、​グレー2件で、​うち4件は​筆者が​「担当者へ回す」に​した件です。​人が​見た​時間の​20.8分は​筆者が​この​61件に​かけた​時間の​合計で、​100件の​費用524円の​ほとんどは​この​時間の​分​（時給1,500円）です。

最後の​行は、​同じ​0.8の​線を、​Clairic を​使わず6ステップで​組んだ​実験4に​当てたものです。​実験4の​ ⑤ の​ Jev は​確信度が​高い方に​寄るので、​0.8以上が​79件​あり、​そのうち72件が​正解でした。​残りの​21件は​筆者の​仕分けを​使い、​11件が​正解で、​合わせて​83件です。​実験1で​分けた​ときより​正解は​3件多く、​人が​見るのは​21件だけなので、​人が​見た​時間は​5.1分、​100件の​費用は​128円で​済みました。​その​代わり、​人が​見ないまま​外れた​答えが​出ていく​件は、​実験1の​2件から​7件に​増えます。​7件とも、​⑤ の​ Jev の​判断は​規程どおりで、​外れたのは​その前の​メールの​読み取りでした。​⑤ は​当ては​まった​規程だけを​見て​決めるので、​その前で​読み違えていても、​確信度には​表れません。

閾値は、​100件の​結果を​見てから​引いた​ものです。

分かった​こと

速さと​費用は、​Jev の​構成が​ Haiku を​上回った

Clairic を​使わず6ステップで​組んだ​実験4は​1件0.3秒、​100件1.5円で、​Claude Haiku 5.5 の​3.0秒・8.1円より​速く、​安く​済みました。​Clairic を​使う​構成も​1件0.5〜0.9秒と​速い​ものの、​100件の​費用は​4.9〜8.8円で、​Haiku と​同じくらいでした。​費用の​大半は、​Clairic が​注文の​記録と​メールを​読む分です。

正確さは、​Jev の​どの​組み方も​ Haiku に​届かなかった

Jev の​構成の​正解は​最も​多くて​78件で、​Haiku は​91件でした。​規程で​答えが​決まる​62件に​限っても、​Jev の​構成は​最も​多くて​54件、​Haiku は​61件です。

当ては​まった​規程だけを​見せると、​Jev の​判断は​規程の​コードと​ほぼ​同じに​なった

同じ​ Jev​（jev-1.14.0）​でも、​正解は​組み方で​48件から​78件まで​動きました。​違いは、​⑤ の​ Jev に​何を​渡すかです。​読み取りが​まったく​同じ​実験2と​実験4でも、​値を​埋めた​文と​規程の​全文を​渡すと​48件、​当ては​まった​規程だけを​渡すと​78件でした。​ブログどおり​（実験1）の​外れ32件の​うち25件も、​値は​合っていて、​規程の​文を​当てはめる​ところで​外していました。​④ で​「〜か？」を​1問ずつ​確かめてから、​当ては​まった​規程だけを​見比べさせると、​⑤ の​ Jev の​答えは​規程の​コードと、​実験3で​100件中99件、​実験4で​100件とも​同じに​なりました。​それでも​正解が​77〜78件にとどまったのは、​外れの​多くが​ ⑤ より​前の​ ③④ の​読み取りで​起きていた​ためです。

Haiku との​差は​読み取りに​あり、​中心は​規程1の​事情だった

ここで​いう​読み取りは、​メールに​書かれた​事情を、​規程の​言葉​（不具合か、​使ったか、​規程1の​事情が​あるか​ など）に​当てはめて​読むことです。​規程の​コードは​正しい​事実を​渡せば​100件とも​正解を​出し、​実験4の​ ⑤ の​ Jev の​答えは​100件とも​規程の​コードと​同じでした。​つまり​実験4の​外れ22件は​すべて、​Jev の​メールの​読み取りから​来ています。​うち19件は、けが​・強い苦情・規程に​ない​事情​（規程1）を、なかったのに​「ある」と​読んだ​ものでした。​この​19件の​うち15件を、​Haiku は​当てています。​④ の​ Jev には​規程の​全文を​見せていないので、​「規程に​ない​事情」の​線が​引けません。​1回で​決める​ Haiku は、​規程を​見ながら​決めています。​規程を​見せて​聞いた​実験3の​ Jev でも、​なかった​事情を​「ある」としたのは​11件でした。

メールの​種類で​分けると、​実験4​（Clairic なし・6ステップ）と​ Haiku の​差13件の​うち、​「読み取りが​難しい」​25件での​差は​2件だけで、​グレー35件で​6件、​規程どおり40件で​5件でした。​差は、​書き方が​まぎらわしい​メールより、​グレーと​規程どおりの​メールで​出ています。

計算は​コードに​任せた方が​当たり、​Clairic を​外しても​正解は​変わらなかった

ブログどおり​（実験1）では、​Clairic が​計算した​届いてからの​日数は​99件中96件、​返金額は​99件中91件が​正しい​値でした。​Clairic には​日付・数・単価を​写させるだけに​して​ Python が​計算した​実験3では、​日数は​99件中99件、​返金額は​99件中98件です。​さらに、​注文の​記録を​ Python が​そのまま​読み、​メールを​ Jev が​選択肢で​読む形​（実験4）に​すると、​Clairic で​読む実験3と​正解は​ほとんど​変わらず​（78件と​77件）、​費用は​6分の​1に​なりました。

Jev の​確信度は、​ブログどおりの​組み方では​当たり外れを​分けた

ブログどおり​（実験1）で、​Jev の​確信度0.8以上の​39件は​37件が​正解でした。​Clairic の​確信度で​分けると、​閾値を​上げても、​Jev に​任せた​件の​正解率は​7割前後のままでした。​6ステップ​（実験3・4）では、​⑤ が​当ては​まった​規程しか​見ないので、​確信度1.0でも​外れる​件が​ありました。

比較条件と​限界

• 店・​メール・注文の​記録は​架空で、​Claude が​書いた​ものです。​実際の​お客さんの​メールでは​ありません。
• 人は​筆者1人です。​グレーの​正解は​規程を​文字どおり当てはめた​答えで、​人の​判断とは​物差しが​違います。
• 組み方は、​ほかの​組み方の​100件の​結果を​見てから​決めました。​それぞれの​実験の​問いは、​その​実験の​100件の​結果を​見て​直していませんが、​同じ​100件で​組み方を​選んでいるので、​新しい​メールでは​差が​縮むかもしれません。
• 確信度の​閾値​（0.8・0.97など）は、​100件の​結果を​見てから​引きました。​新しい​メールでは、​Jev に​任せた​件の​正解率は​下がるかもしれません。
• 100件なので、​数件の​差は​偶然でも​出ます。​Haiku は、​答えと​一緒に​返信の​文も​書かせた​最初の​回では​89件でした​（この​記事の​91件は、​答えだけを​返させた​回）。
• Clairic は​プレビュー版の​モデルです。
• Clairic と​ Jev に​送った​文は​日本語です。
• 時間は​今回の​実行環境での​ API の​時間です。​人の​時間は、​画面が​見えていた​時間です。

UnlockJapan と​ TypeSafe・Cloudflare の​間に、​提携・報酬・提供の​関係は​ありません。