---
title: "Clairic と Jev の返品メール仕分け：4つの実験 | UnlockJapan, Inc."
description: "Clairic と Jev で返品メール100件を仕分けた。Jev は Haiku より速く安いが、正解率は78%対91%で届かず、差は読み取りにあった。"
url: https://unlock-japan.co.jp/ja/blog/clairic-jev-returns-triage/
locale: ja
date: 2026-10-26
author: "吉田 拓馬"
---

2026-10-26

# Clairic と Jev の返品メール仕分け：4つの実験

[吉田 拓馬](https://unlock-japan.co.jp/ja/company/)

## この記事の要点

- **Clairic は研究の余地あり**：Clairic で読む組み方の正解率は68〜77%だった。Jev と Python で読むようにすると、正解率は77%から78%とほぼ同じで、100件の費用は8.8円から1.5円（6分の1）になった。Clairic の確信度は数値が上がっても正解率が7割前後のままだった。
- **Jev は業務によっては有効**：Jev と Python で組んだ実験は1件0.3秒・100件1.5円で、Claude Haiku 5.5（3.0秒・8.1円）より速く安く、正解率は78%で人（73%）を上回った。
- **肝は確信度をみながらどう分業するか**：ブログどおりの組み方（実験1）で、Jev の確信度0.8以上の件（100件中39件）に絞ると正解率は95%だった。確信度の高いこの39件だけ Jev に任せて残りの61件を人に回すと、正解率は人だけの73%から80%に上がり、人が見た時間は30.0分から20.8分に減った（線は結果を見てから引いたもの）。
- **正確さは Haiku に届かなかった（今回の題材では）**：Jev の組み方は4通りで正解率48〜78%、確信度で人と組んでも80〜83%で、Haiku の91%に届かなかった。最も正解の多かった組み方でも、Jev の判断そのものは規程どおりで、外れはすべてメールの読み取りから来ていた。差の中心は言語で定義された（数値で定義されていない）読み取りだった。

Clairic と Jev と Claude Haiku で、返品メール100件を仕分ける実験を4つしました。Jev は、TypeSafe が「System One モデル」と呼ぶ判断特化の AI です。Jev を使った4つの組み方の正解は48〜78件で、最も速く安かった組み方（Clairic を使わず、Jev と Python の6ステップで組んだ実験4。1件0.3秒・100件1.5円）も、Claude Haiku 5.5 の91件には届きませんでした。

使ったモデルは、Claude Haiku 5.5（`claude-haiku-5-5`）、Jev（`jev-1.14.0`）、Clairic（`@cf/cloudflare/clairic`、2026年10月24日時点のプレビュー版）です。

## 何を調べたか

TypeSafe の判断特化 AI「Jev」を業務に組み込むと、より良く・速く・安く判断できるか。この問いを出発点に、新たに Cloudflare からリリースされた抽出特化 AI「Clairic」も含めて、業務の形をした題材で有効性を検証しました。

題材は、返品・返金の問い合わせメールの仕分けです。答えは店の規程で決まりますが、規程に当てはめる前に、メールの文章から「何が起きたか」「何を望んでいるか」を読み取る必要があります。
Cloudflare は Clairic の紹介記事で、Clairic が値を取り出し、選択肢から判断するモデル Clef が対応を決め、汎用 LLM が返信を書く、という組み方を示しています（[Cloudflare のブログ](https://blog.cloudflare.com/clairic-extraction-model/)）。この検証では、Clef の席に Jev を置いたブログどおりの組み方のほかに、筆者が考えた「6ステップ」の組み方（下の「組み方の型」の節で説明します）、Clairic を使わずに Jev と Python だけで組む形を試しました。

読み物としての実験記録は note に連載しています（記事の最後にリンクがあります）。このページは、その数字と条件をまとめた参照先です。

note の返品メールの回で「Clairic 版」と呼んでいるのは、このページの実験1（ブログどおり、68件）、「Jev+Python 版」は実験4（78件）です。

## 題材：架空の店の返品メール100件

架空の通販「ミドリ台所店」（キッチン雑貨と小型家電、1,500〜6万円くらい。家電には1年保証）に届いた、返品・返金の問い合わせメールを100件作りました。仕分ける側は、メールと、管理画面にある注文の記録（注文日・届いた日・品名・数・単価、過去1年の返品回数、添付ファイルの数）を見て、次の6つから1つ選びます。

- 返金
- 交換
- 修理
- 写真や情報をお願いする
- お断り
- 担当者へ回す

規程は次の9条で、上から順に当てはめ、最初に当てはまったものにします（規程8だけは、規程5・6で返金になったときの例外です）。人・Haiku・Jev は、この同じ文を読みます。

1. けが・事故、強い苦情、この規程にない事情は、担当者へ回す。
2. どの注文のことか、何が起きたかが分からないときは、お客さんに情報をお願いする。
3. 破損（割れ・欠け・へこみ）の申告で写真が付いていないときは、まず写真をお願いする。
4. 過去1年に3回以上返品しているお客さんは、担当者へ回す。
5. 届いてから30日以内の初期不良（ふつうに使っていて壊れたものを含む）と配送中の破損は、お客さんの希望どおり返金か交換にする（希望が書いていなければ交換）。送料はお店が持つ。
6. お客さんの都合（イメージと違った、など）は、届いてから14日以内で未使用なら返金する。送料はお客さんが持つ。
7. 保証の付いた家電が、届いてから30日を過ぎて1年以内に、ふつうの使い方で壊れたときは、修理にする。
8. 5・6で返金になり、返金額が3万円以上のときは、担当者へ回す。
9. どれにも当てはまらないもの（期限切れ、使用済みのお客さん都合、使い方による破損）はお断りする。

| 種類 | 件数 | 中身 |
|---|---:|---|
| 規程どおり | 40 | 6つの答えがそれぞれ6〜7件 |
| 読み取りが難しい | 25 | 注文番号がない・1文字違う、品名の言いかえ（「白いやかん」）、品物が2つ、「6枚組のうち2枚」、写真を「付けました」と書いて添付が0枚、前置きが長い、など |
| グレー | 35 | 期限を数日過ぎた常連、原因があいまい（「落としたかもしれないが最初からぐらついていた」）、返品3回目だが全部初期不良、贈り物・廃番など規程にない事情、苦情の強さがあいまい、など |

グレーの件は、メールの元にした事実に規程を文字どおり当てはめた結果を正解としています。メールと注文の記録は、Claude（Anthropic の AI）が正解を先に決めてから文に起こしました。仕分ける側の Haiku には書かせていません。並び順はシャッフルし、種類は仕分ける側に見せていません。

## 組み方の型：6つのステップ

この記事では、仕分けの組み方を、筆者が考えた型で説明します。判断を問いの形で6つのステップに分ける型で、各実験の図と本文にある ③ 抽出・④ 確認・⑤ 判断は、このステップを指します。

| ステップ | 誰が | 問いの形 | すること | この題材では |
|---|---|---|---|---|
| ① 前準備 | 人 + LLM | — | 規程と答えの候補を書く | 上の9条と6つの答え（人が AI と相談して書いた） |
| ② 題材 | LLM | — | 判断する1件を用意する | メール1通と注文の記録 |
| ③ 抽出 | Clairic / Jev / Haiku | 「何？」 | 書いてある値を写す | 届いた日・単価・数・お客さんの言葉など |
| ④ 確認 | Jev / Haiku | 「〜か？」 | 規程の条件に当てはまるかを、1問ずつ確かめる | 30日以内か、3万円以上か（計算で決まる）。不具合か、希望は返金か（文章の意味で決まる） |
| ⑤ 判断 | Jev / Haiku | 「どれ？」 | 確かめた結果から、答えを1つ選ぶ | 6つの答えのどれか |
| ⑥ 言語化 | 人 / Haiku | — | 判断の理由を文にする | 返信や説明の文 |

実験ごとに違うのは、③〜⑤ をだれ（Clairic・Jev・Python）が受け持つかと、⑤ に何を見せるかです。④ で規程1〜9のそれぞれが当てはまるかまで確かめ、⑤ には当てはまった規程だけを見せる組み方を、この記事では「6ステップ」と呼びます。

## 結果の一覧

実験は次の4つです。

- **実験1**：Cloudflare のブログどおり。Clairic が値を読み、Jev が規程の全文から決める。
- **実験2**：実験1から Clairic を外す。メールは Jev が選択肢で読み、注文の記録は Python が読む。決め方は実験1と同じ。
- **実験3**：6ステップ。③ は Clairic、④ は Python と Jev、⑤ の Jev には当てはまった規程だけを見せる。
- **実験4**：実験3から Clairic を外した6ステップ。読み取りは実験2と同じ。

![結果の一覧のグラフ。人・Claude Haiku 5.5・実験1〜4の正解率・1件の時間・100件の費用を横棒で並べたもの。正解率は Haiku が91%で最も高く、Jev の組み方は48〜78%。時間と費用は実験4が0.3秒・1.5円で最も小さい。人は18.0秒・751円で目盛りの外](https://unlock-japan.co.jp/blog/clairic-jev-returns-results-ja.png)

| 構成 | 正解（/100件） | 規程どおり（/40件） | 読み取りが難しい（/25件） | グレー（/35件） | 規程で決まる62件 | 1件の時間（平均） | 100件の費用 |
|---|---:|---:|---:|---:|---:|---:|---:|
| 人（筆者） | 73 | 34 | 22 | 17 | 56 | 18.0秒 | 751円 |
| Claude Haiku 5.5 | 91 | 40 | 24 | 27 | 61 | 3.0秒 | 8.1円 |
| 実験1：ブログどおり | 68 | 33 | 18 | 17 | 49 | 0.5秒 | 4.9円 |
| 実験2：Clairic なし・ブログどおり | 48 | 21 | 16 | 11 | 36 | 0.3秒 | 1.6円 |
| 実験3：6ステップ（Clairic で読む） | 77 | 34 | 20 | 23 | 51 | 0.9秒 | 8.8円 |
| 実験4：Clairic なし・6ステップ | 78 | 35 | 22 | 21 | 54 | 0.3秒 | 1.5円 |

「規程で決まる62件」は、規程どおり・読み取りが難しい65件から、メールが2通りに読める3件を除いたものです。人の外れ27件のうち18件はグレーで、そのうち13件は筆者が「担当者へ回す」にした件です。グレーの正解は規程を文字どおり当てはめた答えなので、迷って担当者に回した判断は外れに数えています。

「規程のコード」は、規程の9条を Python で書いたものです。④ までに確かめた結果に規程を上から当てはめ、規程の文字どおりの答えを機械的に出します。6ステップの実験3・4では、⑤ 判断を Jev の代わりに規程のコードにした場合も数え、⑤ の判断が規程と食い違っていないかを見る物差しにしました。規程のコードは、メールの元にした正しい事実を渡せば、100件とも正解の答えを出します。

| 構成 | ⑤ が Jev | ⑤ が規程のコード |
|---|---:|---:|
| 実験3：6ステップ（Clairic で読む） | 77 | 78 |
| 実験4：Clairic なし・6ステップ | 78 | 78 |

## 共通の条件

- 規程と答えの候補は、100件を作る前に決めました。
- それぞれの実験の問いは、練習用の2件（100件とは別）で配線を確かめてから固め、その実験の100件の結果を見て直していません。練習で直したところは、各実験の節に書きます。
- 注文の記録の行が要る項目（届いた日・単価・届いてからの日数・返金額など）の当たりは、どの注文のことかメールから決められないように作った1件を除いた99件で数えています。
- Clairic と Jev に送る文は日本語です。題材が日本語の業務だからです（Jev は、公式には英語が最も精度が高いとされています）。
- モデルは Clairic（`@cf/cloudflare/clairic`、プレビュー版）、Jev（`jev-1.14.0`）、Claude Haiku 5.5（`claude-haiku-5-5`、effort は medium）です。
- 時間は、答えを決めるまでの API の応答時間の合計です。Haiku は CLI が報告する API の時間で、CLI の起動時間は含みません。人は、仕分け用のページが記録した、画面が見えていて操作が3分以上とだえていないあいだの時間です。
- 費用は API の定価から1ドル150円で換算しました。Clairic は入力100万トークンあたり0.10ドル（[Cloudflare のドキュメント](https://developers.cloudflare.com/workers-ai/models/clairic/)）、Jev は0.042ドル（[TypeSafe のドキュメント](https://docs.typesafe.ai/models)）で、どちらも出力は無料です。人は時給1,500円で換算しました。
- 返信や判断の理由の文（⑥）は、人が書いていないので比べず、時間と費用にも入れていません。

### 人

筆者が、仕分け用のページで1件ずつ、6つの答えから選びました。機械の結果を見る前に100件を仕分けています。

### Claude Haiku 5.5

- **渡すもの**：規程・メール・注文の記録を1回で。答え（6つのどれか）だけを JSON で返させます。
- **1件のリクエスト**：1本

## 実験1：Cloudflare のブログどおりに組む

![実験1（Cloudflare のブログどおり）の組み方。③ 抽出は Clairic（値を確信度つきで、計算も）、④ は Python が値を決まった文に埋めるだけ、⑤ 判断は Jev（その文と規程の全文から）](https://unlock-japan.co.jp/blog/clairic-jev-returns-exp1-ja.png)

[Cloudflare のブログ](https://blog.cloudflare.com/clairic-extraction-model/)の、壊れた品物の苦情の例に沿って組みました（Clairic → Clef → 汎用 LLM の、Clef の席に Jev）。

- **③ 抽出（Clairic、1本）**：注文の記録とメールをそのまま渡し、規程は渡しません。1つの事実に1つの型つきの項目で読みます（名前・注文番号・品物・届いてからの日数・返金するとしたらの額・添付の数・過去1年の返品・保証・書いてある不具合や破損の一覧・使ったか・希望・そのほかの事情の一覧）。日数（日数の型）と返金額（単価×数）の計算は、ブログにならって Clairic に任せます。
- **④（Python）**：読んだ値を決まった文に埋めるだけで、確認はしません。30日以内か、3万円以上か、といった境目は計算しません。
- **⑤ 判断（Jev、1本）**：その文と規程の全文だけを見て、「この問い合わせに、どう対応するか」を6つの答えから選びます（選択式）。メールは見ません。
- **人に回す印**：ブログは確信度で自動にする件と人に回す件を分けるよう勧めていますが、決まりは書いていません。流す前に「判断に使う値（品物・日数・返金額・添付・返品）に、Clairic の確信度が0.5未満のものがある件」を人に回す印にすると決めました。
- **1件のリクエスト**（答えを決めるまで）：Clairic 1本、Jev 1本
- **練習で直したこと**：ありません。練習の2件目で Clairic が日数を340日と読み違えました（正しくは4日）が、確信度0.38で人に回す印が付いたので、ブログどおりのまま流しました。

結果は68件でした。

| Clairic の項目 | 当たり |
|---|---:|
| 注文番号 | 99件中98件 |
| 品物 | 100件中95件 |
| 届いてからの日数 | 99件中96件 |
| 返金するとしたらの額 | 99件中91件 |
| 添付の数・過去1年の返品 | どちらも100件中100件 |
| 保証 | 99件中99件 |

外れ32件のうち、Clairic の値（日数・返金額・品物）が違っていたのは7件で、残り25件は値が合っていて、Jev が規程の文を当てはめるところで外していました（希望が交換なのに返金5件、お断りのところを返金4件、など）。返金額が3万円以上で担当者へ回す4件（規程8）は、すべて当たりでした。

人に回す印が付いたのは11件で、残り89件の正解は63件（71%）でした。100件の費用4.9円のうち4.2円が Clairic です（入力は1件あたり平均2,796トークン）。

## 実験2：Clairic を使わず、ブログどおりに組む

![実験2の組み方。③ 抽出はなし、④ は Jev（メールの6問）と、値を決まった文に埋めるだけの Python、⑤ 判断は Jev（その文と規程の全文から）](https://unlock-japan.co.jp/blog/clairic-jev-returns-exp2-ja.png)

実験1の Clairic の役を Jev と Python に替え、⑤ の聞き方は実験1のままにしました。Jev は選択肢と「はい・いいえ」でしか答えられず、数字やお客さんの言葉は出せないので、値を抜き出さない形にしています。

- **③ 抽出**：しません。注文の記録は Python がそのまま読みます（届いた日・保証・単価・過去の返品・添付）。どの行かは、Jev が選んだ品物で決めます。
- **④（Jev、1本）**：メールとこのお客さんの注文を見せ、6問に選択肢で答えさせます（どの品物か、何が起きたか、使ったか、希望、写真で見える破損の申告か、規程1の事情があるか）。規程1の事情は規程の文言で聞きますが、規程の全文は見せません。問題のある数は、2個以上頼んだ品物がある3件だけ、1からその数までの選択肢で聞きます。
- **④（Python）**：Jev の答えと、注文の記録の値を、決まった文に埋めます。30日以内か、3万円以上か、といった境目は計算しません（実験1と同じ）。
- **⑤ 判断（Jev、1本）**：その文と規程の全文を見て、「この問い合わせに、どう対応するか」を6つの答えから選びます。メールは見ません。
- **1件のリクエスト**（答えを決めるまで）：Jev 2本
- **練習で直したこと**：ありません。

結果は48件で、実験1（68件）より下がりました。Clairic を外しても、正解は増えませんでした。Jev は「写真や情報をお願いする」を41件選び（正解では10件）、そのうち40件は添付が0枚、破損の申告があったのは3件だけです。決まった文の「添付の写真0枚」「写真で見える破損の申告：なし」に引っぱられたのかもしれません（後からの見立てです）。読み取りの当たりは、品物99件中98件、どの注文か100件中99件、問題のある数99件中98件でした。

## 実験3：判断を6つのステップに分ける

![実験3の組み方。③ 抽出は Clairic（値と言葉を写す）、④ 確認は Python（日数・返金額と当てはまる規程）と Jev（4問）、⑤ 判断は Jev（当てはまった規程だけを見比べる）](https://unlock-japan.co.jp/blog/clairic-jev-returns-exp3-ja.png)

実験1・2では、④ で規程の条件を確かめず、値を埋めた文と規程の全文から、規程の当てはめまで ⑤ の Jev に任せていました。実験3では、上の「組み方の型」どおりに、④ で規程1〜9のそれぞれが当てはまるかまで確かめ、⑤ の Jev には当てはまった規程だけを見せます（6ステップ）。読み取りは、実験1と同じく Clairic です。

例えば電動コーヒーミルの件では、届いてから5日の不具合で返金希望なので規程5に当てはまり、過去1年に4回返品しているので規程4にも当てはまります。規程は上から当てはめるので、正解は規程4の「担当者へ回す」です。⑤ の Jev は、当てはまった2つの規程を見比べて「担当者へ回す」を0.93、「返金」を0.06と答えました。

- **③ 抽出（Clairic、1本）**：注文の記録とメールを渡します。メールに書いてある注文番号、記録にある添付の数・過去1年の返品・メールを受け取った日、メールが指している注文の1行（品名・届いた日・数・単価・保証）を写させます。日数や返金額の計算はさせません。メールの中身は、規程のことばに当てはめずに、お客さんの言葉のまま項目ごとに写させます（何が起きたか・きっかけ・使ったか・希望・破損・問題のある数・そのほかの事情）。
- **④ 確認（Python と Jev、1本）**：Jev には、③ で写したお客さんの言葉と規程を見せ、4問に答えさせます（何が起きたか：不具合／配送中の破損／お客さんの都合／使い方による破損／分からない、使ったか、希望、規程1の事情があるか）。メールは見せません。Python は、③ の日付と数から、届いてからの日数・期限・保証・返金額を計算し、規程1〜9のそれぞれが当てはまるかを出します。
- **⑤ 判断（Jev、1本）**：規程の文と「当てはまった規程」（例：規程5→返金、規程8→担当者へ回す）だけを見せて、答えを1つ選ばせます（答えごとの確率つき）。
- **⑥ 言語化（Claude Haiku 5.5）**：判断の理由を150字までの文にさせました。比べるのは ⑤ までです。
- **1件のリクエスト**（答えを決めるまで）：Clairic 1本、Jev 2本（④ は ③ の答えを使うので、順に聞きます）
- **練習で直したこと**：③ が「1枚が箱の中で割れていました」を写せていたのに、④ の Jev が破損の申告を「なし」と答えたので、破損の申告は ③ が破損の記述を写したかで Python が決めることにしました。

結果は77件で、⑤ を規程のコードにすると78件です。⑤ の Jev の答えは、同じ「当てはまった規程」に規程のコードを当てた答えと100件中99件で同じでした。

| ステップ | 項目 | 当たり |
|---|---|---:|
| ③ Clairic | 注文番号（メールに書いてあるとおり） | 100件中96件 |
| ③ Clairic | 添付の数・過去1年の返品・受け取った日 | 3項目とも100件中100件 |
| ③ Clairic | 注文の記録の行 | 100件中98件 |
| ③ Clairic | 届いた日・単価・保証 | 3項目とも99件中99件 |
| ③ Clairic | 注文した数・問題のある数 | どちらも99件中95件 |
| ④ Jev | 何が起きたか | 100件中92件 |
| ④ Jev | 使ったか | 100件中75件 |
| ④ Jev | 希望 | 100件中95件 |
| ④ Jev | 規程1の事情 | 100件中86件 |
| ④ Python | 破損の申告 | 100件中90件 |
| ④ Python | 届いてからの日数 | 99件中99件 |
| ④ Python | 返金額 | 99件中98件 |

外れ23件の多くは、③④ の読み取りでした。規程1の事情は、なかった事情を「ある」としたのが11件です。破損の申告は、練習で決めた「③ が破損の記述を写したらあり」が広すぎ、コーティングのはがれ・変色・ぐらつきなども「あり」になりました（言いすぎ10件、うち6件が「写真や情報をお願いする」へ外れた）。

Clairic が注文の記録とメールを丸ごと読むので、入力は1件あたり平均4,737トークンになり、100件の費用8.8円のうち7.1円が Clairic でした。

## 実験4：Clairic を使わず、6ステップで組む

![実験4の組み方。③ 抽出はなし、④ 確認は Jev（メールの6問）と Python（当てはまる規程）、⑤ 判断は Jev（当てはまった規程だけを見比べる）](https://unlock-japan.co.jp/blog/clairic-jev-returns-exp4-ja.png)

実験3の Clairic の役を、実験2と同じ Jev と Python に替えました。④ の規程の当てはめと ⑤ は実験3と同じです。

- **③ 抽出**：しません（実験2と同じ）。
- **④ 確認（Jev、1本）**：実験2と同じ6問の答えを使います。
- **④ 確認（Python）**：規程を1条ずつ当てはめます（実験3の ④ と同じ）。
- **⑤ 判断（Jev、1本）**：当てはまった規程と規程の文から、答えを1つ選ばせます（実験3の ⑤ と同じ）。
- **1件のリクエスト**（答えを決めるまで）：Jev 2本（読む1本は、実験2と同じもの）
- **練習で直したこと**：ありません。練習の2件目（皿が箱の中で割れていた）で Jev が破損の申告を「なし」と読み、外れました。実験3で Python に移した弱点と同じですが、Clairic の写した文がないので移す先がなく、問いは直さずに流しました。

結果は78件で、実験3（77件）と同じくらいのまま、100件の費用は8.8円から1.5円（6分の1）、1件の時間は0.9秒から0.3秒になりました。⑤ の Jev の答えは、規程のコードの答えと100件とも同じでした。当たった件の顔ぶれは少し入れ替わり、両方当たりが64件、実験4だけ当たりが14件、実験3だけ当たりが13件です。

読み取りは実験2とまったく同じなので、⑤ の聞き方だけで、正解は48件から78件に変わったことになります。

外れの中身も入れ替わりました。破損の申告は、実験3の言いすぎ10件が0件になり、代わりに Jev が申告を見落とした件が5件出ました。規程1の事情を「ある」と言いすぎた件は、11件から19件に増えました。外れ22件のうち19件は、規程1の事情の読み違いを含みます。

## 読み取りの当たり（③④）

6ステップの2つの実験で、メールから読む項目の当たりを並べます。実験3（Clairic で読む）の破損の申告は Python が決めたものです。実験2（Clairic なし・ブログどおり）の読み取りは、実験4と同じです。

![読み取りの当たりのグラフ。何が起きたか・使ったか・希望・破損の申告・規程1の事情・問題のある数の6項目について、実験3と実験4の当たりの割合を横棒で並べたもの。使ったかは実験3が75%、実験4が92%、規程1の事情は実験3が86%、実験4が79%](https://unlock-japan.co.jp/blog/clairic-jev-returns-reading-ja.png)

| 項目 | 実験3：6ステップ（③ Clairic・④ Jev） | 実験4：Clairic なし・6ステップ（Jev） |
|---|---:|---:|
| 何が起きたか | 92/100 | 95/100 |
| 使ったか | 75/100 | 92/100 |
| 希望 | 95/100 | 98/100 |
| 破損の申告 | 90/100 | 95/100 |
| 規程1の事情 | 86/100 | 79/100 |
| 問題のある数 | 95/99 | 98/99 |

## 確信度で振り分ける（後から引いた線）

Jev は答えごとの確率を、Clairic は読んだ値ごとの確信度を返します。Jev の確信度は答えの確率の最大値、Clairic の確信度は判断に使う5項目（品物・届いてからの日数・返金額・添付の数・過去の返品）の確信度の最小値です。確信度が閾値以上の件だけを Jev に任せ（⑤ の Jev の答えを、人が見ずにそのまま使う）、残りを人に回すことを考えます。Clairic の確信度で分けるときも、そのまま使うのは ⑤ の Jev の答えです。

まず、100件の確信度の分布です。

![確信度の分布のグラフ。実験1の Jev・実験1の Clairic・実験3と実験4の ⑤ の Jev について、100件の確信度を0.5未満から1.0までの帯に分けた割合を棒で並べたもの。実験1の Jev はばらけて0.8以上が39%、実験3・4は0.9以上が71%と73%で1.0が28%ずつ、Clairic は0.8〜0.99に55%で1.0は0%](https://unlock-japan.co.jp/blog/clairic-jev-returns-distribution-ja.png)

同じ Jev でも、組み方で確信度の出方が違いました。ブログどおり（実験1）の Jev は確信度がばらけ、0.8以上は39%でした。6ステップ（実験3・4）の ⑤ の Jev は高い方に寄り、0.9以上が71%と73%、ちょうど1.0が28%ずつありました。確信度0.99以上の件は、どれも当てはまった規程が1つだけの件です。Clairic の確信度は0.8〜0.99に55%が集まり、1.0の件はありませんでした。同じ0.8の線でも、Jev に任せる件はブログどおりで39%、6ステップで79〜81%になります。

次に、確信度が閾値以上の件だけを Jev に任せたときの、その件の正解率です。

![確信度別正解率のグラフ。横軸は確信度の閾値（0.5以上〜1.0）、縦軸は閾値以上の件（Jev の答えをそのまま使う件）の正解率。実験1の Jev は0.8以上で95%、0.97以上で100%に上がり、Clairic の確信度で分けた線は7割前後から上がらない。実験3・4は0.9以上で9割を超える](https://unlock-japan.co.jp/blog/clairic-jev-returns-confidence-ja.png)

ブログどおり（実験1）の Jev は、閾値を上げるほど正解率が上がりました（0.8以上で95%、0.97以上で100%）。0.8以上で外れた2件はどちらもグレーで、0.8未満の61件の正解は31件でした。Clairic の確信度で分けると、閾値を上げても、Jev に任せた件の正解率が7割前後から上がりません。外れの多くが、値の読み取りではなく、その後の Jev の判断で起きていたためです。

6ステップ（実験3・4）は0.9以上で正解率が9割を超えましたが、確信度1.0でも外れる件がありました（実験3で2件、実験4で1件）。⑤ は当てはまった規程しか見ないので、③④ の読み違いに気づけません。実験3で ④ の4問の確率の最小値を使うと、0.85以上の22件は全部正解でした。

閾値ごとの、Jev に任せた件数とそのうちの正解の数です。

| 閾値 | 実験1（ブログどおり）：Jev の確信度 | 実験1（ブログどおり）：Clairic の確信度 | 実験3（6ステップ・Clairic で読む）：⑤ の Jev の確信度 | 実験4（Clairic なし・6ステップ）：⑤ の Jev の確信度 |
|---:|---:|---:|---:|---:|
| 0.5以上 | 80件中58件 | 89件中63件 | 99件中77件 | 100件中78件 |
| 0.7以上 | 50件中44件 | 71件中51件 | 91件中75件 | 89件中75件 |
| 0.8以上 | 39件中37件 | 60件中45件 | 81件中69件 | 79件中72件 |
| 0.9以上 | 25件中24件 | 41件中30件 | 71件中65件 | 73件中68件 |
| 0.97以上 | 12件中12件 | 20件中15件 | 50件中47件 | 48件中46件 |
| 0.99以上 | 6件中6件 | 5件中2件 | 43件中41件 | 45件中43件 |
| 1.0 | 4件中4件 | 0件 | 28件中26件 | 28件中27件 |

ブログどおり（実験1）の Jev の確信度0.8以上を「確信」として、残りの振り分け先を変えた結果です。最後の行だけは、実験4（Clairic なし・6ステップ）の ⑤ の Jev の確信度0.8以上を「確信」にしています。「見ずに外れ」は、人が一度も見ないまま外れた答えが出ていった件数です。

| 振り分け方 | 正解 | 見ずに外れ | 100件の費用 | 1件の時間（平均） | 人が見た時間（100件） |
|---|---:|---:|---:|---:|---:|
| 人だけ | 73 | 0 | 751円 | 18.0秒 | 30.0分 |
| Claude Haiku 5.5 だけ | 91 | 9 | 8.1円 | 3.0秒 | 0分 |
| 実験1（ブログどおり）だけ | 68 | 32 | 4.9円 | 0.5秒 | 0分 |
| 確信は Jev、残りは人 | 80 | 2 | 524円 | 12.9秒 | 20.8分 |
| 確信は Jev、残りは Haiku | 92 | 8 | 10.1円 | 2.4秒 | 0分 |
| Jev と Haiku が同じ答えなら自動、違えば人 | 86 | 2 | 309円 | 10.6秒 | 11.9分 |
| 実験4で、確信は Jev、残りは人 | 83 | 7 | 128円 | 3.4秒 | 5.1分 |

「確信は Jev、残りは人」の正解80件の内訳です。確信度0.8以上の39件は Jev の答えをそのまま使い、37件が正解でした。残りの61件は筆者の仕分けをそのまま使い、43件が正解でした。37件と43件で80件です。人だけ（73件）との違いは、Jev に任せた39件だけで生まれています。この39件で筆者が当てたのは30件で、Jev が当てて筆者が外した7件が、そのまま増えた分です（筆者が当てて Jev が外した件はありませんでした）。7件の内訳は規程どおり3件、読み取りが難しい2件、グレー2件で、うち4件は筆者が「担当者へ回す」にした件です。人が見た時間の20.8分は筆者がこの61件にかけた時間の合計で、100件の費用524円のほとんどはこの時間の分（時給1,500円）です。

最後の行は、同じ0.8の線を、Clairic を使わず6ステップで組んだ実験4に当てたものです。実験4の ⑤ の Jev は確信度が高い方に寄るので、0.8以上が79件あり、そのうち72件が正解でした。残りの21件は筆者の仕分けを使い、11件が正解で、合わせて83件です。実験1で分けたときより正解は3件多く、人が見るのは21件だけなので、人が見た時間は5.1分、100件の費用は128円で済みました。その代わり、人が見ないまま外れた答えが出ていく件は、実験1の2件から7件に増えます。7件とも、⑤ の Jev の判断は規程どおりで、外れたのはその前のメールの読み取りでした。⑤ は当てはまった規程だけを見て決めるので、その前で読み違えていても、確信度には表れません。

閾値は、100件の結果を見てから引いたものです。

## 分かったこと

### 速さと費用は、Jev の構成が Haiku を上回った

Clairic を使わず6ステップで組んだ実験4は1件0.3秒、100件1.5円で、Claude Haiku 5.5 の3.0秒・8.1円より速く、安く済みました。Clairic を使う構成も1件0.5〜0.9秒と速いものの、100件の費用は4.9〜8.8円で、Haiku と同じくらいでした。費用の大半は、Clairic が注文の記録とメールを読む分です。

### 正確さは、Jev のどの組み方も Haiku に届かなかった

Jev の構成の正解は最も多くて78件で、Haiku は91件でした。規程で答えが決まる62件に限っても、Jev の構成は最も多くて54件、Haiku は61件です。

### 当てはまった規程だけを見せると、Jev の判断は規程のコードとほぼ同じになった

同じ Jev（`jev-1.14.0`）でも、正解は組み方で48件から78件まで動きました。違いは、⑤ の Jev に何を渡すかです。読み取りがまったく同じ実験2と実験4でも、値を埋めた文と規程の全文を渡すと48件、当てはまった規程だけを渡すと78件でした。ブログどおり（実験1）の外れ32件のうち25件も、値は合っていて、規程の文を当てはめるところで外していました。④ で「〜か？」を1問ずつ確かめてから、当てはまった規程だけを見比べさせると、⑤ の Jev の答えは規程のコードと、実験3で100件中99件、実験4で100件とも同じになりました。それでも正解が77〜78件にとどまったのは、外れの多くが ⑤ より前の ③④ の読み取りで起きていたためです。

### Haiku との差は読み取りにあり、中心は規程1の事情だった

ここでいう読み取りは、メールに書かれた事情を、規程の言葉（不具合か、使ったか、規程1の事情があるか など）に当てはめて読むことです。規程のコードは正しい事実を渡せば100件とも正解を出し、実験4の ⑤ の Jev の答えは100件とも規程のコードと同じでした。つまり実験4の外れ22件はすべて、Jev のメールの読み取りから来ています。うち19件は、けが・強い苦情・規程にない事情（規程1）を、なかったのに「ある」と読んだものでした。この19件のうち15件を、Haiku は当てています。④ の Jev には規程の全文を見せていないので、「規程にない事情」の線が引けません。1回で決める Haiku は、規程を見ながら決めています。規程を見せて聞いた実験3の Jev でも、なかった事情を「ある」としたのは11件でした。

メールの種類で分けると、実験4（Clairic なし・6ステップ）と Haiku の差13件のうち、「読み取りが難しい」25件での差は2件だけで、グレー35件で6件、規程どおり40件で5件でした。差は、書き方がまぎらわしいメールより、グレーと規程どおりのメールで出ています。

### 計算はコードに任せた方が当たり、Clairic を外しても正解は変わらなかった

ブログどおり（実験1）では、Clairic が計算した届いてからの日数は99件中96件、返金額は99件中91件が正しい値でした。Clairic には日付・数・単価を写させるだけにして Python が計算した実験3では、日数は99件中99件、返金額は99件中98件です。さらに、注文の記録を Python がそのまま読み、メールを Jev が選択肢で読む形（実験4）にすると、Clairic で読む実験3と正解はほとんど変わらず（78件と77件）、費用は6分の1になりました。

### Jev の確信度は、ブログどおりの組み方では当たり外れを分けた

ブログどおり（実験1）で、Jev の確信度0.8以上の39件は37件が正解でした。Clairic の確信度で分けると、閾値を上げても、Jev に任せた件の正解率は7割前後のままでした。6ステップ（実験3・4）では、⑤ が当てはまった規程しか見ないので、確信度1.0でも外れる件がありました。

## 比較条件と限界

- 店・メール・注文の記録は架空で、Claude が書いたものです。実際のお客さんのメールではありません。
- 人は筆者1人です。グレーの正解は規程を文字どおり当てはめた答えで、人の判断とは物差しが違います。
- 組み方は、ほかの組み方の100件の結果を見てから決めました。それぞれの実験の問いは、その実験の100件の結果を見て直していませんが、同じ100件で組み方を選んでいるので、新しいメールでは差が縮むかもしれません。
- 確信度の閾値（0.8・0.97など）は、100件の結果を見てから引きました。新しいメールでは、Jev に任せた件の正解率は下がるかもしれません。
- 100件なので、数件の差は偶然でも出ます。Haiku は、答えと一緒に返信の文も書かせた最初の回では89件でした（この記事の91件は、答えだけを返させた回）。
- Clairic はプレビュー版のモデルです。
- Clairic と Jev に送った文は日本語です。
- 時間は今回の実行環境での API の時間です。人の時間は、画面が見えていた時間です。

UnlockJapan と TypeSafe・Cloudflare の間に、提携・報酬・提供の関係はありません。

この記事を共有

## 関連記事

ブログ

2026-10-21

### Jev オセロ検証：問い方・分解・計算で勝率はどう変わるか

note の連載（読み物版）

note2026-10-24

### 業務を AI ( Jev / Clairic ) で効率化したい人が工夫する話

note2026-10-20

### 今更聞けない Jev って何？リリースされて1ヶ月経った現在地

[ブログ一覧](https://unlock-japan.co.jp/ja/blog/)

---

- Site overview for agents: https://unlock-japan.co.jp/llms.txt
- Sitemap: https://unlock-japan.co.jp/sitemap.xml
- Other language: https://unlock-japan.co.jp/en/blog/clairic-jev-returns-triage/
- Contact: contact@unlock-japan.co.jp