AIが得意な仕事、苦手な仕事を数字で見えるようにしよう
今日手元に残るもの
正答・誤答・見逃し・過検出・回答不能・処理時間を集計し、合格値、問題別結果、入力種類別の差を表示する品質ダッシュボード
時間の目安
品質の見える化まで 30〜45分
終わりの合図
開けた・使えた・保存できた
この課題の10ステップを見る
01
今日はこれを作る
最初に、今日手元に何が残れば終わりかだけ見ます。全部を覚える必要はありません。
今日できあがるもの
正答・誤答・見逃し・過検出・回答不能・処理時間を集計し、合格値、問題別結果、入力種類別の差を表示する品質ダッシュボード
02
材料をAIに渡す
下の材料を用意して、ChatGPTに入れます。
今回使う材料
Lv.171で保存した「01_仕事ポータル点検ページ」の事例、期待結果、実際の結果、入力種類、実行時刻を開きます。
材料の入れ方前の完成物を使う
- 1上に書かれた方法で、前の完成物を用意する
- 2材料がそろったら、下のプロンプトを送る
Workが表示されるならそこで続けます。なければChatへ同じ内容を送って進めます。
ChatGPTの設定と詳しい使い方ファイル変更を何度も行うため、有料版がおすすめです。使える量はプラン画面で確認してください。
実際のファイルやコードを扱うなら、Codexがおすすめです。
03
ChatGPTに送るプロンプト
プロンプトは、ChatGPTにそのまま貼る指示文です。上に書かれた前の完成物を用意してから、下の文を送ります。
どんな入力でAIが得意か苦手か、感覚じゃなく見たい。点検結果を正答、誤答、見逃し、過検出、回答不能、処理時間に分けて、入力の種類ごとに比べて。合格値は俺が決めるまで仮置きで止めて。
04
AIの答えを確認して試す
最初から完璧でなくて大丈夫。まず一度、自分で動かしてみます。
1AIから出てくるもの
正答・誤答・見逃し・過検出・回答不能・処理時間を集計し、合格値、問題別結果、入力種類別の差を表示する品質ダッシュボード
まず自分で試す
六分類の件数を足し、評価対象の総件数と一致するか見る
入力種類を一つ選び、全体結果との違いを開く
問題別結果を一件読み、人の判断で分類を一度直す
合格値候補を一か所変え、合否表示だけが再計算されるか確認する
追加のプロンプト
当てはまるものだけ、上から順に送ります。
六つの数字が出たら
合計から一件ずつ問題別結果へ戻れるようにして。分類をAIだけで確定せず、人が期待結果と実際を見て直せるように。
送った後に試す
各分類から一件を開き、期待結果と実際を読んで分類が妥当か確かめる
入力種類別の差が見えたら
同じ内容でも入力種類が違う事例を並べて、問題そのものの差と入力条件の差を混ぜないで。
05
仕上がりをよくするコツ
気になるものを一つ選んで、ChatGPTに伝えます。
平均で弱点が隠れる
「問題別の失敗数が多い順にも並べ替えられるようにして」
回答不能を誤解する
「答えないのが正しい事例と、答えられず困った事例を別表示にして」
時間の条件をそろえたい
「処理時間には入力種類と実行条件を一緒に表示して」
06
やりがちなミス
見つけた数：0 / 4
当てはまる所を見つけたら、上のコツを使って直します。
これは合格・不合格を決めるものではありません。保存状態を確認しています。
07
ここまでできたら完成
AIの「できました」で終わらせません。実物を開いて使い、この課題の完成条件を確かめます。
六指標の合計を元の評価対象件数と照合できた
入力種類別の数字から元の問題へ戻れた
人が直した分類の前後と理由がログに残った
合格値が未確定の間は最終合格にならず止まった
Workで作った物を保存するプロンプト
この品質ダッシュボードを、完成フォルダの「安心運用センター」へ「02_AI品質の数字」として保存して。六指標、入力種類別の差、分類を直した一件、うまく照合できた結果、未確定の合格値も書いて。
共通の保存メモChatでできた物は、自分で保存
Chatの返答欄にファイルができたらダウンロードして「完成」フォルダへ移します。文章だけなら、全文をコピーしてテキストやWordへ貼って保存します。保存した物をもう一度開けた時に「残せた」とします。
できたことを手元に残す
作ったものや気づいたことを、自分のメモに残しておきましょう。
08
自分の仕事なら
今作ったものを、明日の仕事で使える形に変えます。
自分の業務で失敗を見逃せない入力種類を一つだけ選び、今の比較条件へ置き換えます。
本物の顧客名、個人情報、社外秘の資料へ置き換える前に、会社のルールと閲覧権限を確かめます。
09
つまずいたところを整理する
どこまでできて、どこで止まったか。短い言葉で大丈夫です。
うまくいかなかった点をメモする
「やりたかったこと」「試したこと」「実際の結果」を並べると、次に試すことが見つけやすくなります。
メモは自分の端末へ。サイトへの質問の受付は終了しています。
10 / 任意
次に進みたい方へ
ここで完成です。続ける方だけ、下の文を送ります。
次にすること
役割と承認の抜け道を試そう
続けるための追加プロンプト
追加のプロンプト
次は他人の案件、管理画面、直接URL、未承認処理、二重承認を練習アカウントで試して、全部の拒否とログを見たい。
進め方は3つだけ
- 1今使っているChatまたはWorkを、そのまま続ける
- 2下の追加プロンプトをコピーして送る
- 3出てきた物を見て、必要な所だけ一つ直す
今作った物の、ここを使います
問題別結果、期待した拒否、役割、対象案件、合格値と修正履歴を権限試験の判定へ使います。
できるようになること
画面で隠すだけでなく、直接URLや二重承認まで含めて抜け道を点検できます。
この内容を詳しく学ぶ教材
Lv.173「ほかの人の情報を見たり、承認を飛ばしたりできないか試そう」