本文へ移動
  1. トップ
  2. コラム
  3. AI に作らせた仕組みの完了を、画面と保存されたデータで確かめる
コラム

AI に作らせた仕組みの完了を、画面と保存されたデータで確かめる

この記事の要点

AI に仕組みを作らせたら、「テストが通りました」という報告だけで完了にせず、画面を開いた記録と、保存されたデータの記録を付けさせます。当社では、テストが合格していたのに仕様にあった画面がまだ無かったことと、本番の入力の画面で選択肢が 1 つも出ていなかったことがありました。どちらも、画面とデータを見れば分かることでした。

自動のテストがほとんど合格しているのに、利用者が使うはずの画面が、まだ作られていない。2026 年 5 月 5 日、社内で開発していた業務の仕組みを点検して見つかったことです。AI に仕組みを作らせるときは、「テストが通りました」という報告だけで完了にしません。画面を開いた記録と、保存されたデータの記録を、完了の報告に付けさせます。

この記事では、当社で実際にあった 2 つの例と、そのあとに足した確かめ方を書きます。

虫眼鏡を持つ手のイラスト

自動のテストが合格していても、画面がまだありませんでした

5 月 5 日の点検は、作ったものには一切手を触れずに、仕様書・作ったもの・テストの 3 つを 1 件ずつ照らし合わせる、というものでした。点検も AI に担当させています。照らした結果は、次のような区分で表にさせました。

区分 意味
仕様どおり 仕様書のとおりに作られていて、テストもある
一部 作られているが、仕様書の一部が足りない
仕様と違う 作られているが、仕様書と違う動きをする
仕様に無い 仕様書に書いていないものが作られている
作っていない 仕様書にあるが、まだ作られていない
確かめられない 動きを見る手段が無く、確かめられない

「仕様と違う」の中で重いものとして挙がったのが、たとえば次の 2 つです。1 つは、仕様書で「チャットで入力する」と決めていた画面が、まだ開かれていなかったことです。入力の仕組みの部品はあり、その部品のテストは合格していました。もう 1 つは、AI が次の打ち手を提案するはずの機能が、AI を呼ばずに、決まった規則で答える仮の作りのままだったことです。こちらも、テストは合格しています。

テストは、部品が思ったとおりに動くかを確かめます。利用者が画面を開いて使えるか、仕様書に書いた機能がそろっているかは、別に確かめないと分かりません。

自動のテストで分かること、照らし合わせて分かること

自動のテストで分かる

  • 部品が、決めた入力に決めた答えを返すか
  • 前に作った部品が、直したあとも壊れていないか

画面と仕様書を照らして分かる

  • 利用者が開く画面が、そもそもあるか
  • 仕様書に書いた機能が、全部そろっているか
  • AI を使うはずの機能が、本当に AI を呼んでいるか
  • 仕様書に無いものを、勝手に作っていないか

この日から、仕組みの 1 つの機能を「できた」とするには、確かめた記録のファイルを 2 種類以上そろえる決まりにしました。画面を開いたときに仕組みが返した答えの記録と、保存されたデータの記録(またはテストの結果)です。「確認しました」という文だけの報告は、完了として受け取りません。

本番の画面で、選択肢が 1 つも出ていませんでした

もう 1 つは、6 月 24 日に見つかったことです。当社の社内システムで、作業の記録を入れる画面の「作業内容」の欄に、選ぶ項目が 1 つも出ていませんでした。見出しだけが表示され、チェックを付ける選択肢がありません。

原因は、画面の作りではなく、選択肢の元になる一覧(作業の種類の一覧)が、本番のデータベースに 1 件も入っていなかったことでした。画面そのものは正しく開くので、仕組みからは「正常に表示した」という答えが返ります。それを見て、動いていると報告していました。翌日、作業の種類の一覧を本番に入れて直しています。

このあと、次の 3 つを確かめ方に足しました。

選択肢のある画面で、足した確かめ方
  • 画面の中にある選択肢の数を数え、0 なら不合格にする
  • 選択肢の元になる一覧(最初に入れておくデータ)を、機能を出すときに一緒に本番へ入れる
  • 一覧が空のときは、空の欄のままにせず「まだ登録されていません。管理者に連絡してください」と表示する

最初に入れておくデータのことを、用語集では初期データとして書きました。仕組みを公開するときに忘れやすいものです。

完了の報告に付けさせる記録

2 つの例から、AI の報告の言葉と、そのとき付けさせる記録を、次のように決めています。

AI の報告の言葉 それだけでは分からないこと 付けさせる記録
「テストが通りました」 利用者の画面で動くか 画面を開いたときに返ってきた答えの記録
「画面が開きました」 中身が空でないか 画面の中の項目や行や選択肢の数
「保存できます」 本当に保存されたか 送ったあとに、保存された行を取り出した記録
「本番に反映しました」 本番の設定と初期データがそろっているか 本番の画面で、同じ確かめをした記録

記録は、作業の記録と同じ場所に、機能ごとのフォルダで残します。あとから「いつ、何を見て完了にしたか」をたどれるようにするためです。AI に頼んだ言葉そのものを残す決まりは、AI に頼んだ仕事を記録に残す記事に書きました。

何をもって「できた」とするかを、作り始める前に決めておく考え方を、完了の定義と呼びます。当社では、機能ごとにテストを先に書かせ(テストファースト)、最後に画面を通して確かめる(E2E テスト)ところまでを、1 件の作業の中に入れています。

記録とは別に、人が 1 度は画面を開いて触る

記録が付いていても、利用者に渡す前に、人が 1 度は画面を開いて触ることをおすすめします。選択肢が出ていない画面は、開いて見れば一目で分かるものでした。記録の数字を読むより、早く気づけることもあります。

社内システムへの依頼を AI に 1 件ずつ片づけさせた進め方は、依頼を 1 件ずつ片づけた記事に、そのシステムを作った経緯は事例にまとめました。業務の仕組みを AI と作る仕事を、毎月の作業としてお手伝いする場合は、AI伴走支援の中で、こうした確かめまでを含めて進めます。

よくあるご質問

AI が自分でテストを書いて合格させたなら、それで十分ではありませんか?
テストが確かめるのは、AI が依頼をどう受け取ったかの範囲です。依頼の受け取り方がずれていれば、テストも同じようにずれます。仕様書の 1 行ずつと照らす点検と、画面とデータを見る確かめを、テストとは別に行います。
プログラムが分からなくても確かめられますか?
確かめられます。画面を開き、ふだんの操作を 1 回通して行い、保存された一覧に自分の入れた内容が出ているかを見ます。AI には、画面を開いた記録と、保存されたデータの記録を報告に付けさせます。
どこまで細かく確かめればよいですか?
入力のフォーム、お金にかかわる画面、お客様が見る画面は、保存されたデータまで確かめます。見るだけの画面は、画面の中に出るはずの項目や行の数が 0 になっていないかまでを見ます。

関連事例

この記事を書いた人

小野 隆士ドットシンク株式会社 代表取締役

システム開発会社の会社員、Web 制作の個人事業主、不動産営業、Web 制作会社の役員を経て、CRM 事業を軸にドットシンク株式会社を起業。自社の営業と事務の仕事に AI を使い、そのやり方を AI研修と AI伴走支援でお客様の会社に持ち込んでいます。デジタル庁 デジタル推進委員(2024 年 7 月任命)。

代表のプロフィールを読む