AP過去問 令和6年度秋期 午後 問11 システム監査
AP 過去問題 午後に戻る。
AP過去問_令和6年度秋期_午後_問10_サービスマネジメントの同じ回の前の問題へ移動。
[[AP過去問_令和7年度春期_午後_問1_情報セキュリティ]]の次の回の次の問題へ移動。
令和6年度秋期 午後 問11 システム監査(AIプロンプト向け)
■チャットボット導入における開発計画の監査に関する次の記述を読んで、設問に答えよ。
W社は、中堅の家電メーカーである。顧客サービス部では、製品の特長や使用方法に関する顧客からの問合せなどにに回答するコールセンターを運用しており、Web上で顧客からの問合せに対し、定型文で自動的に回答するチャットボット(以下、現行CBという)で作業効率を向上させてきた。
問合せ内容をより的確に解釈するなど、回答の品質向上のために、顧客サービス部長がシステムオーナーとなり、現行CBのベンダーが提供する、ディープラーニングを利用していない機械学習方式のチャットボット(以下、新CBという)を導入するプロジェクトを立ち上げることになった。
企画プロセスの完了を受けて、W社監査部のシステム監査チームは、新CBの開発計画の適切性について監査を実施することになった。そのために実施した予備調査の結果、次のことを把握した。
[予備調査の結果]
(1)現行CBの概要と課題
①W社では、季節性のある製品を多く取りそろえているので、顧客から寄せられる問合せ数は、季節性のある製品では季節によって偏りがある。
②現行CBでは、顧客が入力した曖昧な言葉に対応できず、FAQに回答が存在するにもかかわらず、問合せを解釈できずに回答が表示されないことや、誤った回答を表示することがある。顧客が現行CBの回答では不十分と感じた場合には、顧客からの要望で、コールセンターのオペレーターが代わって問合せ対応を実施している。
③導入効果をモニタリングするために、顧客の入力テキスト、現行CBが表示した回答、現行CBの回答に対して“役に立った”かどうかの結果などを、CB回答履歴として保存している。これらの情報を分析し、顧客から“役立った”という評価を得た割合(以下、回答満足率という)を効果測定の指標の一つにしている。
④新製品については、発売に合わせて新規にFAQを知識ベースに登録している。今回のプロジェクト期間中にも、発売が予定されている新製品が複数ある。
⑤現行CBを導入した際には、受入テストを顧客サービス部員が参加せずに開発担当者だけが実施したことから、新製品に関する問合せに対して適切に回答できないなど、本番移行後に混乱を招く問題点があった。
(2)プロジェクトの概要
これまで、企画プロセスにおいて新CB導入の目的の明確化、システム化計画の立案、及びPoC(Proof of Concept:概念実証)を実施しており、PoCの結果は品質向上の効果を見込めるものであった。現在、開発計画書案を顧客サービス部とシステム部が共同で作成したところである。関係する役員、及び財務部、顧客サービス部、システム部の各部長で構成するプロジェクト運営委員会で開発計画書案を承認する予定である。
今後の開発プロセスにおいて、要件定義、追加の機械学習を含む設計、実装、テスト、受入テスト、及び本番移行を予定している。新CBの機能構成を図1に示す。
図1 新CBの機能構成はここから
・学習用データのDBは学習機能と繋がっている。ただし学習用データのDBから学習機能に向けての一方向への繋がり。
・テスト用データのDBは学習機能と繋がっている。ただしテスト用データのDBから学習機能に向けての一方向への繋がり。
・手作業入力データのDBは学習機能と繋がっている。ただし手作業入力データのDBから学習機能に向けての一方向への繋がり。
・学習機能は類義語DBと繋がっている。
・類義語DBは回答機能と繋がっている。
・回答機能は知識ベースのDBを内包している。
・回答機能は顧客との相互接続をしていて、顧客から回答機能へは問合せであり、回答機能から顧客へは回答という関係である。
図1 新CBの機能構成はここまで
(3)新CBの機能概要と機械学習
①回答機能には、現行CBよりも改良した知識ベースを備えており、新CBにおいても新製品の発売に合わせてFAQを知識ベースに登録する。新CBでは類似する言葉を整理して、言葉の関連度合いを格納している用語データベース(以下、類義語DBという)が備わっている。回答機能では、顧客の入力テキストを自然言語処理し、類義語DBと突き合わせることで、顧客の曖昧な言葉遣いに対してある程度問合せ対応可能であり、回答満足率の向上が期待できる。
②新CBの類義語DBは、ベンダーからの納入時には一般的な語句だけに対応している。W社製品に関する語句など類義語DBに反映するには、二つの方法がある。一つ目は、手作業入力データを基に学習機能に備わる手作業入力機能によって、類義語DBを整備する方法である。二つ目は、現行CB回答履歴から抽出した文章を自然言語処理によって品詞別に分解し、AIモデルによって機械学習することで類義語DBを整備する方法である。
PoCでは、機械学習によって類義語DBを整備する際のサーバ処理に想定以上の時間を要していた。
③PoCにおける機械学習による類義語DBの整備では、現行CBのCB回答履歴から6か月分を学習用データ及びテスト用データとして、ランダムに抽出した。また、回答満足率を指標にして、効果の目標レベルを定め、新CBの有効性を判断している。
④新CBでは、設計において、追加の機械学習によって類義語DBの精度を高め、回答満足率を上げる想定である。設計後においても、本番運用向けの類義語DBの学習では、再学習を実施する。
[監査手続案の作成]
予備調査の結果を踏まえて、システム監査チームが作成した監査手続案(抜粋)を表1に示す。
<table width="100%" border="2" style="border-collapse: collapse;border-style: solid"> <tr> <td align="center" style="border: 2px solid; width: 3em;">項番</td> <td align="center" style="border: 2px solid;">想定されるリスク</td> <td align="center" style="border: 2px solid;">監査手続</td> </tr> <tr> <td align="center" style="border: 2px solid;">1</td> <td align="left" valign="top" style="border: 2px solid;">追加の機械学習後のテスト結果では効果があったにもかかわらず、本番運用において効果が認められない。</td> <td align="left" valign="top" style="border: 2px solid;">開発計画案を閲覧し、追加の機械学習における [ａ] 用データとテスト用データを別に準備していることを確認し、評価する計画になっているかどうか確かめる。</td> </tr> <tr> <td align="center" style="border: 2px solid;">2</td> <td align="left" valign="top" style="border: 2px solid;">類義語DBの整備が不十分であったことによって、新製品に関する質問に対して、新CBが適切な回答をしない。</td> <td align="left" valign="top" style="border: 2px solid;">開発計画書案を閲覧し、発売前の新製品に関して適切に回答するために、[ｂ] 機能による類義語ＤＢの整備を実施する計画を策定しているかどうか確かめる。</td> </tr> <tr> <td align="center" style="border: 2px solid;">3</td> <td align="left" valign="top" style="border: 2px solid;">受入テスト結果では当初予定の導入効果がなかったにもかかわらず、再学習などの対応を実施せず、本番運用に移行する。</td> <td align="left" valign="top" style="border: 2px solid;">開発計画書案を閲覧し、本番移行の可否判断で使用する適切な評価項目とその項目に設定した具体的な効果の [ｃ] が定められているかどうか確かめる。</td> </tr> <tr> <td align="center" style="border: 2px solid;">4</td> <td align="left" valign="top" style="border: 2px solid;">テストにおいて不具合を発見した際に原因箇所の特定に時間を要したり、同じ不具合が本番運用で発生したりする。</td> <td align="left" valign="top" style="border: 2px solid;">開発計画書案を閲覧し、次を実施する計画になっているかどうか確かめる。</br>・テストの手順が策定され、手順にのっとりテストを実施する。</br>・テスト結果と不具合の対応状況を文書化して保管するとともに、プロジェクト関係者による [ｄ] を適切に実施する。</td> </tr> </table>
[監査部長の指示]
監査部長は、監査手続案をレビューして、次のとおりシステム監査チームに指示した。
(1)表1項番1について、設計における追加の機械学習では、類義語DBの整備がスケジュールどおり完了しないおそれがある。機械学習を実効するサーバに対する非機能要件の一つである [ｅ] が、PoCを実施した際の実績データから導いた要件になっているか確かめること。
(2)表1項番2について、新製品だけでなく、現行の [ｆ] に関する問合せへの回答について、学習用データが不十分で、適切に回答できないおそれがある。設計における追加の機械学習では、製品を網羅する観点から学習用データを準備する計画になっているか確かめること。
(3)表1項番3について、新CBの有効性を確保するために、[ｇ] に先立って、プロジェクト運営委員会が、当初予定の導入効果が得られる見込みを評価する計画になっているか確かめること。
(4)追加する監査手続として、現行CB導入時における問題点を踏まえて、今後の開発プロセスにおいて顧客サービス部による [ｈ] が適切に実施される計画になっているか確かめること。
設問1 表1の監査手続案について答えよ。
(1) 表1中の [ａ] 、[ｂ] に入れる適切な字句を、それぞれ5字以内で答えよ。
(2) 表1中の [ｃ] に入れる適切な字句を、本文中の字句を用いて5字以内で答えよ。
(3) 表1中の [ｄ] に入れる適切な字句を5字以内で答えよ。
設問2 [監査部長の指示]について答えよ。
(1) 本文中の [ｅ] に入れる最も適切な字句を回答群の中から選び、記号で答えよ。
回答群
ア 外部インターフェース要件
イ 性能要件
ウ セキュリティ要件
エ 保守性要件
(2) 本文中の [ｆ] ～ [ｈ] に入れる適切な字句を、それぞれ10字以内で答えよ。
令和6年度秋期 午後 問11 システム監査(問題原文)
■チャットボット導入における開発計画の監査に関する次の記述を読んで、設問に答えよ。
W社は、中堅の家電メーカーである。顧客サービス部では、製品の特長や使用方法に関する顧客からの問合せなどにに回答するコールセンターを運用しており、Web上で顧客からの問合せに対し、定型文で自動的に回答するチャットボット(以下、現行CBという)で作業効率を向上させてきた。
問合せ内容をより的確に解釈するなど、回答の品質向上のために、顧客サービス部長がシステムオーナーとなり、現行CBのベンダーが提供する、ディープラーニングを利用していない機械学習方式のチャットボット(以下、新CBという)を導入するプロジェクトを立ち上げることになった。
企画プロセスの完了を受けて、W社監査部のシステム監査チームは、新CBの開発計画の適切性について監査を実施することになった。そのために実施した予備調査の結果、次のことを把握した。
[予備調査の結果]
(1)現行CBの概要と課題
①W社では、季節性のある製品を多く取りそろえているので、顧客から寄せられる問合せ数は、季節性のある製品では季節によって偏りがある。
②現行CBでは、顧客が入力した曖昧な言葉に対応できず、FAQに回答が存在するにもかかわらず、問合せを解釈できずに回答が表示されないことや、誤った回答を表示することがある。顧客が現行CBの回答では不十分と感じた場合には、顧客からの要望で、コールセンターのオペレーターが代わって問合せ対応を実施している。
③導入効果をモニタリングするために、顧客の入力テキスト、現行CBが表示した回答、現行CBの回答に対して“役に立った”かどうかの結果などを、CB回答履歴として保存している。これらの情報を分析し、顧客から“役立った”という評価を得た割合(以下、回答満足率という)を効果測定の指標の一つにしている。
④新製品については、発売に合わせて新規にFAQを知識ベースに登録している。今回のプロジェクト期間中にも、発売が予定されている新製品が複数ある。
⑤現行CBを導入した際には、受入テストを顧客サービス部員が参加せずに開発担当者だけが実施したことから、新製品に関する問合せに対して適切に回答できないなど、本番移行後に混乱を招く問題点があった。
(2)プロジェクトの概要
これまで、企画プロセスにおいて新CB導入の目的の明確化、システム化計画の立案、及びPoC(Proof of Concept:概念実証)を実施しており、PoCの結果は品質向上の効果を見込めるものであった。現在、開発計画書案を顧客サービス部とシステム部が共同で作成したところである。関係する役員、及び財務部、顧客サービス部、システム部の各部長で構成するプロジェクト運営委員会で開発計画書案を承認する予定である。
今後の開発プロセスにおいて、要件定義、追加の機械学習を含む設計、実装、テスト、受入テスト、及び本番移行を予定している。新CBの機能構成を図1に示す。
(3)新CBの機能概要と機械学習
①回答機能には、現行CBよりも改良した知識ベースを備えており、新CBにおいても新製品の発売に合わせてFAQを知識ベースに登録する。新CBでは類似する言葉を整理して、言葉の関連度合いを格納している用語データベース(以下、類義語DBという)が備わっている。回答機能では、顧客の入力テキストを自然言語処理し、類義語DBと突き合わせることで、顧客の曖昧な言葉遣いに対してある程度問合せ対応可能であり、回答満足率の向上が期待できる。
②新CBの類義語DBは、ベンダーからの納入時には一般的な語句だけに対応している。W社製品に関する語句など類義語DBに反映するには、二つの方法がある。一つ目は、手作業入力データを基に学習機能に備わる手作業入力機能によって、類義語DBを整備する方法である。二つ目は、現行CB回答履歴から抽出した文章を自然言語処理によって品詞別に分解し、AIモデルによって機械学習することで類義語DBを整備する方法である。
PoCでは、機械学習によって類義語DBを整備する際のサーバ処理に想定以上の時間を要していた。
③PoCにおける機械学習による類義語DBの整備では、現行CBのCB回答履歴から6か月分を学習用データ及びテスト用データとして、ランダムに抽出した。また、回答満足率を指標にして、効果の目標レベルを定め、新CBの有効性を判断している。
④新CBでは、設計において、追加の機械学習によって類義語DBの精度を高め、回答満足率を上げる想定である。設計後においても、本番運用向けの類義語DBの学習では、再学習を実施する。
[監査手続案の作成]
予備調査の結果を踏まえて、システム監査チームが作成した監査手続案(抜粋)を表1に示す。
| 項番 | 想定されるリスク | 監査手続 |
| 1 | 追加の機械学習後のテスト結果では効果があったにもかかわらず、本番運用において効果が認められない。 | 開発計画案を閲覧し、追加の機械学習における ａ 用データとテスト用データを別に準備していることを確認し、評価する計画になっているかどうか確かめる。 |
| 2 | 類義語DBの整備が不十分であったことによって、新製品に関する質問に対して、新CBが適切な回答をしない。 | 開発計画書案を閲覧し、発売前の新製品に関して適切に回答するために、ｂ 機能による類義語ＤＢの整備を実施する計画を策定しているかどうか確かめる。 |
| 3 | 受入テスト結果では当初予定の導入効果がなかったにもかかわらず、再学習などの対応を実施せず、本番運用に移行する。 | 開発計画書案を閲覧し、本番移行の可否判断で使用する適切な評価項目とその項目に設定した具体的な効果の ｃ が定められているかどうか確かめる。 |
| 4 | テストにおいて不具合を発見した際に原因箇所の特定に時間を要したり、同じ不具合が本番運用で発生したりする。 | 開発計画書案を閲覧し、次を実施する計画になっているかどうか確かめる。 ・テストの手順が策定され、手順にのっとりテストを実施する。 ・テスト結果と不具合の対応状況を文書化して保管するとともに、プロジェクト関係者による ｄ を適切に実施する。 |
[監査部長の指示]
監査部長は、監査手続案をレビューして、次のとおりシステム監査チームに指示した。
(1)表1項番1について、設計における追加の機械学習では、類義語DBの整備がスケジュールどおり完了しないおそれがある。機械学習を実効するサーバに対する非機能要件の一つである ｅ が、PoCを実施した際の実績データから導いた要件になっているか確かめること。
(2)表1項番2について、新製品だけでなく、現行の ｆ に関する問合せへの回答について、学習用データが不十分で、適切に回答できないおそれがある。設計における追加の機械学習では、製品を網羅する観点から学習用データを準備する計画になっているか確かめること。
(3)表1項番3について、新CBの有効性を確保するために、ｇ に先立って、プロジェクト運営委員会が、当初予定の導入効果が得られる見込みを評価する計画になっているか確かめること。
(4)追加する監査手続として、現行CB導入時における問題点を踏まえて、今後の開発プロセスにおいて顧客サービス部による ｈ が適切に実施される計画になっているか確かめること。
設問1 表1の監査手続案について答えよ。
(1) 表1中の ａ 、ｂ に入れる適切な字句を、それぞれ5字以内で答えよ。
(2) 表1中の ｃ に入れる適切な字句を、本文中の字句を用いて5字以内で答えよ。
(3) 表1中の ｄ に入れる適切な字句を5字以内で答えよ。
設問2 [監査部長の指示]について答えよ。
(1) 本文中の ｅ に入れる最も適切な字句を回答群の中から選び、記号で答えよ。
回答群
ア 外部インターフェース要件
イ 性能要件
ウ セキュリティ要件
エ 保守性要件
(2) 本文中の ｆ ～ ｈ に入れる適切な字句を、それぞれ10字以内で答えよ。
回答・解説
設問1
(1)
表1の中の[ａ]、[ｂ]の穴埋めです。[ａ]は追加の機械学習後のテスト結果では効果があったにもかかわらず、本番運用において効果が認められない。というリスクに対する監査の手続きで、開発計画案を閲覧し、追加の機械学習における [ａ] 用データとテスト用データを別に準備していることを確認し、評価する計画になっているかどうか確かめる。という穴埋めです。5文字以内です。
テスト用データと対をなすような、用データがつくものを本文から探します。簡単なことに、用データとつくのは、学習用データとテスト用データしか登場しません。したがって
１ ５ １０ １１ ２０
ａ 学習(2文字)
が答えです。
[ｂ]は類義語DBの整備が不十分であったことによって、新製品に関する質問に対して、新CBが適切な回答をしない。というリスクに対する監査の手続きで、開発計画書案を閲覧し、発売前の新製品に関して適切に回答するために、[ｂ] 機能による類義語ＤＢの整備を実施する計画を策定しているかどうか確かめる。という穴埋めです。5文字以内です。
機能とつく用語は本文中に、学習機能と回答機能と手作業入力機能と非機能要件と機能構成というものしかないので、このうち何々機能というのは学習と回答と手作業に分けられます。
本文には、類義語DBに反映するには、二つの方法がある。一つ目は、手作業入力データを基に学習機能に備わる手作業入力機能によって、類義語DBを整備する方法である。二つ目は、現行CB回答履歴から抽出した文章を自然言語処理によって品詞別に分解し、AIモデルによって機械学習することで類義語DBを整備する方法である。とあるので、二つ目は関係なくて一つ目が関係しています。そこには手作業入力機能によって整備できるとあります。したがって、
１ ５
ｂ 手作業入力(5文字)
が答えです。長い本文から用語を抽出しきれる能力と関連する語句の意味を調べれる能力があれば、答えれる問題です。
設問1
(2)
さっきのも本文からの抜き出しだったのに、この問題では本文からの指示がついていますね。次の問題は本文からの指示がまたありません。何を信じていいのかわからなくする作戦ですね。基本、本文から抽出だけど、どうしても見つからない場合は、自分で考えるということですね。また表1の中の穴埋めです。設問を小分けにする意味が分からないですね。
[ｃ]は受入テスト結果では当初予定の導入効果がなかったにもかかわらず、再学習などの対応を実施せず、本番運用に移行する。というリスクに対する監査の手続きで、開発計画書案を閲覧し、本番移行の可否判断で使用する適切な評価項目とその項目に設定した具体的な効果の [ｃ] が定められているかどうか確かめる。という穴埋めです。5文字以内です。
本文には、回答満足率を指標にして、効果の目標レベルを定め、新CBの有効性を判断している。との記述があるところだけが効果について触れています。表1の直前でもあるし、みつけやすい語句だと思います。したがって、
１ ５
ｃ 目標レベル(5文字)
が答えです。
(3)
[ｄ]はテストにおいて不具合を発見した際に原因箇所の特定に時間を要したり、同じ不具合が本番運用で発生したりする。というリスクに対する監査の手続きで、テスト結果と不具合の対応状況を文書化して保管するとともに、プロジェクト関係者による [ｄ] を適切に実施する。という穴埋めです。5文字以内です。
これは本文中には具体的に触れられていないですが、何かの会合を開いて確認をするという意味ですから、レビューとか、評価会議とか、進捗確認とか、検討会という語句でもいいと思います。これが間違いだったら激怒していいレベルです。したがって、
１ ５
ｄ 評価会議(4文字)
が答えです。レビューの方がより、情報技術者っぽいワードです。だれが決めたんか知らんけど。
設問2
(1)
設計における追加の機械学習では、類義語DBの整備がスケジュールどおり完了しないおそれがある。機械学習を実効するサーバに対する非機能要件の一つである [ｅ] が、PoCを実施した際の実績データから導いた要件になっているか確かめること。の穴埋めの選択問題です。これはありがたい出題形式ですね。
類義語DBの整備と機械学習については、インタフェースでもなく、セキュリティでもなく、保守でもありません。したがって
ｅ イ 性能要件
が答えです。
(2)
残りの穴埋めを3つ、10文字で回答する問題です。
ｆについて
新製品だけでなく、現行の [ｆ] に関する問合せへの回答について、学習用データが不十分で、適切に回答できないおそれがある。設計における追加の機械学習では、製品を網羅する観点から学習用データを準備する計画になっているか確かめること。
現行の何かに対する問合せがあるという部分を本文から探すと、最初の方に登場する製品への問合せがあって、特に季節性のある製品について述べられているので、これを答えにするのが無難なのでしょう。したがって
１ ５ １０
ｆ 季節性のある製品(8文字)
が答えです。これはわかりにくい部類の抽出問題だと思います。限られた時間で、何に対する問合せがあったのかを見つけるのに対して、問合せという語句もあちことにちりばめられている中で、何かを探すのは大変だったと思います。管理人なら見つけきれず、間違えてしまいそうな気がしました。
ｇについて
新CBの有効性を確保するために、[ｇ] に先立って、プロジェクト運営委員会が、当初予定の導入効果が得られる見込みを評価する計画になっているか確かめること。の穴埋めです。何かに先立ってプロジェクト委員会が確かめる段階の用語がありそうです。つまりプロジェクト委員会が確かめるあとにやる段階の出来事を探します。項番3をまずは読んでみると
開発計画書案を閲覧し、本番移行の可否判断で使用する適切な評価項目とその項目に設定した具体的な効果の 目標レベル が定められているかどうか確かめる。とあるので、
本番移行の可否判断という段階があることがうかがい知れます。したがって
１ ５ １０
ｇ 本番移行の可否判断(9文字)
が答えです。難しいです。のちに行われるイベントの段階を探すのってね。
ｈについて
追加する監査手続として、現行CB導入時における問題点を踏まえて、今後の開発プロセスにおいて顧客サービス部による [ｈ] が適切に実施される計画になっているか確かめること。の穴埋めです。
顧客サービス部によるなにかの段階があるのですね。
現行CBを導入した際には、受入テストを顧客サービス部員が参加せずに開発担当者だけが実施したとあるので、これですね。したがって
１ ５ １０
ｈ 受入テスト(5文字)
が答えです。これは探しきれれば簡単ですね。ｆ、ｇが難しいので、このへんで疑心暗鬼になってしまったら、ｈも探しきれず、共倒れするすることはありそうです。
AP過去問_令和6年度秋期_午後_問10_サービスマネジメントの同じ回の前の問題へ移動。
[[AP過去問_令和7年度春期_午後_問1_情報セキュリティ]]の次の回の次の問題へ移動。
AP 過去問題 午後に戻る。