産業技術総合研究所（産総研）はこのほど、企業や大学などの有識者と共同で、機械学習を用いた人工知能（AI）システムの品質を客観評価する「機械学習品質マネジメントガイドライン第一版」を策定し、産総研のウェブサイトで公開したと発表した。AIシステムの品質の透明性を上げ、ビジネスでの活用を加速させる狙い。
AIシステムを安全性が不可欠な自動運転やロボット制御分野、公平性が重要な個人融資などの信用管理分野など広く利用するには、品質マネジメントが不可欠である。しかし、AIシステムは実在データに基づくため大きな環境変化に対応できない可能性があること、訓練データの学習により機能発揮することから、従来のソフトウェアに比べて品質管理が難しい。これまで性能評価技術は開発・発表されているが、品質要件定義、要件充足のためのAIシステムの性質とその確認方法に関し、系統的・網羅的なガイドラインや規格はない。
今回、AIシステムの品質要件定義、実証実験、開発、保守・運用までのライフサイクル全体を網羅し、品質要求充足のための取り組みや検査項目を体系化した。「品質」を利用時に必要な「利用時品質」、機械学習要素に要求される「外部品質」、機械学習要素が持つ「内部品質」に分類。「内部品質」の向上により「外部品質」を充足し、「利用時品質」を実現する。
サービス提供者は、「外部品質」として①リスク回避性、②AIパフォーマンス、③公平性、を設定し要求度に応じてレベル分けする。次に「内部品質」における①要求分析の十分性、②データ設計の十分性、③データセットの被覆性、④同均一性、⑤機械学習モデルの正確性、⑥同安定性、⑦プログラムの健全性、⑧運用時品質の維持性、の8項目を確認し「外部品質」への充足度を判断し、「利用時品質」を実現する。これは品質マネジメント要求達成のための関係者間の役割分担のほか、開発作業の受発注・委託での合意形成や検収条件の設定などにも利用できる。
今後は実ビジネスでの活用とそのフィードバックにより利便性・有用性の向上と評価方法の拡張などを推進し、国内でのデファクトスタンダード化、さらには国際標準化を目指す考えだ。なお、今回のガイドラインの策定は、新エネルギー・産業技術総合開発機構（NEDO）からの受託事業として、2018年度から検討を始めていた。