新エネルギー・産業技術総合開発機構（NEDO）と産業技術総合研究所（産総研）はこのほど、AIシステムに関する品質の指標および測定プロセスを提供する「機械学習システムの品質評価テストベッドα版（機能限定）」を開発し、企業・大学などの開発者向けにオープンソースソフトウエアとして公開した。
実社会でAIシステムを広く活用するためには、安心して利用可能とする品質マネジメントが不可欠となる。NEDOの「人と共に進化する次世代人工知能に関する技術開発事業」において、産総研は「機械学習品質マネジメントガイドライン」を公開したが、品質マネジメントを実施していくためには個別の品質評価項目に対して具体的な品質指標の測定・検査・改善を支援するツール群と、その作業全体を統括管理できる作業環境が必要となる。
すでに、機械学習モデルの管理とともにAIシステムの品質要件定義から運用までのライフサイクルを支援するいくつかのツールが存在するが、次々に開発される新しい機械学習モデルや品質測定技術などを柔軟に取り入れられる共通基盤はこれまで存在しなかった。
両者が開発したテストベッドは、AIシステム開発者・AIシステム品質評価者・評価手法開発者が共同で参加し、AIシステム開発時に品質管理で用いる学習・検査などのツールを組み込み、開発プロセス支援と評価記録・検証とを両立させる作業環境を提供するソフトウエア群。
今回公開されたテストベッドは、「AIシステム評価パッケージ（AIT）」作成ツール、品質アセスメントWebサーバー、評価レポート作成アプリケーションで構成される。このテストベッドを利用することでAIシステムの品質について定量的に評価するとともに、開発プロセスや評価記録・検証など包括的な支援を行うことができ、品質に関する不透明性の解消やビジネス活用の加速が期待できる。
今後は、品質評価プロセスの共通基盤としての機能をさらに充実させて、AIシステム品質管理のエコシステム構築を目指す。
