› 分類を設定する › 分類ベンチマークと 結果マトリクス による最適化

分類ベンチマークと 結果マトリクス による最適化

分類品質の完全かつ詳細な分析を行うために、Transformation Designerでは、ベンチマーク ドキュメント セットまたは分類トレーニング ドキュメント セットに対して分類をテストできます。ベンチマークでは、事前分類テストよりも多くの情報が提供されます。

ベンチマーク ドキュメント セットは、トレーニング ドキュメントやテスト ドキュメント セットとは異なるドキュメント セットです。ベンチマーク セットの各ドキュメントには、割り当てられたクラスがあります。ベンチマークを生成する際に、分類子はプロジェクトおよびクラスの分類設定に基づいて、割り当てられたクラスと分類結果を比較します。

プロジェクトのすべての分類設定に対して分類ベンチマークを生成できます。このウィンドウには、[プロジェクト設定] - [分類] タブのすべての分類設定、クラス設定、すべての分類子、すべての分類指示、および分類スクリプト イベントが含まれます。

プロジェクトで構成された特定の分類子の分類ベンチマークを生成することもできます。つまり、レイアウト分類子、最上位のコンテンツ分類子 (アダプティブ機能分類子)、およびサブツリー分類子がある場合、それぞれのベンチマークを生成できます。これにより、分類子の結果を比較して、必要に応じて分類設定を変更できます。

テスト セットには、分類結果との比較に必要な、「割り当てられたクラス」値が含まれていないため、普通のカスタム テスト セットに対してベンチマークを実行することはできません。必要に応じて、カスタム テスト セットをベンチマーク セットに変換して、ベンチマークを生成します。

分類または分割ベンチマークを生成する場合は、まずベンチマーク セットのショートカット メニューで [ディスク上のドキュメントをクラスで並べ替え] 設定を使用して、ディスク上に割り当てられたクラス構造を保存します。

ベンチマークを実行すると、[結果マトリクス] が生成され、クラスごとに正確に分類されたドキュメントと不正確に分類されたドキュメントのグリッドが表示されます。[結果マトリクス] では、未分類のドキュメントおよびリコールと精度に関する統計が提供されます。

子クラスまたは複雑なクラス階層が含まれるプロジェクトで最良の結果を得るには、ベンチマーク セットの分類ベンチマークを生成するときに、「分類ベンチマーク (すべての分類設定)」を選択します。

例外によって上書きされた結果は、他の結果よりも暗い色で表示されます。たとえば、追加された例外によって未分類のドキュメントのグループが有効に設定される場合、色は濃い緑になります。

結果マトリクスを使用して分類品質を最適化するには、次の操作を実行します。