分類ベンチマーク例外の追加
プロジェクトに 2 つ以上のクラスがある場合は、[分類ベンチマーク] ツールバーで [ベンチマーク例外] アイコン () を使用できるようになります。
分類ベンチマークの結果がプロジェクトで正確かつ最新であることを確認するには、分類ベンチマークの結果を生成する前に、分類のためにプロジェクトをトレーニングすることをお勧めします。
コンテンツ分類を使用する場合は、ベンチマークを開始する前に認識結果が必要です。すべての設定を使用して分類ベンチマークを計算すると、現在の設定を使用してトレーニング セットまたは選択した [ベンチマーク セット] のドキュメントが分類されます。特定の分類子のベンチマークを実行すると、他のすべての分類設定が無視されるため、分類子の結果のみが表示されます。
トレーニング セットまたはベンチマーク セットの結果が、ドキュメント セットの [割り当てられたクラス] と比較され、不一致部分は無効とマークされます。分類とドキュメントの [割り当てられたクラス] が一致しない場合は、ドキュメントが正しく分類されていても、ドキュメントに無効のマークが付けられることがあります。無効な結果を有効または未分類に設定するベンチマーク例外を追加できます。[分類ベンチマーク] ウィンドウの [結果マトリクス] に、正確な統計が表示されます。
たとえば、一部のドキュメントには [割り当てられたクラス] があり、継承された子クラスを含む親クラスに割り当てられたクラスが表示されます。ベンチマークを実行すると、親クラスではなく、いずれかの子クラスに対する分類結果が返されます。これらのドキュメントは、分類結果が有効であっても、[分類ベンチマーク] ウィンドウの [結果マトリクス] では無効とマークされます。その結果、継承された子クラスとして正しく分類されている場合でも、分類ベンチマーク結果では無効として表示されます。例外を追加して、無効な子の結果が有効になるようにすることはできますが、この操作が可能なのは、[分類ベンチマーク] ウィンドウと [結果マトリクス] のみです。
特定の例外は、一般的な例外よりも優先されます。たとえば、すべての継承クラスを未分類にするルールと、特定の継承クラス (Invoice_TypeB) を有効にする例外がある場合、Invoice_TypeB ドキュメントを除くすべてのドキュメントは未分類になります。Invoice_TypeB として分類されたドキュメントは、有効になります。
継承とネストされたクラスが問題ではない場合も、例外を使用します。たとえば、組織内に、同様な設定を持つ同じレベルのクラスが 2 つあるとします。サービス レベル アグリーメントにより、2 つのクラス間で正しく分類されなかったドキュメントを誤検知としてカウントすることは望ましくありません。技術上およびビジネス上の理由から、一般的には、これらの 2 つのクラスが混同されます。一方のクラスにはドラフト ドキュメントが含まれていて、もう片方のクラスには、同じドキュメントの最終的な認定バージョンが含まれています。2 つのドキュメントの唯一の違いは、最終的な認定ドキュメントには署名と認定スタンプが付いていることです。これらの項目は検出が困難であるため、結果として、これらの 2 つのクラスのいずれかに分類されるすべてのドキュメントが不確実になります。結果マトリクスを使用して統計を収集するには、例外を追加してベンチマーク結果を徹底的にテストします。
各例外が追加されると、[結果マトリクス] グラフ、[ドキュメント評価] の結果、および [プロジェクト統計] の結果が自動的に更新されます。同様に、プロジェクトからクラスが削除されると、そのクラスを使用している例外もすべて削除されます。
ベンチマークの例外を追加するには、以下の手順に従って、設定します。
- [分類ベンチマーク] ウィンドウを 開きます (まだ開いていない場合)。
-
すべての分類設定のベンチマーク、または分類トレーニング セットやベンチマーク セットの特定の分類子を生成します。
選択したドキュメント セットが分類され、ベンチマークの結果が [結果マトリクス] に表示されます。
-
[分類ベンチマーク] ウィンドウのツールバーで、[ベンチマーク例外] () をクリックします。
[分類ベンチマーク例外] ウィンドウが表示されます。
- [ベンチマーク例外] ウィンドウで、[例外の追加] () をクリックします。
- [希望する結果] リストから、クラスを選択します。
- [分類結果] リストからクラスを選択します。
- [例外ステータス] リストから、値を選択します。
-
必要に応じて、[コメント] を追加します。
オプションでこのステップで入力する値は、影響を受けるセルの [結果マトリクス] にツールチップとして表示されます。
-
[OK] をクリックします。
[分類ベンチマーク例外] ウィンドウが閉じて、[結果マトリクス] のベンチマーク結果が自動的に更新されます。