ISA オプション
ISA (インテリジェント スクリーン オートメーション) オプションは、UI 要素と図形を自動的に検索することで、拡張されたスクリーン認識機能を提供します。
アテンデッド オートメーションでインテリジェント スクリーン オートメーション (ISA) を使用しないでください。
ISA は、制限付きのアプリケーションまたは Citrix などのオートメーションなしの API を自動化するのに役立ちます。また、このオプションを使用して、リモート デスクトップ プロトコル アプリケーションや SAP などの低速アプリケーションを自動化することもできます。
一般的に、このオプションは、アプリケーション ツリーが正しく生成されないアプリケーション、またはファインダーを作成することが困難なアプリケーションに使用します。
ISO オプションを使用してアプリケーションを自動化する方法については、以下のトピックを参照してください。
共通の属性
要素の共通の属性を理解するためには、次の点を確認してください。
-
der_x、der_y、der_width、der_height: 要素のサイズと座標。
-
lt_16_5、rb_15_4: エレメントの左上および右下座標を基準にして計算された数値。プログラムの状態が異なると要素の座標が変化する場合には、ファインダーが正しく動作しない可能性があります。
たとえば、選択すると太字になるテキストの座標が、選択を解除すると変化する場合などがあります。このプロパティでは座標の変化に伴う問題が排除されるため、信頼性の高いファインダーを作成できます。
UI エレメントに name プロパティがある場合、アクション ステップを挿入すると、ファインダーによってデフォルトで使用されます。それ以外の場合、ファインダーではプロパティ lt_16_5 が使用されます。
UI 要素
認識された各 UI 要素には、ファインダーで使用する複数の属性が含まれています。次の表に、サポートされる UI エレメントを示します。
|
UI 要素 |
ウィジェット名 |
要素の属性 |
注意 |
|---|---|---|---|
|
ダイアログ ボックス、フレーム、ペイン、その他 |
container |
該当なし |
他のエレメントを含む一般的な親エレメント。 たとえば、ダイアログ ボックス全体またはダイアログ ボックス内のフォームをコンテナにすることができます。 Tungsten RPA によって認識される特別なコンテナの 1 つがテーブルです。 |
|
要素 |
element |
n/a |
他のエレメントを含まない一般的な UI エレメント。 |
|
アイコン |
icon |
label |
テキストを含まないグラフィック エレメント。 |
|
テーブル |
table |
n/a |
テーブルはアプリケーション ツリー内で個別の要素として表されますが、次のような制限があります。
|
|
行 |
row |
n/a |
テーブル ツリーの行。 |
|
アイテム |
item |
n/a |
テーブル ツリーの行にあるアイテム。 |
|
テキスト ボックス |
textbox |
label |
テキスト フィールド。 |
|
チェック ボックス |
checkbox |
label |
チェック ボックス。 |
|
オプション ボタン。 |
radiobutton |
label |
オプションまたはラジオ ボタン。 |
|
テキストとテキスト ラベル |
linklabel |
name inverted |
これは、ダイアログ ボックスのサブタイトルなどのスタンドアロンのテキスト要素、またはチェック ボックスのラベルなどの UI 要素のラベルのいずれかです。
|
ISA のヒント
認識結果を改善するためには、以下の内容を考慮してください。
- 認識結果は、画面フォント、テキスト サイズ、背景色、および前景色など多くの要因に依存します。認識結果を改善するには、明るい背景に通常の等幅の黒いフォントや大きいフォント サイズなど、UI でさまざまな配色を使用してみてください。
- テキスト フィールド内でテキストを選択して色が反転している場合は、テキストが正確に認識されない可能性があります。結果を改善するには、値を抽出する前に他の場所をクリックするなどしてテキスト フィールドの範囲選択を解除します。
- 状態によって異なって認識される可能性のある動的コンテンツ フォームとテキスト フィールドを操作する場合は、ツリーの凍結ステップを使用してアプリケーション ツリーの状態を保持し、認識結果を向上させます。
- 要素から値を抽出するには、Windows オートメーション API を使用する場合と同様に、値を抽出アクションを使用します。要素の値が ISA モードで認識されない場合は、画像からテキストを抽出アクションを実行してください。
- ocr.cfg ファイルで拡張 OCR 設定を編集します。詳細については、拡張 OCR 設定 を参照してください。
-
TTF フォントまたは UI スクリーンショットのいずれかを使用して、Tesseract が文字セットを認識できるようにトレーニングします。詳細については、Tesseract のトレーニング を参照してください。
-
SAP アプリケーションを自動化する前に、SAP GUI オプションでシステム依存テーマを設定すると、認識結果が向上します。
-
RDP 接続を介して Windows オートメーション デバイスにリモートで接続した場合、解像度と色深度はコンピュータとリモート デバイス間のネットワーク接続速度に依存します。ロボットがイメージ ファインダーと ISA を使用している場合は、ロボットの実行ごとに接続速度が異なると問題が発生する可能性があります。
-
イメージ ファインダーおよび ISA では、同一のアプリケーション状態で、ピクセル単位で同一の画像を常に受信することが重要です。
-
「開く」ステップの RDP 接続には、明示的に指定された同じ解像度と色深度パラメータ (g: デスクトップ ジオメトリ (WxH) およびa: 接続の色深度) を常に使用してください。
例: rdp://user1:MyPassword@MyDesktop?g=640x480&a=16
-
UI 認識言語の変更または追加
デフォルトでは、ISA は、ocr.cfg ファイルで指定した言語を使用します。このファイルで指定されたデフォルトの言語を追加または変更する場合は、「OCR エンジンと言語の変更」を参照してください。
コンピュータの ISA UI 認識言語を変更するには、次の手順を実行します。
- テキスト エディターで、次のように lib ディレクトリの isa_v1.cfg ファイルを開きます。
-
Desktop Automation サービスで使用されている Windows コンピュータの場合:
C:\ProgramData\Tungsten RPA\[ビルド番号]\lib\tessdata.
自動化されたコンピュータに複数のバージョンの Desktop Automation サービスがインストールされている場合は、ISA を使用するデスクトップを自動化するサービスのバージョンを確認します。『Tungsten RPA Desktop Automation サービス ガイド』の「[Windows]」タブを参照してください。
-
組み込みブラウザ、組み込み Excel、または PDF リーダーを使用するローカルの Windows コンピュータで、RPA インストール ディレクトリに移動します:
nativelib\hub\windows-x64\[ビルド番号]\xxx\lib
ビルド番号は、プログラムのバージョンに応じて異ます。
例：
C:\Program Files\Tungsten RPA 2026.1.0.0\nativelib\hub\windows-x64\622\lib
-
組み込みブラウザを使用しているローカルの Linux コンピュータで、RPA インストール ディレクトリに移動します:
nativelib/hub/linux-x64/[ビルド番号]/lib
例：
Tungsten_RPA_2026.1.0/nativelib/hub/linux-x64/533/lib
-
- ocr_language パラメータ内の default を、選択した言語に置き換えます。複数の言語を使用する場合は、ocr_language=eng+jpn のようにプラス記号を使用して別の言語を追加します。
-
ファイルを保存して閉じます。
- 変更を有効化するには、Desktop Automation サービスを再起動します。
デフォルトの認識言語に戻すには、ocr_language パラメータ内で default を指定して、前述の手順を実行します。
Tesseract の UI 認識言語を追加する
Tesseract OCR エンジンを使用した場合、ISA はデフォルトで英語 UI を自動化します。
認識言語の変更については、『Tungsten RPA Desktop Automation サービス ガイド』の「デフォルトの OCR 言語の変更」を参照してください。
OmniPage OCR エンジンには、Tungsten RPA インストールでサポートされているすべての言語が含まれています。
スクリーン認識で複数の言語を同時に使用すると、ロボットの実行が遅くなり、認識結果が低下します。
UI 認識の言語を追加するには、次の手順を使用します。
-
必要な言語の .traineddata ファイルを GitHub の Web サイトからダウンロードします。
たとえば、日本語のファイルは jpn.traineddata です。
ファイルを入手できない場合は、GitHub のメイン リポジトリ ページでバージョン 3.04 を検索してください。
Tesseract バージョン 3.05.00 は Tungsten RPA 2026.1 と互換性があります。ただし、RPA は Tesseract 3.04.00 トレーニング ファイルを使用します。
ダウンロードした .traineddata ファイルが、使用する teserract.dll ファイルのバージョンと互換性があることを確認します。互換性に関する情報については、GitHub tesseract-ocr/tessdata traineddata ページに公開されている README.md ファイルを参照してください。
間違ったトレーニング データを使用してもエラー メッセージは表示されませんが、OCR の結果が低下する可能性があります。
- ダウンロードした .traineddata ファイルを適切なディレクトリにコピーします。
-
Desktop Automation サービスで使用されている自動化された Windows コンピュータの場合:
C:\ProgramData\Tungsten RPA\[ビルド番号]\lib\tessdata
自動化されたコンピュータに複数のバージョンの Desktop Automation サービスがインストールされている場合は、ISA を使用するデスクトップを自動化するサービスのバージョンを確認します。『Tungsten RPA Desktop Automation サービス ガイド』の「[Windows]」タブを参照してください。
-
組み込みブラウザ、組み込み Excel、または PDF リーダーを使用するローカルの Windows コンピュータで、RPA インストール ディレクトリに移動します:
nativelib\hub\windows-x64\[ビルド番号]\lib\tessdata
ビルド番号は、プログラムのバージョンに応じて異ます。
例：
C:\Program Files\Tungsten RPA 2026.1.0.0\nativelib\hub\windows-x64\622\lib\tessdata
-
組み込みブラウザを使用しているローカルの Linux コンピュータで、RPA インストール ディレクトリに移動します:
nativelib/hub/linux-x64/[ビルド番号]/lib/tessdata
例：
Tungsten_RPA_2026.1.0.0/nativelib/hub/linux-x64/533/lib/tessdata
-
-
「UI 認識言語の変更または追加」に記載されているように UI 認識言語を変更します。