ISA offre des fonctionnalités de reconnaissance d'écran étendues en trouvant automatiquement les éléments et les formes de l'interface utilisateur.

ISA permet d'automatiser les applications dont l'API d'automatisation est limitée ou inexistante, comme Citrix. Vous pouvez également utiliser cette option pour automatiser les applications lentes, telles que les applications Remote Desktop, SAP, entre autres. En général, vous pouvez utiliser cette option pour n'importe quelle application pour laquelle l'arborescence d'application est mal remplie ou il est difficile de créer un localisateur.

Chaque élément reconnu de l'interface utilisateur contient plusieurs attributs que vous pouvez utiliser dans les localisateurs.

Attributs courants

• der_x, der_y, der_width, der_height : Coordonnées et taille de l'élément.

• lt_16_5, rb_15_4: Nombres calculés par rapport aux coordonnées de l'élément en haut à gauche et en bas à droite. Les coordonnées des éléments peuvent changer selon l'état du programme. Par exemple, l'option sélectionnée avec du texte en gras peut avoir des coordonnées différentes de celles de l'option désélectionnée, et par conséquent les localisateurs peuvent ne pas fonctionner correctement. Cette propriété élimine les problèmes de changement de coordonnées et peut être utilisée pour créer des localisateurs fiables. Si un élément de l'interface utilisateur a une propriété name, il est utilisé par défaut dans un localisateur lorsque vous insérez une étape d'activité. Sinon, la propriété lt_16_5 est utilisée dans un localisateur.

Le tableau suivant répertorie les éléments d'interface utilisateur pris en charge.

Conseils et astuces ISA

• Les résultats de la reconnaissance dépendent de nombreux facteurs, tels que les polices d'écran, les couleurs d'arrière-plan et de premier plan, la taille du texte, etc. Si vous souhaitez améliorer les résultats de la reconnaissance, essayez d'utiliser différents schémas de couleurs dans votre interface, par exemple, des polices noires à espace fixe normales sur un fond clair et une taille de police plus grande.
• Un texte sélectionné avec des couleurs inversées dans un champ de texte peut ne pas être correctement reconnu. Pour améliorer les résultats de la reconnaissance, supprimez la sélection du champ de texte (par exemple, en cliquant ailleurs) avant d'extraire sa valeur.
• Lorsque vous utilisez des formulaires de contenu dynamique et des champs de texte qui peuvent être reconnus différemment selon leur état, utilisez l'étape Figer l'arborescence pour conserver l'état de l'arborescence de l'application et améliorer les résultats de la reconnaissance.
• Si vous voulez extraire la valeur d'un élément, utilisez l'activité Extraire la valeur de d'un élément comme vous le feriez en utilisant l'API d'automatisation de Windows. Si la valeur de l'élément n'est pas reconnue en mode ISA, essayez l'activité Extraire le texte de l'image.
• Vous pouvez modifier les paramètres OCR étendus dans le fichier ocr.cfg. Voir Paramètres OCR étendus pour plus d'informations.

• Vous pouvez entraîner Tesseract à reconnaître votre jeu de caractères en utilisant soit des polices TTF, soit des captures d'écran de l'interface utilisateur. Voir Apprentissage Tesseract pour plus d'informations.

• Avant d'automatiser l'application SAP, définissez le thème dépendant du système dans les options SAP GUI pour obtenir de meilleurs résultats de reconnaissance.

Si vous vous connectez à distance à un dispositif automatisé Windows via Remote Desktop Protocol (RDP), la résolution et la palette des couleurs dépendent de la vitesse de connexion au réseau entre votre ordinateur et le dispositif distant. Des vitesses de connexion différentes selon les exécutions des robots peuvent entraîner des problèmes si les robots utilisent le localisateur d'images et Intelligent Screen Automation (ISA). Pour le localisateur d'image et ISA, il est très important de toujours recevoir la même image (pixel par pixel) dans le même état d'application. Utilisez toujours les mêmes paramètres de résolution et de palette de couleurs spécifiés explicitement (g : géométrie du bureau (L x H) et a : palette de couleurs de connexion) pour la connexion RDP dans l'étape Ouvrir. Par exemple :

rdp://user1:MyPassword@MyDesktop?g=640x480&a=16

Modifier ou ajouter la langue de reconnaissance de l'interface utilisateur

Par défaut, ISA utilise une langue spécifiée dans le fichierocr.cfg. Si vous souhaitez ajouter ou modifier la langue de reconnaissance de l'interface utilisateur, consultez la rubrique Changer de langue et de moteur OCR. Si vous souhaitez modifier la langue de reconnaissance de l'interface utilisateur ISA d'un ordinateur, procédez comme suit.

1. Dans l'éditeur de texte, ouvrez le fichier isa_v1.cfg situé dans le répertoire lib comme suit.

   • Sur l'ordinateur automatisé Windows avec le Desktop Automation Service installé :

     C:\ProgramData\Kofax RPA\\lib\tessdata.

     Si vous avez installez plusieurs versions de Desktop Automation Service sur l'ordinateur automatisé, recherchez la version du service qui automatise le bureau en utilisant ISA. Consultez l'onglet « Windows » dans la rubrique Configurer le Desktop Automation Service pour plus d'informations.

   • Sur l'ordinateur local Windows à utiliser avec le navigateur intégré :

     nativelib\hub\windows-x64\<numéro de version>\lib* dans le répertoire d'installation Kofax RPA. Exemple :

     C:\Program Files\Kofax RPA 11.3.0.0\nativelib\hub\windows-x64\622\lib

   • Sur l'ordinateur local Linux à utiliser avec le navigateur intégré :

     nativelib/hub/linux-x64/<numéro de version>/lib dans le répertoire d'installation Kofax RPA. Exemple :

     Kofax_RPA_11.3.0.0/nativelib/hub/linux-x64/533/lib

   * Le numéro de publication est différent dans les différentes versions du programme.

2. Dans le paramètre ocr_language, remplacez la valeur defaut par la langue de votre choix ou, si vous souhaitez utiliser plusieurs langues, ajoutez une autre langue en utilisant le signe Plus, par exemple, ocr_language=fra+jpn. Enregistrez et fermez le fichier.
3. Redémarrez Desktop Automation Service pour que les changements prennent effet.

Pour revenir à la langue de reconnaissance par défaut, effectuez les étapes ci-dessus en spécifiant defaut dans le paramètre ocr_language.

Ajouter la langue de reconnaissance de l'interface utilisateur pour Tesseract

Si vous utilisez le moteur OCR Tesseract, ISA peut automatiser l'interface utilisateur anglaise par défaut. Utilisez la procédure suivante pour ajouter d'autres langues pour la reconnaissance de l'IU. Voir Changement de la langue OCR par défaut pour savoir comment changer la langue de reconnaissance. Notez que l'utilisation simultanée de plusieurs langues pour la reconnaissance d'écran ralentit l'exécution du robot et affecte les résultats de la reconnaissance.

Le moteur OCR OmniPage inclut toutes les langues prises en charge dans l'installation Kofax RPA.

1. Téléchargez le fichier .traineddata de la langue requise à partir du site https://github.com/tesseract-ocr/tessdata. Par exemple, le fichier de la langue japonaise est jpn.traineddata.

   Assurez-vous que le fichier .traindata téléchargé est compatible avec votre version du fichier tesseract.dll. Pour les informations de compatibilité, consultez le fichier README publié au bas de la page de téléchargement du fichier traineddata sur https://github.com/tesseract-ocr/tessdata.

2. Copiez le fichier traineddata vers le dossier approprié :

   • Sur l'ordinateur automatisé Windows avec le Desktop Automation Service installé :

     DesktopAutomationService\lib\tessdata dans le répertoire d'installation du service Desktop Automation. Exemple :

     C:\Program Files\Kofax RPA DesktopAutomation 11.3.0.0\DesktopAutomationService\lib\tessdata

   • Sur l'ordinateur local Windows à utiliser avec le navigateur intégré :

     nativelib\hub\windows-x64\<numéro de version>\lib\tessdata* dans le répertoire d'installation Kofax RPA. Exemple :

     C:\Program Files\Kofax RPA 11.3.0.0\nativelib\hub\windows-x64\622\lib\tessdata

   • Sur l'ordinateur local Linux à utiliser avec le navigateur intégré :

     Nativelib/hub/linux-x64/<numéro de génération>/lib/tessdata dans le répertoire d'installation Kofax RPA. Exemple :

     Kofax_RPA_11.3.0.0/nativelib/hub/linux-x64/533/lib/tessdata

   * Le numéro de publication est différent dans les différentes versions du programme.

3. Modifiez la langue de reconnaissance IU comme décrit dans la section « Modifier ou ajouter la langue de reconnaissance de l'interface utilisateur » ci-dessus.

Pour générer une arborescence de widgets pour les applications Windows, Kofax RPA utilise le framework d'automatisation IU intégré à Windows. De plus, Kofax RPA fournit une prise en charge étendue pour certaines applications. Si vous rencontrez des problèmes en utilisant les applications utilisant les extensions Kofax RPA, désactivez-les en effaçant la sélection dans le mode d'arborescence Windows.

Excel

Active une prise en charge étendue de Microsoft Excel, par exemple, pour récupérer des cellules dans le tableur. La prise en charge d'Excel dans Kofax RPA est également étendue avec des fonctionnalités Pilote Excel intégré.

Lorsque vous utilisez Saisir du texte dans Excel sur un dispositif distant, ne laissez pas la feuille de calcul Excel en mode d'édition (le mot Édition apparaît dans le coin inférieur gauche de la fenêtre du programme Excel) si vous souhaitez l'utilisez dans les étapes suivantes. Pour quitter le mode d'édition, procédez de l'une des opérations suivantes.

• Appuyez sur ENTRÉE en utilisant l'étape Appuyer sur une touche. Excel quitte le mode d'édition et sélectionne la cellule directement sous la cellule actuelle.
• Appuyez sur TAB en utilisant l'étape Appuyer sur une touche. Cette action arrête le mode d'édition et sélectionne la cellule à droite de la cellule actuelle.
• Cliquez sur une autre cellule.
• Appuyez sur la F2 en utilisant l'étape Appuyer sur une touche.

Consultez la documentation Microsoft pour plus d'informations.

Internet Explorer

Active la prise en charge étendue d'Internet Explorer pour récupérer l'arborescence DOM (Document Object Model), car elle permet d'obtenir un résultat plus précis dans l'arborescence de l'application. Notez que Kofax RPA fournit également un navigateur web intégré Chromium pour accéder aux sites web. Notez les points suivants lorsque vous envisagez d'utiliser la prise en charge étendue d'Internet Explorer.

• Si la prise en charge étendue d'Internet Explorer est activée et que le robot détecte une fenêtre Internet Explorer :
  • Un élémentJavascript est injecté qui traverse Document Object Model (DOM) et crée une représentation JSON. Il s'exécute dans le contexte de la page Internet Explorer.
  • Le JSON est placé dans une balise d'entrée avec l'identifiant « kapowDataElement » dans la page elle-même.
  • Le robot analyse le contenu JSON et crée la sous-arborescence à partir de ce contenu.
• Si la prise en charge étendue d'Internet Explorer est désactivée, l'automatisation de l'interface utilisateur est utilisée pour obtenir l'arborescence des objets Internet Explorer (il s'agit de la même arborescence que celle que vous obtenez en utilisant le fichier Inspect.exede Microsoft).

Java

Dans certains cas, Java Access Bridge ne fonctionne pas et il peut permettre de passer en mode « Hérité » en annulant la sélection de cette option. L'option Java peut également avoir une influence sur les applets Java dans Internet Explorer.

SAP

SAP est traité différemment des autres applications Windows. Le travail avec SAP dépend de l'API de scriptage qui peut être lente. Vous pouvez désactiver la prise en charge de SAP en désélectionnant cette option.

Masqué

Indique s'il faut extraire la totalité de l'arborescence d'une application. Cette option est sélectionnée par défaut. Si vous effacez la sélection, Kofax RPA ignore les éléments qui sont signalés comme étant hors écran, tels que les listes ou les tableaux comportant de nombreux éléments. L'effacement de la sélection accélère l'extraction de l'arborescence.

Ancien index+de profondeur

Ajoute les attributs « depth » et « index » à l'arborescence de l'application, qui ont été utilisés dans Kofax RPA 10.2. Si vous disposez de robots créés dans la version 10.2 de Kofax RPA, qui utilisent des localisateurs de composant avec des attributs « depth » et « index », sélectionnez Ancien index+ de profondeur pour que les robots puissent fonctionner dans la version 10.3 et les versions suivantes de Kofax RPA.

• Niveau maximal: Définit le nombre maximum d'éléments imbriqués que chaque nœud affiche pour toutes les fenêtres d'application dans la vue.
• Enfants max : Définit le nombre maximum d'éléments enfants que chaque nœud affiche pour toutes les fenêtres d'application dans la vue.

  Indiquez 0 pour aucune restriction.

Nombre de tentatives API Excel

Spécifie le nombre de tentatives d'accès à la fenêtre Excel via l'API Windows. Vous pouvez augmenter le nombre si la réponse d'Excel est lente.

Temps d'attente des nouvelles tentatives d'API Excel

Spécifie le délai en millisecondes entre les tentatives d'accès à la fenêtre Excel via l'API Windows.