Kofax RPA propose plusieurs façons de remplir l'arborescence d'application. Par défaut, Kofax RPA détecte le type d'application avec lequel le robot travaille (comme une application Windows, un terminal, un navigateur intégré) et construit automatiquement l'arborescence de l'application.

En outre, les Modes arborescence vous permettent de sélectionner des options pour les applications automatisées. Par exemple, lorsque vous travaillez dans le navigateur intégré, vous pouvez changer le mode arborescence en Option ISA pour un élément spécifique, afin de créer un localisateur robuste.

1. Si la zone Modes arborescence n'est pas développée, cliquez sur la flèche bas, qui se transforme en flèche haut.

2. Si aucune définition n'existe, cliquez sur le bouton Ajouter Mode arborescence ou faites un clic droit sur le menu contextuel pour sélectionner Ajouter Mode arborescence.

3. Si des définitions existent, utilisez l'une des méthodes suivantes :

   • Pour ajouter après les entrées existantes, cliquez sur le signe plus vert.

   • Pour ajouter un mode entre des entrées existantes, sélectionnez le mode arborescence précédent, puis sélectionnez Ajouter Ci-dessous pour en insérer un nouveau.

   • Pour ajouter un mode arborescence en haut d'une liste existante, placez le curseur en haut et sélectionnez l'option du menu contextuel Ajouter Mode arborescence.

4. Dans la liste déroulante, complétez les entrées Localisateurs suivantes :

   1. Dans la liste déroulante Dispositif, sélectionnez le dispositif.

   2. Saisissez le nom de l'Application.

   3. Saisissez le nom du Composant.

5. Dans la liste déroulante du Mode arborescence, sélectionnez l'un des modes suivants :

   • ISA : Active la reconnaissance de l'interface utilisateur (IU) qui détermine les éléments de l'interface à partir d'une représentation graphique de l'interface du programme. Utilisez ce mode avec des programmes qui ne fournissent pas d'API Automation.
   • Windows : Fournit des options pour l'arborescence de widget générée à l'aide de l'API Windows Automation.
   • Aucune arborescence : Ne remplit pas l'arborescence de l'application. Utilisez cette option pour les applications qui deviennent instables si un robot tente d'extraire leurs arborescences.

Modifiez les modes arborescence au niveau de l'application et des composants.

• Si vous modifiez le mode arborescence d'un composant, tous ses éléments enfants sont automatiquement remplis à l'aide du mode sélectionné.

• Si vous modifiez le mode arborescence d'un composant, l'astérisque dans le champ Composant du localisateur est remplacé par le mode arborescence sélectionné.

  La propriété der_tree_mode de la balise de composant est remplie avec l'une des valeurs suivantes : None, ISA, Windows, Auto.

• Pour ramener le mode arborescence d'un composant au mode du niveau application, insérez un astérisque dans le champ Composant.

Utilisez la zone Modes arborescence du volet Définition de robot pour supprimer des définitions. Voir Modifier le robot pour les options de navigation et du menu contextuel.

Dans la zone Modes arborescence, faites un clic droit sur le dispositif concerné et cliquez sur Supprimer.

L'option ISA (Intelligent Screen Automation) offre des fonctionnalités de reconnaissance d'écran étendues en détectant automatiquement les éléments et les formes de l'interface utilisateur.

ISA permet d'automatiser les applications dont l'API d'automatisation est limitée ou inexistante, comme Citrix. Vous pouvez également utiliser cette option pour automatiser les applications lentes, telles que les applications Bureau à distance, SAP, entre autres.

En général, utilisez cette option avec n'importe quelle application pour laquelle l'arborescence d'application est mal remplie ou pour laquelle il est difficile de créer un localisateur.

Chaque élément reconnu de l'interface utilisateur contient plusieurs attributs que vous pouvez utiliser dans les localisateurs.

Attributs courants

• der_x, der_y, der_width, der_height : Coordonnées et taille de l'élément.

• lt_16_5, rb_15_4: Nombres calculés par rapport aux coordonnées de l'élément en haut à gauche et en bas à droite. Les coordonnées des éléments peuvent changer selon l'état du programme.

  Par exemple, l'option sélectionnée avec du texte en gras peut avoir des coordonnées différentes de celles de l'option désélectionnée, et par conséquent les localisateurs peuvent ne pas fonctionner correctement. Cette propriété élimine les problèmes de changement de coordonnées et peut être utilisée pour créer des localisateurs fiables. Si un élément de l'interface utilisateur a une propriété name, il est utilisé par défaut dans un localisateur lorsque vous insérez une étape d'activité. Sinon, la propriété lt_16_5 est utilisée dans un localisateur.

Le tableau suivant répertorie les éléments d'interface utilisateur pris en charge.

Conseils et astuces ISA

• Les résultats de la reconnaissance dépendent de nombreux facteurs, tels que les polices d'écran, les couleurs d'arrière-plan et de premier plan, la taille du texte, etc. Si vous souhaitez améliorer les résultats de la reconnaissance, essayez d'utiliser différents schémas de couleurs dans votre interface, comme des polices noires à espace fixe normales sur un fond clair et une taille de police plus grande.
• Un texte sélectionné avec des couleurs inversées dans un champ de texte peut ne pas être correctement reconnu. Pour améliorer les résultats de la reconnaissance, supprimez la sélection du champ de texte (par exemple, en cliquant ailleurs) avant d'extraire sa valeur.
• Lorsque vous utilisez des formulaires de contenu dynamique et des champs de texte qui peuvent être reconnus différemment selon leur état, utilisez l'étape Figer l'arborescence pour conserver l'état de l'arborescence de l'application et améliorer les résultats de la reconnaissance.
• Pour extraire la valeur d'un élément, utilisez l'activité Extraire la valeur de comme vous le feriez en utilisant l'API Windows Automation. Si la valeur de l'élément n'est pas reconnue en mode ISA, essayez l'activité Extraire le texte de l'image.
• Modifiez les paramètres OCR étendus dans le fichier ocr.cfg. Voir Paramètres OCR étendus pour plus d'informations.

• Entraînez Tesseract à reconnaître votre jeu de caractères en utilisant soit des polices TTF, soit des captures d'écran de l'interface utilisateur. Voir Apprentissage Tesseract pour plus d'informations.

• Avant d'automatiser l'application SAP, définissez le thème dépendant du système dans les options SAP GUI pour obtenir de meilleurs résultats de reconnaissance.

• Si vous vous connectez à distance à un dispositif automatisé Windows via Remote Desktop Protocol (RDP), la résolution et la palette des couleurs dépendent de la vitesse de connexion réseau entre votre ordinateur et le dispositif distant. Des vitesses de connexion différentes selon les exécutions des robots peuvent entraîner des problèmes si les robots utilisent le localisateur d'images et Intelligent Screen Automation (ISA).

  • Pour l'objet Localisateur d'image et ISA, il est très important de toujours recevoir la même image (pixel par pixel) dans le même état d'application.

  • Utilisez toujours les mêmes paramètres de résolution et de palette de couleurs spécifiés explicitement (g : géométrie du bureau (L x H) et a : palette de couleurs de connexion) pour la connexion RDP dans l'étape Ouvrir.

    Exemple : rdp://utilisateur1:MonMotdePasse@MonBureau?g=640x480&a=16

Modifier ou ajouter la langue de reconnaissance de l'interface utilisateur

Par défaut, ISA utilise une langue spécifiée dans le fichierocr.cfg. Si vous souhaitez ajouter ou modifier la langue de reconnaissance de l'interface utilisateur, consultez la rubrique Changer de langue et de moteur OCR.

Pour modifier la langue de reconnaissance de l'interface utilisateur ISA d'un ordinateur, procédez comme suit.

1. Dans l'éditeur de texte, ouvrez le fichier isa_v1.cfg situé dans le répertoire lib applicable comme suit.

   • Sur un ordinateur Windows automatisé à utiliser avec le Desktop Automation Service installé :

     C:\ProgramData\Kofax RPA\\lib\tessdata.

     Si vous avez installez plusieurs versions de Desktop Automation Service sur l'ordinateur automatisé, recherchez la version du service qui automatise le bureau en utilisant ISA. Voir l'onglet Windows dans le Kofax RPA – Guide du Desktop Automation Service.

   • Sur un ordinateur Windows local à utiliser avec le navigateur intégré :

     nativelib\hub\windows-x64\<numéro de version>\lib dans le répertoire d'installation Kofax RPA.

     Le numéro de publication est différent dans les différentes versions du programme.

     Exemple : C:\Program Files\Kofax RPA 11.5.0.0\nativelib\hub\windows-x64\622\lib

   • Sur un ordinateur Linux local à utiliser avec le navigateur intégré :

     nativelib/hub/linux-x64/<numéro de version>/lib dans le répertoire d'installation Kofax RPA.

     Exemple : Kofax_RPA_11.5.0.0/nativelib/hub/linux-x64/533/lib

2. Dans le paramètre ocr_language, remplacez la valeur defaut par la langue de votre choix ou, si vous souhaitez utiliser plusieurs langues, ajoutez une autre langue en utilisant le signe Plus, par exemple, ocr_language=fra+jpn.

3. Enregistrez et fermez le fichier.

4. Redémarrez Desktop Automation Service pour que les changements prennent effet.

Pour revenir à la langue de reconnaissance par défaut, procédez comme précédemment en spécifiant defaut dans le paramètre ocr_language.

Ajouter la langue de reconnaissance de l'interface utilisateur pour Tesseract

Si vous utilisez le moteur OCR Tesseract, ISA peut automatiser l'interface utilisateur anglaise par défaut. Utilisez la procédure suivante pour ajouter d'autres langues pour la reconnaissance de l'IU.

Pour plus d'informations sur la modification de la langue de reconnaissance, voir « Changer de langue OCR par défaut » dans le Kofax RPA – Guide du Desktop Automation Service. Notez que l'utilisation simultanée de plusieurs langues pour la reconnaissance d'écran ralentit l'exécution du robot et affecte les résultats de la reconnaissance.

Le moteur OCR OmniPage inclut toutes les langues prises en charge dans l'installation Kofax RPA.

1. Téléchargez le fichier .traineddata pour la langue requise depuis GitHub.

   Par exemple, le fichier de la langue japonaise est jpn.traineddata.

   Si les fichiers ne sont pas disponibles via le lien ci-dessus, recherchez la version 3.04 à partir de la page principale du répertoire.

   Tesseract version 3.05.00 est compatible avec Kofax RPA 11.5.0. Toutefois, RPA utilise les fichiers d'apprentissage Tesseract 3.04.00.

   Assurez-vous que le fichier .traineddata téléchargé est compatible avec votre version du fichier tesseract.dll. Pour les informations de compatibilité, consultez le fichier README.md publié au bas de la page traineddata.

   L'utilisation de données d'apprentissage incorrectes n'entraîne pas de messages d'erreur, mais peut conduire à de mauvais résultats d'OCR.

2. Copiez le fichier .traineddata téléchargé dans le dossier approprié.

   • Sur un ordinateur Windows automatisé à utiliser avec le Desktop Automation Service installé :

     DesktopAutomationService\lib\tessdata dans le répertoire d'installation du service Desktop Automation.

     Exemple : C:\Program Files\Kofax RPA DesktopAutomation 11.5.0.0\DesktopAutomationService\lib\tessdata

   • Sur un ordinateur Windows local à utiliser avec le navigateur intégré :

     nativelib\hub\windows-x64\<numéro de version>\lib\tessdata dans le répertoire d'installation Kofax RPA.

     Le numéro de publication est différent dans les différentes versions du programme.

     Exemple : C:\Program Files\Kofax RPA 11.5.0.0\nativelib\hub\windows-x64\622\lib\tessdata

   • Sur un ordinateur Linux local à utiliser avec le navigateur intégré :

     Nativelib/hub/linux-x64/<numéro de génération>/lib/tessdata dans le répertoire d'installation Kofax RPA.

     Exemple : Kofax_RPA_11.5.0.0/nativelib/hub/linux-x64/533/lib/tessdata

3. Modifiez la langue de reconnaissance de l'interface utilisateur comme décrit dans la tâche « Modifier ou ajouter la langue de reconnaissance de l'interface utilisateur » ci-dessus.

Pour générer une arborescence de widgets pour les applications Windows, Kofax RPA utilise le framework d'automatisation IU intégré à Windows. Kofax RPA fournit une prise en charge étendue pour certaines applications.

Si vous rencontrez des problèmes avec les applications utilisant les extensions Kofax RPA, désactivez-les en effaçant la sélection dans le mode arborescence Windows.

Excel

Active une prise en charge étendue de Microsoft Excel, par exemple, pour récupérer des cellules dans le tableur.

si vous souhaitez travailler avec Excel dans les étapes suivantes, ne laissez pas le classeur Excel en mode d'édition (le mot Modifier apparaît dans le coin inférieur gauche de la fenêtre du programme Excel).

Lors de l'utilisation de Saisir du texte dans Excel sur un dispositif distant, pour quitter le mode d'édition, procédez de l'une des façons suivantes.

• Appuyez sur ENTRÉE en utilisant l'étape Appuyer sur une touche.

  Excel quitte le mode d'édition et sélectionne la cellule directement sous la cellule actuelle.

• Appuyez sur TAB en utilisant l'étape Appuyer sur une touche.

  Cette action arrête le mode d'édition et sélectionne la cellule à droite de la cellule actuelle.

• Cliquez sur une autre cellule.

• Appuyez sur la F2 en utilisant l'étape Appuyer sur une touche.

Pour de plus amples informations, veuillez consulter la documentation Microsoft.

Internet Explorer

Lorsque vous travaillez avec Microsoft Edge en mode Internet Explorer, le support étendu d'Internet Explorer est activé pour récupérer l'arborescence DOM (Document Object Model). Ce mode fournit un résultat plus précis dans l'arborescence de l'application. Notez que Kofax RPA fournit également un navigateur web intégré Chromium pour accéder aux sites web.

Tenez compte des points suivants si vous utilisez la prise en charge étendue d'Internet Explorer.

• Si la prise en charge étendue d'Internet Explorer est désactivée, l'automatisation de l'interface utilisateur récupère l'arborescence des objets Internet Explorer (il s'agit de la même arborescence que celle que vous obtenez en utilisant le fichier Inspect.exe de Microsoft).
• Si la prise en charge étendue d'Internet Explorer est activée et que le robot détecte une fenêtre Internet Explorer :
  • Un élément Javascript est injecté pour traverser le DOM et créer une représentation JSON. Il s'exécute dans le contexte de la page Internet Explorer.
  • Ce JSON est alors placé dans une balise d'entrée avec l'ID « kapowDataElement » dans la page.
  • Le robot analyse le contenu JSON et crée la sous-arborescence à partir de ce contenu.

Java

Dans certains cas, Java Access Bridge ne fonctionne pas. Il peut permettre de passer en mode hérité en annulant la sélection de cette option. L'option Java peut également avoir une influence sur les applets Java dans Microsoft Edge en mode Internet Explorer.

SAP

SAP est traité différemment des autres applications Windows. Le travail avec SAP dépend de l'API Script qui peut être lente. Désactivez la prise en charge de SAP en décochant cette option.

Les nœuds de certains éléments peuvent ne pas être disponibles dans l'arborescence de l'application. Pour rendre tous les nœuds disponibles dans l'arborescence :

1. À partir du dossier d'installation du produit, téléchargez et enregistrez le fichier RegSAPSurrogate.reg sur l'ordinateur exécutant le Desktop Automation Service.

   Le fichier réside dans : {chemin}\Kofax RPA Desktop Automation 11.5.0.0\DesktopAutomationService\bin.

2. Exécutez le fichier et acceptez tous les avertissements.

3. Redémarrez l'agent du service.

Masqué

Indique qu'il faut extraire la totalité de l'arborescence d'une application. Cette option est sélectionnée par défaut. Si vous effacez la sélection, Kofax RPA ignore les éléments qui sont signalés comme étant hors écran, tels que les listes ou les tableaux comportant de nombreux éléments. L'effacement de la sélection accélère l'extraction de l'arborescence.

Ancien index+de profondeur

Ajoute les attributs depth et index à l'arborescence de l'application, qui ont été utilisés dans Kofax RPA 10.2.

Si vous disposez de robots créés dans Kofax RPA version 10.2, qui utilisent des localisateurs de composant avec des attributs depth et index, sélectionnez Ancien index+ de profondeur pour que les robots puissent fonctionner dans Kofax RPA version 10.3 et suivantes.

• Niveau maximal: Définit le nombre maximal d'éléments imbriqués que chaque nœud affiche pour toutes les fenêtres d'application dans la vue.
• Enfants max : Définit le nombre maximal d'éléments enfants que chaque nœud affiche pour toutes les fenêtres d'application dans la vue.

  Indiquez 0 pour aucune restriction.

Nombre de tentatives API Excel

Spécifie le nombre de tentatives d'accès à la fenêtre Excel via l'API Windows. Augmentez ce nombre si la réponse d'Excel est lente.

Temps d'attente des nouvelles tentatives d'API Excel

Spécifie le délai en millisecondes entre les tentatives d'accès à la fenêtre Excel via l'API Windows.