Rocketbot Studio : Migrar bots con Virtualizacion

Pasos a Seguir para la Migración de Bots de Virtualización

Virtualización en la Máquina Destino

Es recomendable realizar la virtualización directamente en la máquina o computadora final. Esto se debe a que la resolución de pantalla puede variar, lo que podría requerir ajustes en la configuración, similar a la máquina donde se realizó la virtualización inicialmente.

Consistencia de Imágenes de Referencia

Es posible que la imagen utilizada como referencia no sea la misma que la que se encuentra en la computadora de destino. En tal caso, será necesario capturar nuevamente las imágenes de referencia, incluyendo focos , como ejemplo, el comando “hacer clic en imagen” , etc.

Compatibilidad de Resolución y Zoom

Si la máquina en la que se trabaja es compatible tanto con la resolución como con el zoom utilizados al momento de capturar las pantallas en la referencia de virtualización, se deben seguir las siguientes consignas para asegurar una migración exitosa de los bots:

  • Registro de Comandos
    Al grabar un comando en el entorno de virtualización, las imágenes se almacenarán en una carpeta específica dentro del directorio de Rocketbot, bajo el nombre correspondiente al bot, en la ruta Rocketbot/robots. Esta carpeta es crucial, ya que las imágenes se utilizan como comandos en Rocketbot Studio, tales como “hacer clic en imagen” y “esperar por imagen”.

  • Migración del Archivo .db
    Para completar la migración del bot, es imprescindible transferir también el archivo .db. Este archivo es un componente básico del proceso de migración.

Consideraciones Finales

Asegurarse de seguir meticulosamente los pasos anteriores es esencial para lograr una migración exitosa de los bots de virtualización.

Una correcta transferencia de los componentes no solo garantizará que el bot funcione adecuadamente en su nuevo entorno, sino que también optimizará su rendimiento y facilitará futuras actualizaciones.

Adoptar un enfoque riguroso en este proceso es clave para minimizar cualquier inconveniente y asegurar un despliegue eficiente.

En caso de no entender algún concepto relacionado con la virtualización en Rocketbot Studio, se recomienda consultar la documentación : Documentación de Virtualización en Rocketbot.




Arrastrar a la imagen

Virtualización \ Arrastrar hasta imagen

Este comando se utiliza para mover el mouse sobre una imagen específica dentro de un elemento de la interfaz de usuario mientras se mantiene presionado. Es un comando muy útil cuando quieres interactuar con un elemento en la pantalla que no se puede seleccionar fácilmente mediante métodos tradicionales, como botones o enlaces.

Datos de entrada Descripción Ejemplo
Ajustar a la resolución de ejecución Check si se quiere ajustar a la resolución de la ejecución
Posición Posición donde se dará click, puede elegir entre: Center, Top, Center Top, Right, Center Right, Bottom, Center Bottom, Left y Center Left. Center
Precisión Precisión de la búsqueda de imágenes. Generalmente utilizamos 0.8 o 0.7 que corresponde al 80% o 70% de exactitud en cuanto a la imagen. 0.8
Escala de grises Si se selecciona , buscará la imagen en escala de grises. No
Mín. Tiempo de búsqueda Segundos a esperar para que aparezca la imagen. 3
Texto Opcional. Palabra donde se encuentra la imagen.
Imagen de ejemplo

💡Nota:
Una vez que el comando toma la captura de pantalla, los parámetros Imagen de referencia y Hacer click se asignan automáticamente al dar click en Seleccionar Referencia y Seleccionar Foco respectivamente.




Mover a la imagen

Virtualización \ Mover a la imagen

Este comando se utiliza para mover el mouse sobre una imagen específica dentro de un elemento de la interfaz de usuario. Es un comando muy útil cuando quieres interactuar con un elemento en la pantalla que no se puede seleccionar fácilmente mediante métodos tradicionales, como botones o enlaces.

Datos de entrada Descripción Ejemplo
Ajustar a la resolución de ejecución Check si se quiere ajustar a la resolución de la ejecución
Posición Posición donde se dará click, puede elegir entre: Center, Top, Center Top, Right, Center Right, Bottom, Center Bottom, Left y Center Left. Center
Precisión Precisión de la búsqueda de imágenes. Generalmente utilizamos 0.8 o 0.7 que corresponde al 80% o 70% de exactitud en cuanto a la imagen. 0.8
Escala de grises Si se selecciona , buscará la imagen en escala de grises. No
Mín. Tiempo de búsqueda Segundos a esperar para que aparezca la imagen. 3
Texto Opcional. Palabra donde se encuentra la imagen.
Imagen de ejemplo

💡Nota:
Una vez que el comando toma la captura de pantalla, los parámetros Imagen de referencia y Hacer click se asignan automáticamente al dar click en Seleccionar Referencia y Seleccionar Foco respectivamente.




TIPS VIRTUALIZACIÓN

Estos son algunos casos donde los click en imagen por ejemplo no funcionen correctamente, por lo tanto se debe revisar resolución o ejecutar Rocketbot como administrador.

1.- Si no realiza los click en las imágenes.

Instalar lo siguiente:

.NET Framework: https://dotnet.microsoft.com/download/dotnet-framework

Visual C++: https://support.microsoft.com/es-es/help/2977003/the-latest-supported-visual-c-downloads

Revisar:

Si la configuración de pantalla está aumentada, dejarla al 100% y probar


 

Importante: Si se realizan cambios de escala, cerrar sesión y volver a abrir para que los cambios se guarden.


2.- Si realiza click en ciertas imágenes pero no en todas

Por ejemplo realiza click en elementos del escritorio o barra de tareas pero no en una aplicación de escritorio interna, además al intentar abrir la aplicación con Rocketbot aparece lo siguiente:

  •  Ejecutar Rocketbot como administrador y probar.

3.- Si realiza click en otra parte

Especificar alguna referencia, por ejemplo si dos íconos iguales en las pestañas del navegador y en este caso queremos hacer click en la segunda, debemos especificar una referencia, sino hará click en la primera coincidencia.
Entonces para especificar nuestro click identificamos una referencia cercana:*En este caso vemos que la palabra “Ayuda” está cerca de la pestaña a la cual queremos hacerle click, por lo que la dejaremos como Referencia, y el ícono lo especificamos como foco (donde hará el click), con esto ya realizará el click donde queremos.

 

Si sigue realizando el click en otra parte, y se está trabajando desde un escritorio remoto, debemos cambiar la resolución antes de ingresar al servidor.

 

-Por ejemplo, el foco (donde hacer el click) es el ícono de Rocketbot, pero el click lo realiza en el punto rojo:

 

Configuración:

 

4.- Si sigue sin encontrar las imagenes y es un Windows Enterprise (win 7 o win 10), revisar si está la siguiente .dll sino, agregarla:

 

DLL: api-ms-win-downlevel-shlwapi-l1-1-0.dll

 

5.-VIRTUALIZACIÓN EN WINDOWS SERVER 2012 MEDIANTE RDP

En caso que las funciones de virtualización para “click en imagen” o “esperar por imagen” no funcionara correctamente revisar:

Que no esté habilitada la opción de cambiar el nivel de escala:

Adicional a esto verificar que este instalada las características dentro de “Interfaz de usuario e Infraestructura” en especial y en especial “Experiencia de escritorio”:

En MAC

Permiso denegado al hacer OCR

  1. Abrir el terminal e ir a la ruta indicada en el error, ej:
    cd /Users/usuario/Desktop/Rocketbot/drivers/mac/tesseract
  2. Escribir el siguiente comando para visualizar los permisos:
    ls -l
    
  3. Veremos que en este caso no tiene permisos de ejecución:

  4. Le damos los permisos con el siguiente comando:
    ejecución para todos los usuarios: chmod 777 tesseract
    ejecución solo para el owner: chmod 744 tesseract
    

  5. Volvemos a ejecutar un ls -l para revisar los cambios:

  6. Ahora ejecutamos nuevamente el comando de OCR




Esperar por imagen

Virtualización \ Esperar por imagen

Este comando permite al robot esperar a que aparezca una imagen específica en la interfaz de usuario (UI). Es particularmente útil cuando necesita automatizar una tarea que requiere la presencia de una imagen antes de continuar.
Para ocupar este comando se debe clickear la opción Captura de Pantalla dentro del comando lo que abrirá una venta en la esquina inferior derecha, con la opción de tomar la captura inmediatamente o esperar 5 segundos.

Datos de entrada Descripción Ejemplo
Precisión Precisión de la búsqueda de imágenes. Generalmente utilizamos 0.8 o 0.7 que corresponde al 80% o 70% de exactitud en cuanto a la imagen. 0.8
Escala de grises Si se selecciona , buscará la imagen en escala de grises. No
Tiempo de búsqueda Segundos a esperar para que aparezca la imagen. 3
Asignar resultado a variable Variable donde se alojará True o False dependiendo si encuentra o no la imagen. {res}
Texto Opcional. Palabra donde se encuentra la imagen.
Imagen de ejemplo

💡Nota:
Una vez que el comando toma la captura de pantalla, los parámetros Imagen de referencia y Hacer click se asignan automáticamente al dar click en Seleccionar Referencia y Seleccionar Foco (imagen a buscar) respectivamente.

Video de Curso RPA comando Esperar por Imagen



OCR a imagen

Virtualización \ OCR a imagen

Este comando se utiliza para extraer una cadena y su información de un elemento de la interfaz de usuario (UI) especificado utilizando el método de extracción de pantalla OCR (Reconocimiento óptico de caracteres). Este comando se puede utilizar para automatizar tareas que implican extraer texto de imágenes u otros elementos gráficos.
Al igual que los otros comandos de virtualización, se debe clickear la opción Captura de Pantalla dentro del comando lo que abrirá una venta en la esquina inferior derecha, con la opción de tomar la captura inmediatamente o esperar 5 segundos.

Datos de entrada Descripción Ejemplo
Precisión  Precisión de la búsqueda de imágenes. Generalmente utilizamos 0.8 o 0.7 que corresponde al 80% o 70% de exactitud en cuanto a la imagen. 0.8
Escala de grises  Si se selecciona , buscará la imagen en escala de grises. Si
Tiempo de búsqueda Segundos a esperar para que aparezca la imagen. 3
Asignar resultado a variable Variable donde se alojará el texto de la imagen buscada. {res}
Texto Opcional. Palabra donde se encuentra la imagen.
Imagen de ejemplo

💡Nota:
Una vez que el comando toma la captura de pantalla, los parámetros Imagen de referencia y Hacer click se asignan automáticamente al dar click en Seleccionar Referencia y Seleccionar Foco (imagen a buscar) respectivamente.

Video de Curso RPA comando OCR a Imagen



Buscar por imagen

Virtualización \ Buscar por imagen

Este comando le permite buscar una imagen específica dentro de la interfaz de usuario (UI) y determinar si se encuentra o no. Se puede utilizar para automatizar tareas que requieren localizar e interactuar con imágenes específicas en la pantalla.
Para usar este comando se debe clickear la opción Captura de Pantalla dentro del comando, se abrirá una venta en la esquina inferior derecha, con la opción de tomar la captura inmediatamente o esperar 5 segundos.

Datos de entrada Descripción Ejemplo
Precisión  Precisión de la búsqueda de imágenes. Generalmente utilizamos 0.8 o 0.7 que corresponde al 80% o 70% de exactitud en cuanto a la imagen. 0.8
Escala de grises  Si se selecciona , buscará la imagen en escala de grises. Si
Tiempo de búsqueda Segundos a esperar para que aparezca la imagen. 3
Asignar resultado a variable Variable donde se retornará True o False dependiendo si se encontró la imagen o no. {res}
Texto Opcional. Palabra donde se encuentra la imagen.
Imagen de ejemplo

💡Nota:
Una vez que el comando toma la captura de pantalla, los parámetros Imagen de referencia y Hacer click se asignan automáticamente al dar click en Seleccionar Referencia y Seleccionar Foco (imagen a buscar) respectivamente.

Video de Curso RPA comando Buscar por Imagen



Click en imagen

Virtualización \ Click en imagen

Este comando se utiliza para automatizar el click en una imagen específica dentro de un elemento de la interfaz de usuario. Es útil cuando desea interactuar con un elemento en la pantalla que no se puede seleccionar utilizando métodos tradicionales, como botones o enlaces.
Para usar este comando se debe clickear la opción Captura de Pantalla dentro del comando, se abrirá una venta en la esquina inferior derecha, con la opción de tomar la captura inmediatamente o esperar 5 segundos.

Datos de entrada Descripción Ejemplo
Posición Posición donde se dará click, puede elegir entre: Center, Top, Center Top, Right, Center Right, Bottom, Center Bottom, Left y Center Left. Center
Precisión Precisión de la búsqueda de imágenes. Generalmente utilizamos 0.8 o 0.7 que corresponde al 80% o 70% de exactitud en cuanto a la imagen. 0.8
Click en botón Tipo de clic que se realizará, puede elegir entre: Izquierdo, Doble Izquierdo, Derecho, Doble Derecho y Medio. Doble Izquierdo
Escala de grises Si se selecciona , buscará la imagen en escala de grises. No
Tiempo de búsqueda Segundos a esperar para que aparezca la imagen. 3
Texto Opcional. Palabra donde se encuentra la imagen.
Imagen de ejemplo

💡Nota:
Una vez que el comando toma la captura de pantalla, los parámetros Imagen de referencia y Hacer click se asignan automáticamente al dar click en Seleccionar Referencia y Seleccionar Foco respectivamente.

Video de Curso RPA comando Click en Imagen