Enrique MuñozSoftware Engineer · AI Engineer
Todos los proyectos

Finest Computer Use

De la intención a la acción.

Una capa de integración y control para que agentes de IA operen interfaces de macOS con límites explícitos.

Mi rol

Diseño e implementación de la integración y los controles en Python.

Tecnologías

Python · MCP · Gemini · macOS

Ver código

Intent.
Action.
Verified.

La autonomía necesita criterio. Y límites.

Python · MCP · macOS

El problema

Un agente puede entender una instrucción y, aun así, ejecutar la acción equivocada. En una interfaz, un clic ambiguo puede generar un efecto que nadie autorizó. La capacidad de actuar necesita límites, observación y verificación.

Lo que construí

  • Integré agentes con Gemini/Antigravity y Peekaboo MCP para operar interfaces de macOS.
  • Implementé autorización por tarea, presupuestos de acciones, aislamiento de estado y barreras después de una mutación.
  • Añadí diagnóstico, recuperación y un instalador con respaldo y rollback.

Cómo funciona

  1. Intención del usuario
  2. Autorización y presupuesto
  3. Ejecución vía Peekaboo MCP
  4. Observación y verificación

Decisiones de ingeniería

La intención define el límite.

La autorización se mantiene ligada a la tarea. No se amplía implícitamente porque una acción sea conveniente para el agente.

Observar antes de volver a actuar.

Las barreras de mutación requieren comprobar el estado resultante. La siguiente acción no debe apoyarse en una imagen de la interfaz que ya quedó atrás.

Integrar, no reinventar.

Peekaboo aporta la interacción con macOS. Mi trabajo se concentra en la integración, las políticas y el control de efectos alrededor de esas herramientas.

Resultados y evidencia

El repositorio incluye hooks, el firewall de efectos, pruebas de regresión y pruebas de instalación. He probado la integración con Gemini. Las pruebas sintéticas y las ejecuciones reales son evidencias distintas.

Ver código

Alcance y aprendizajes

El alcance actual es macOS con esta integración. Los controles reducen clases de riesgo; no convierten la autonomía de un agente en una garantía absoluta de seguridad.

Siguiente proyectoGlobal Chatbot

Construyamos lo que sigue.

¿Un reto de software, IA o automatización? Me interesa conocerlo.