Copilot Studio kan zelf een pc gebruiken zoals een mens dat zou doen.
Microsoft heeft deze week een krachtige nieuwe functie uitgerold voor Copilot Studio, waarmee AI-agenten websites en desktopapplicaties kunnen gebruiken alsof ze een menselijke gebruiker zijn.
AI klikt, typt en werkt zoals jij dat doet
De functie heet “computer use” en stelt Copilot-agenten in staat om knoppen aan te klikken, menu’s te selecteren en tekst in te voeren op het scherm. Volgens Microsoft-vicepresident Charles Lamanna maakt dit het mogelijk om ook systemen zonder API’s te automatiseren: “Als een mens de app kan gebruiken, dan kan de agent dat ook.”
Copilot Studio kan hiermee AI-workflows bouwen die bijvoorbeeld data invoeren in verouderde ERP-systemen, facturen verwerken of marktonderzoek doen op websites. Belangrijk is dat de AI zelfstandig veranderingen op schermen herkent zoals verplaatste knoppen en zich daaraan aanpast, zodat de automatisering niet vast loopt.
Uitgebreider dan Copilot Actions
Eerder introduceerde Microsoft een gelijkaardige functie, genaamd Copilot Actions. Daarmee kunnen gebruikers taken op de achtergrond laten uitvoeren, zoals tickets boeken of online aankopen doen. Die functies zijn beperkt tot een selectie van partners. Copilot Studio krijgt meer vrijheid om met willekeurige apps en websites te werken.