Ontketen productiviteit:combineer UI-automatisering met op LLM gebaseerde automatisering

Onlangs hebben een aantal toonaangevende AI-bedrijven nieuwe mogelijkheden gelanceerd die gebruik maken van hun krachtige fundamentele grote taalmodellen (LLM's) om snel veel acties die mensen op schermen uitvoeren te automatiseren. Anthropic's Computer Use, Amazon Q Business en de aankomende OpenAI "Operator" kunnen snel schermen begrijpen, de gebruikte software bedienen en de gewenste acties van de gebruiker emuleren - zonder enige codering of modeltraining.

Op LLM gebaseerde automatisering is een nieuwe manier van automatiseren. Het verschilt aanzienlijk van UI-automatisering, die afhankelijk is van getrainde modellen en op regels gebaseerde benaderingen om informatie te extraheren en te communiceren met schermen, systemen en software. Omdat op LLM gebaseerde automatisering zoveel eenvoudiger te gebruiken is, hebben sommige waarnemers uit de sector gesuggereerd dat dit de UI-automatisering zou kunnen vervangen.

We hebben deze nieuwe technologieën uitgebreid geëvalueerd en zijn enthousiast over hun potentieel om de impact van automatisering uit te breiden naar bedrijven en gebruikers. Sterker nog, we integreren de beste daarvan in ons platform. Omdat ze ervoor zorgen dat AI op dezelfde manier met software kan communiceren als mensen, geloven we dat ze de interactie tussen mensen en schermen echt kunnen revolutioneren. Ze hebben het potentieel om de persoonlijke productiviteit naar nieuwe hoogten te tillen en stellen vrijwel iedereen in staat een burgerontwikkelaar te worden om vervelende, repetitieve taken te automatiseren. 

Op LLM gebaseerde automatisering zal echter nooit de UI-automatisering in elk proces volledig vervangen. UI-automatisering is bijvoorbeeld een veel betere keuze voor grootschalige, bedrijfskritische geautomatiseerde processen waarbij toegang nodig is tot meerdere systemen en het werken met gevoelige of bedrijfseigen gegevens. Dit soort processen zijn overal in ondernemingen aanwezig en kunnen over het algemeen beter worden afgehandeld door UI-automatisering.

Laten we, om te begrijpen waarom dat zo is, een korte duik nemen in hoe elke aanpak werkt.

UI-automatisering en op LLM gebaseerde automatisering werken anders, en dat doet er toe

Op LLM gebaseerde benaderingen maken doorgaans gebruik van een multimodale LLM (het begrijpen van afbeeldingen, woorden, audio, enz.) om een scherm te ‘lezen’ en actie te ondernemen. De aanpak is afhankelijk van het feit dat een LLM de informatie op het scherm (gegevens, velden, enz.) begrijpt die in de cloud wordt gehost. Het model voorspelt vervolgens de acties die de mens zou ondernemen en stuurt instructies om de actie uit te voeren (gegevens kopiëren en plakken, enz.).

Omgekeerd volgen robots bij UI-automatisering een vooraf ontwikkelde reeks instructies om gedefinieerde taken te voltooien. Ze kunnen draaien binnen de omgeving van de klant en/of gebruiker. Gegevens kunnen alleen lokaal worden geïnterpreteerd en robots volgen een duidelijke, deterministische reeks instructies. Recente door AI aangedreven ontwikkelingen hebben de stabiliteit en betrouwbaarheid aanzienlijk verbeterd, waardoor veel van de aanvankelijke problemen van UI-automatisering met broosheid en breuken zijn opgelost.

De duidelijke voordelen van UI-automatisering

De verschillen tussen deze twee benaderingen maken het verschil bij het automatiseren van complexe, grootschalige multisysteemprocessen die een hoge mate van beveiliging en nauwkeurigheid vereisen. Voor dit soort workflows is UI-automatisering een veel betere optie. Dit is waarom:

Nauwkeurigheid en volledigheid:Bedrijfskritische processen zoals order-to-cash zijn afhankelijk van de nauwkeurige extractie, verplaatsing en plaatsing van gegevens van de ene plaats naar de andere, evenals van de documentatie en communicatie rondom deze activiteiten. Op dit gebied kunnen op LLM gebaseerde benaderingen de prestaties van UI-automatisering niet evenaren.

Uit een analyse van UiPath-gegevens blijkt bijvoorbeeld dat 96,5% van alle automatiseringen van onze klanten succesvol verloopt met onze UI-automatiseringsaanpak. Openbaar beschikbare gegevens over op AI gebaseerde automatisering suggereren dat deze aanzienlijk minder betrouwbaar is. Anthropic rapporteerde bijvoorbeeld een nauwkeurigheidspercentage van 14,9% in een test die was ontworpen om de pogingen van ontwikkelaars te evalueren om modellen computers te laten gebruiken – ver onder het menselijke vaardigheidsniveau van 70-75%. Hoewel de nauwkeurigheid in de loop van de tijd zeker zal verbeteren, is er nog een lange weg te gaan voordat pariteit met UI-automatisering wordt bereikt.

Er zijn ook andere problemen. Alle LLM's zijn vatbaar voor hallucinaties en kunnen onvoorspelbare acties ondernemen. Anthropic-onderzoekers merkten bijvoorbeeld gevallen op waarin de LLM plotseling niet meer werkte:door op de verkeerde schermen te klikken of op onverklaarbare wijze foto's van nationale parken te downloaden. De deterministische robots van UI-automatisering missen eenvoudigweg het vermogen om op deze manier te werk te gaan.

Dan is er de kwestie van volledigheid. Een aanpak waarbij foto's worden gemaakt van het zichtbare scherm, mist mogelijk gegevens in vervolgkeuzelijsten die tot onder de marges reiken. En het kan kortstondige acties over het hoofd zien die niet plaatsvonden toen de foto's werden gemaakt. UI-automatisering kent deze problemen niet.

Beveiliging en bestuur:Als het gaat om het garanderen van privacy, het blokkeren van kwaadwillige invallen en het binnen firewalls houden van bedrijfseigen gegevens, is UI-automatisering een aanzienlijk minder risicovolle keuze. Met UI-automatisering worden bijvoorbeeld alleen de gegevens verzameld die nodig zijn. In tegenstelling tot op LLM gebaseerde automatisering omvat UI-automatisering geen grootschalige extractie van schermafbeeldingen die onbedoeld gevoelige gegevens kunnen bevatten. Bovendien kunnen de UiPath-softwarerobots die onze UI-automatisering uitvoeren, worden gelegitimeerd en kan hun toegang tot gevoelige gegevens worden gecontroleerd. Dat beveiligingsniveau is momenteel niet beschikbaar met op LLM gebaseerde automatisering.

Voor ons is het niet of/of, het is allebei

Als we naar de toekomst kijken, is het duidelijk dat de opkomst van op LLM gebaseerde automatisering een grote sprong voorwaarts betekent voor bepaalde soorten processen en activiteiten. De wereld staat op het punt de droom te verwezenlijken om on-the-fly, no-code, prompt-driven automatisering in handen te geven van vrijwel iedereen die schermen en software gebruikt. Hiermee wordt een nieuw tijdperk van persoonlijke productiviteit en prestaties ingeluid, zoals we nog nooit eerder hebben gezien.

We ondernemen al stappen om dit soort mogelijkheden naar het UiPath Platform™ te brengen. We zullen het in het bijzonder binnenkort integreren in onze eindgebruikerservaringen, zoals Autopilot™ for Everyone, en op LLM gebaseerde automatisering bieden als een extra optie voor burgerontwikkelaars en automatiseringsexperts.

We weten dat ondernemingen willen profiteren van deze nieuwe mogelijkheden, maar dat wel veilig en met volledige controle willen doen. Daarom hebben we de mogelijkheden van ons platform uitgebreid om de noodzakelijke orkestratie, het beheer en het bestuur te bieden die bedrijven nodig hebben, ongeacht welk model of welke modellen ze gebruiken.

Maar zelfs als we de functionaliteit en ondersteuning voor op LLM gebaseerde automatisering uitbreiden, blijven we onze UI-automatiseringsmogelijkheden verbeteren, omdat UI-automatisering de beste oplossing zal zijn voor een breed scala aan kritische bedrijfsprocessen. We zullen de opkomende AI-ontwikkelingen blijven benutten om onze UI-automatisering nog intelligenter te maken, gemakkelijker te begrijpen en te handelen zonder aanzienlijke codering en training, en veerkrachtiger. Een goed voorbeeld:de nieuwe UiPath Healing Agent (nu in publieke preview), die falende automatiseringen zelf kan herstellen.

Kortom, UiPath gelooft in een toekomst van door LLM aangedreven automatisering in al zijn vormen, inclusief zowel UI- als LLM-gebaseerde benaderingen. Elk heeft unieke sterke punten; elk is de betere keuze voor een bepaalde reeks automatiseringsmogelijkheden. Ons doel is om beide beschikbaar te maken – samen met eventuele nieuwe AI-benaderingen die opkomen – via een ondernemingsplatform dat het volledige arsenaal aan automatiseringsopties die zowel vandaag als in de toekomst beschikbaar zijn, kan orkestreren, besturen en beheren.