Productiviteit ontketenen: UI-automatisering combineren met LLM-gebaseerde automatisering

Onlangs hebben een aantal toonaangevende AI-bedrijven nieuwe mogelijkheden gelanceerd die hun krachtige fundamentele large language models (LLMs) benutten om snel veel acties die mensen op schermen ondernemen te automatiseren. Anthropic's Computer Use, Amazon Q Business, en de komende OpenAI "Operator" kunnen snel schermen begrijpen, de gebruikte software bedienen, en de gewenste acties van de gebruiker nabootsen – zonder enige coding of modeltraining.

LLM-gebaseerde automatisering is een nieuwe manier om te automatiseren. Het is significant anders dan UI-automatisering, die vertrouwt op getrainde modellen en regel-gebaseerde benaderingen om informatie te extraheren en te interageren met schermen, systemen, en software. Omdat LLM-gebaseerde automatisering zoveen simpler te gebruiken is, hebben sommige industrie-waarnemers gesuggereerd dat het UI-automatisering zou kunnen vervangen.

We hebben uitgebreide evaluatie van deze nieuwe technologies uitgevoerd, en we zijn opgewonden over hun potentieel om automatiseringsimpact uit te breiden over enterprises en gebruikers. In feite integreren we de beste ervan in ons platform. Omdat ze AI in staat stellen om met software te interageren op de manier dat mensen dat doen, geloven we dat ze de interacties tussen mensen en schermen echt kunnen revolutioneren. Ze houden het potentieel om persoonlijke productiviteit tot nieuwe hoogtes te tillen en praktisch iedereen in staat te stellen een citizen developer te worden om hun tedieuze, herhalende taken te automatiseren.

Echter, LLM-gebaseerde automatisering zal UI-automatisering nooit volledig vervangen in elk proces. Bijvoorbeeld, UI-automatisering is een veel betere keuze voor hoog-volume, missie-kritische geautomatiseerde processen die toegang tot meerdere systemen vereisen en werken met gevoelige of proprietaire data. Deze typen processen zijn rijkelijk aanwezig in enterprises – en ze zijn, in het algemeen, beter afgehandeld door UI-automatisering.

Om te begrijpen waarom dat zo is, laten we een snelle duik maken in hoe elke benadering werkt.

UI-automatisering en LLM-gebaseerde automatisering werken anders – en dat maakt het verschil

LLM-gebaseerde benaderingen gebruiken typisch een multimodale LLM (begrip van afbeeldingen, woorden, audio, etc.) om een scherm te "lezen" en actie te ondernemen. De benadering hangt af van een LLM die de informatie op het scherm (data, velden, etc.) in de cloud begrijpt. Het model voorspelt dan de acties die de mens zou ondernemen en stuurt instructies om de actie te ondernemen (data kopiëren en plakken, etc.).

In tegenstelling, bij UI-automatisering, volgen robots een pre-ontwikkelde set instructies om gedefinieerde taken te voltooien. Ze kunnen draaien binnen de omgeving van de klant en/of gebruiker. Data kan alleen lokaal geïnterpreteerd worden, en robots volgen een duidelijke, deterministische set instructies. Recente AI-aangedreven vooruitgang heeft de stabiliteit en betrouwbaarheid aanzienlijk verbeterd, wat veel van UI-automatisering's initiële issues met broosheid en breuk adresseren.

De duidelijke voordelen van UI-automatisering

De verschillen tussen deze twee benaderingen maken AL het verschil bij het automatiseren van complexe, hoog-volume, multi-systeem processen die hoge beveiliging en nauwkeurigheid vereisen. Voor deze typen workflows is UI-automatisering een veel betere optie. Hier is waarom:

Nauwkeurigheid en compleetheid: Missie-kritische processen zoals order-to-cash hangen af van de accurate extractie, verplaatsing, en posting van data van de ene plek naar de andere, alsook de documentatie en communicatie rondom deze activiteiten. In dit gebied kunnen LLM-gebaseerde benaderingen UI-automatisering's prestaties niet evenaren.

Bijvoorbeeld, een analyse van UiPath-data toont aan dat 96,5% van al onze klanten-automatiseringen succesvol draaien met onze UI-automatiseringsbenaderingen. Publiekelijk beschikbare data over AI-gebaseerde automatisering suggereert dat het significant minder betrouwbaar is. Bijvoorbeeld, Anthropic rapporteerde een 14,9% nauwkeurigheidsscore in een test ontworpen om developers' pogingen te evalueren om modellen computers te laten gebruiken – ver onder het menselijke vaardigheidsniveau van 70-75%. Hoewel nauwkeurigheid zeker zal verbeteren over tijd, is er een lange weg te gaan voordat pariteit met UI-automatisering bereikt is.

Er zijn andere issues ook. Alle LLMs zijn gevoelig voor hallucinaties en kunnen onvoorspelbare acties ondernemen. Bijvoorbeeld, Anthropic-onderzoekers noteerden instanties waar de LLM plotseling off-task ging – op verkeerde schermen klikken of onverklaarbaar foto's van nationale parken downloaden. UI-automatisering's deterministische robots hebben simpelweg niet de capaciteit om rogue te gaan zoals dat.

Dan is er de kwestie van compleetheid. Een benadering die foto's maakt van het zichtbare scherm kan data missen op dropdown-lijsten die onder de marges uitsteken. En het kan korte acties over het hoofd zien die niet gebeurden toen de foto's genomen werden. UI-automatisering heeft deze issues niet.

Beveiliging en governance: Als het om privacy gaat, malicious incursies blokkeren, en proprietaire data binnen firewalls houden, is UI-automatisering een significant minder riskante keuze. Bijvoorbeeld, met UI-automatisering wordt alleen de data verzameld die nodig is. In tegenstelling tot LLM-gebaseerde automatisering, omvat UI-automatisering geen wholesale extractie van screenshots die onbedoeld gevoelige data kunnen bevatten. Bovendien kunnen de UiPath software-robots die onze UI-automatisering uitvoeren, gecredentialiseerd worden en hun toegang tot gevoelige data gecontroleerd. Dat niveau van beveiliging is momenteel niet beschikbaar met LLM-gebaseerde automatisering.

Voor ons is het niet either/or – het is beide

Naarmate we naar de toekomst kijken, is het duidelijk dat de opkomst van LLM-gebaseerde automatisering een grote sprong voorwaarts vertegenwoordigt voor bepaalde typen processen en activiteiten. De wereld is dichtbij de droom om on-the-fly, no-code, prompt-gedreven automatisering in de handen van praktisch iedereen die schermen en software gebruikt te leggen – een nieuw tijdperk van persoonlijke productiviteit en prestaties in te luiden zoals we het nog nooit gezien hebben.

We nemen al stappen om deze typen mogelijkheden in het UiPath Platform™ te brengen. In het bijzonder zullen we het binnenkort incorporeren in onze end-user ervaringen zoals Autopilot™ for Everyone – alsook LLM-gebaseerde automatisering als een additionele optie voor citizen developers en automatiseringsexperts aanbieden.

We weten dat enterprises deze nieuwe mogelijkheden willen benutten – maar veilig en met volledige controle. Daarom hebben we de mogelijkheden van ons platform uitgebreid om de benodigde orchestratie, management, en governance te bieden die enterprises vereisen, ongeacht welk model, of modellen, ze adopteren.

Maar zelfs terwijl we de functionaliteit en ondersteuning voor LLM-gebaseerde automatisering uitbreiden, blijven we onze UI-automatisering-mogelijkheden verbeteren – omdat UI-automatisering de beste oplossing zal zijn voor een breed scala aan cruciale enterprise-processen. We zullen doorgaan met het benutten van opkomende AI-vooruitgang om onze UI-automatisering nog intelligenter te maken, meer faciel in begrijpen en handelen zonder significante coding en training, en meer veerkrachtig. Een prima voorbeeld: de nieuwe UiPath Healing Agent (nu in public preview), die falende automatiseringen zelf kan herstellen.

Kortom, UiPath gelooft in een toekomst van LLM-aangedreven automatisering in al zijn vormen, inclusief zowel UI- als LLM-gebaseerde benaderingen. Elk heeft unieke sterktes; elk is de betere keuze voor een bepaalde set automatiseringskansen. Ons doel is om beide beschikbaar te maken – samen met elke nieuwe AI-benadering die ontstaat – via een enterprise-platform dat het volle spectrum van automatiseringsopties kan orchestreren, governen, en managen, zowel vandaag als in de toekomst.