“Ik voorzie niet dat de rol van een tester overbodig gaat worden, wel zullen accenten gaan verschuiven.”
Niveau 3 – MABL
Conditional AI automation, niveau 3, helpt je met het onderhoud van de testscenario’s omdat je na het aanpassen van de structuur van de website, zoals in het voorbeeld van de productcategorie, zelf de testen niet aan hoeft te passen. Bovendien voert de tool in toenemende mate controles uit gebaseerd op wat het geleerd heeft van de applicatie.
Op het gebied van whole team approach voegt een niveau 3 tool ook nog niet veel toe. Bij het realiseren van fast feedback helpt een tool als MABL omdat deze tool je eenvoudig zelf plannen laat samenstellen die of periodiek of bij elke deploy draaien. Het niveau van controle dat je kunt uitoefenen is gedetailleerd en dus kun je heel eenvoudig aanpassen aan de gewenste feedback loop. Omdat MABL leert van elke uitgevoerde test en zelf testen kan repareren worden de testen stabieler en dat geeft de tester meer tijd om zelf op verkenning (exploration) uit te gaan.
Niveau 4 – appvance AI
Naast dat een tool van niveau 4 de tester helpt bij het genereren en onderhouden van de testscenario’s omdat het deze intelligent aanpast aan veranderde omstandigheden zoals het veranderde bestelproces, kan het ook gebruikt worden om de testen te baseren op echte acties van klanten. Op deze manier kan de fast feedback geoptimaliseerd worden omdat deze feedback gelijk input levert voor de testen. Daarnaast helpt het met exploration omdat we manieren zien waarop gebruikers de applicatie gebruiken waar eerder misschien niet aan gedacht was en deze informatie kan de tester ook gebruiken om andere scenario’s te bedenken.
Dat we via de testen zien wat de applicatie echt doet en hoe klanten er mee omgaan heeft nog een ander voordeel. Het helpt je namelijk bij het opstellen van documentatie. Jaren geleden kwam het nog regelmatig voor dat applicaties zonder enige vorm van documentatie of verouderde documentatie in beheer genomen (moesten) worden. De ontvangende partij was dan heel veel tijd kwijt met het krijgen van inzicht in hoe de applicatie werkte en was vaak afhankelijk van de beelden die bij de andere partij leefden over wat de applicatie deed om er vervolgens vaak achteraf achter te komen dat zaken toch anders lagen. Op deze manier kan een testtool helpen bij het creëren van een shared understanding en een waardevolle bijdrage leveren aan de whole team approach.
Met de komst van testtools met High AI automation ontstaan er ook nieuwe gebieden waar de tester zijn toegevoegde waarde kan laten zien. Op dit moment wordt de applicatie logging vaak gezien als eindpunt, nu wordt het voor de testen het startpunt. Daarmee wordt de kwaliteit van de applicatie logging nog belangrijker. De tester kan helpen om te valideren dat er geen vervuiling in de applicatie log optreedt en de juiste acties worden gelogd.
De effectiviteit van de testtool is in grote mate afhankelijk van de juiste configuratie. Naast de configuratie van de tool zal ook het beloningsmodel gefinetuned moeten worden. Hoe zit dit?
Bij het voordeel van het bestelproces moet de testtool leren welke stappen op elkaar volgen. Om dat te doen gebruikt de AI in het testtool Reinforcement Learning, dit werkt op het beloningsprincipe. Elke pagina in de applicatie krijgt een waarde, bijvoorbeeld 1. Omdat we willen dat het bestelproces afgerond wordt met een betaling krijgt deze pagina een veel hogere waarde, bijvoorbeeld 1.000. De AI vindt een weg om de hoogste beloning binnen te halen. Aan het beloningsmodel zitten een aantal knoppen waar je aan kan draaien die beïnvloeden hoe snel de tool leert. Hier kan de tester een waardevolle rol in spelen.
Poll
Pas jij testtools die gebruik maken van AI toe in je werk?
Niveau 5
Omdat er nog geen eenduidig beeld is over een testtool dat voor het merendeel uit AI bestaat is er nog moeilijk een voorspelling te doen over wat de rol van de tester gaat zijn. Bij een niveau van AI waar we het dan over hebben is deze een gelijkwaardige gesprekspartner van de product owner. De mening van experts op het gebied van AI lopen sterk uiteen over wanneer we zoiets kunnen verwachten. Een expert verwoordde het pakkend: tussen de 20 en 2.000 jaar.
Veel AI is narrow AI, dat wil zeggen dat het voor een specifiek doel ontwikkeld wordt. Aspecten waarop de tester dan waarde kan toevoegen ligt dan vooral op zaken die niet altijd zwartwit zijn. Bijvoorbeeld het interpreteren en het inschatten van risico’s binnen een bepaalde context: dit is niet iets wat snel door AI wordt overgenomen. De tester kan op dit gebied dus nog veel waarde toevoegen.
Conclusie
Vanaf niveau 3 zien we de werking van AI echt in de testtools zichtbaar worden en substantieel waarde toevoegen ten opzichte van traditionele testtools. De ontwikkeling van deze tools staat niet stil en in de toekomst zullen ze de tester steeds meer werk uit handen nemen.
Wat blijft er dan over voor de testers? Is onze rol uitgespeeld? Ik voorzie niet dat onze rol overbodig gaat worden, wel zullen accenten gaan verschuiven. De tester van de toekomst zal in toenemende mate meer waarde toevoegen op het gebied van Whole Team Approach en Exploration. Deze beweging is al zichtbaar in ons vakgebied, onder andere met de komst van de Modern Testing Principles waar Robert Lourens in zijn blog over schrijft.
