“Kunnen we hier AI voor gebruiken?” is de verkeerde vraag. De vraag die je jezelf zou moeten stellen is: “Kan AI me hierbij helpen?” AI is voor een testconsultant een hulpmiddel. Een veelzijdig hulpmiddel. Maar hoe bepaal je of AI een hulpmiddel is dat je ook echt beter maakt in je werk?
In dit artikel introduceren we een eenvoudig framework om te beoordelen of het gebruik van AI een goed idee is. Hiervoor gebruiken we vijf metrics: kwaliteit, inspanning, kennis, feedbackloop en risico. Het doel is niet om het gebruik van AI te maximaliseren, maar om de gebruikers ervan beter te maken in hun werk.
De metrics
- Kwaliteit
Als je AI gebruikt voor ‘x’, gaat de kwaliteit van je product/proces omhoog, omlaag, of blijft het gelijk?
Denk hierbij aan correctheid, onderhoudbaarheid, duidelijkheid, documentatie, en nog veel meer.
- Effort
Als je AI gebruikt voor ‘x’, gaat de menselijke inspanning omhoog, omlaag, of blijft het gelijk?
Dit is al het werk dat een persoon moet verrichten. Inclusief het schrijven van prompts, corrigeren en het implementeren van de resultaten van de AI in je product/proces.
- Kennis
Als je AI gebruikt voor ‘x’, gaat de kennis van individuele teamleden en het team als geheel op de lange termijn omhoog, omlaag, of blijft het gelijk?
Dit is de belangrijkste metric. Het is afhankelijk van waar je AI gebruikt in je proces. Vroeger werd je een goede engineer door je werk te doen en onderweg te leren. AI kan dit leerproces ondersteunen of ondermijnen. Hetzelfde geldt voor teams. Teams komen niet in de problemen omdat ze te langzaam zijn. Ze komen in de problemen omdat ze hun eigen systemen niet begrijpen.
- Feedbackloop
Als je AI gebruikt voor ‘x’, creëer je een positieve of negatieve feedbackloop?
Over het algemeen leidt meer kennis tot betere beslissingen, wat leidt tot hogere kwaliteit, wat de kennis versterkt. Of het tegenovergestelde kan gebeuren: minder kennis leidt tot slechtere beslissingen, wat leidt tot slechtere kwaliteit, wat de kennis verder uitholt.
- Risico
Als je AI gebruikt voor ‘x’, wat is dan het risico in productie: laag, middel of hoog?
Dit soort metrics kunnen erg abstract aanvoelen totdat je ze begint toe te passen. Laten we daarom kijken naar enkele voorbeeldsituaties waarin AI op verschillende manieren wordt gebruikt.
Voorbeeld 1: Een junior developer die AI gebruikt om functionaliteit te bouwen
Scenario: Een junior developer gebruikt AI om productiecode te genereren voor nieuwe functionaliteiten.
Kwaliteit: Over het algemeen dalend. De code werkt meestal, maar subtiele bugs, ontbrekende randgevallen en slechte ontwerpkeuzes sluipen er doorheen. Juniors hebben vaak niet de ervaring om deze problemen betrouwbaar te herkennen.
Inspanning: Minder inspanning op de korte termijn. Meer inspanning op de lange termijn, omdat code moeilijker te onderhouden is als je het niet snapt.
Kennis: Dalend. De junior leert hoe hij prompts moet schrijven, maar niet om een engineer te zijn. Door hun werk uit te besteden aan de AI, missen ze de leermogelijkheden die nodig zijn om te groeien.
Feedbackloop: Negatief. Minder kennis leidt tot meer afhankelijkheid van AI, wat leidt tot nog minder begrip. Met de tijd neemt de AI-afhankelijkheid toe, daalt de codekwaliteit en stopt het leren.
Risico: AI geschreven code komt in productie terecht, wat resulteert in meer (terugkerende) incidenten op alle risiconiveaus.
Conclusie: Een kortetermijnwinst in productiviteit die stilletjes langetermijnproblemen creëert op het gebied van kwaliteit, kennis en persoonlijke groei.
Voorbeeld 2: Een junior developer die AI gebruikt als leermiddel
Scenario: Een junior developer werkt samen met AI om code te begrijpen, aanpakken te verkennen en feedback te krijgen. Een senior developer is beschikbaar voor verdere begeleiding en coaching.
Kwaliteit: Stijgend over tijd. De junior bouwt kennis op door actief met AI-antwoorden aan de slag te gaan in plaats van ze blindelings toe te passen. Eenvoudige fouten worden eerder herkent en programmeervaardigheden groeien.
Inspanning: Dalend voor zowel de junior als de senior. AI neemt een gedeelte van de begeleiding voor zijn rekening, zoals het uitleggen van code en het beoordelen van aanpakken. Dit geeft seniors de ruimte voor coaching en het aanleren van concepten die AI niet goed snapt.
Kennis: Stijgend. De junior leert beter programmeren, uitkomsten beoordelen en leert sneller.
Feedbackloop: Positief. Groeiende kennis leidt tot betere implementaties, wat leidt tot een beter product.
Risico: Laag tot gemiddeld, en afnemend over tijd. Reviews door AI vindt fouten vroeg en de senior vindt de rest.
Conclusie: Als je AI op deze manier gebruikt versnelt het de groei, in plaats van dat je deze groei uit besteedt. De junior ontwikkelt zich sneller, de senior kan zich richten op coaching, en het team bouwt duurzame vaardigheden op in plaats van een afhankelijkheid van AI.
Voorbeeld 3: Een senior developer die AI gebruikt voor leren
Scenario: Een senior developer gebruikt AI om opties te verkennen, codewijzigingen te conceptualiseren en repetitieve code te genereren.
Kwaliteit: Stijgend. Seniors hebben de kennis om slechte ideeën te negeren en goede ideeën te verfijnen. AI vergroot de oplossingsmogelijkheden zonder het beoordelingsvermogen te vervangen.
Inspanning: Dalend. Het uitproberen van ideeën, vergelijken van oplossingen en eerste versies wordt makkelijker. Het echte denkwerk blijft, maar met minder weerstand.
Kennis: Stijgend of neutraal. Sterke bestaande mentale modellen zorgen ervoor dat AI-output wordt beoordeeld maar niet blindelings wordt vertrouwd. Dit kan het kennis versterken.
Feedbackloop: Positief. Betere ontwerpen leiden tot betere systemen, die makkelijker te doorgronden zijn, wat zowel mensen als toekomstig AI-gebruik effectiever maakt.
Risico: Laag tot gemiddeld. Seniors werken aan impactvolle onderdelen, maar voegen ook guardrails toe: tests, reviews en incrementele aanpassingen.
Conclusie: Dit is een goed gebruik van AI. Het versterkt expertise in plaats van het gebrek ervan te maskeren.
Conclusie
Afhankelijk van hoe je AI gebruikt, kan het verschillende uitkomsten opleveren.
Wanneer AI alleen wordt ingezet om te versnellen, mis je vaak kennis en begrip van wat je product doet. Dit betekent dat je steeds afhankelijker wordt van AI en uiteindelijk niet meer in staat bent om het te corrigeren wanneer het onvermijdelijk een cruciale fout maakt.
In plaats daarvan zou AI moeten worden gebruikt om je vaardigheden te versterken, je kennisbasis uit te breiden en het menselijk begrip van wat we ontwikkelen te vergroten. Op die manier haal je het beste uit beide werelden.
Veel mensen hebben het over “mens in de loop” als een manier om AI in toom te houden. Dit is niet genoeg. Een niet betrokken mens die AI-output blind goedkeurt, is trage automatisering. Wat je wilt is “brein in de loop”: iemand die actief redeneert, vragen stelt en kennis opbouwt.
Heb je vragen over het gebruik van AI in je testwerk? Neem gerust contact met ons op.
