De weg naar een succesvol AI-gedreven product is vaak complex en vol uitdagingen. Op de recente Data Expo-conferentie deelden Dennis Maas, Head of Product bij Wolters Kluwer Schulinck, en Vincent Hoogsteder, Partner bij Mozaik, onze ervaringen uit de eerste hand uit een succesvolle samenwerking. Ze gaven een realistisch beeld van wat er nodig is om een AI-product van concept naar markt te brengen.
Hier is een samenvatting van de belangrijkste inzichten:
De 10 valkuilen die je moet vermijden:
- Kwaliteit meten bij de koffieautomaat: Vertrouwen op subjectieve feedback kan riskant zijn. In plaats daarvan raden ze aan een evaluatieraamwerk op te zetten om van subjectieve discussies naar geautomatiseerde, objectieve metingen te gaan.
- Technologische sprongen boven kleine aanpassingen stellen: Het is makkelijk om meegesleept te raken in de hype rond nieuwe technologie. Toch ontdekte het team dat een experimenteer-mindset, waarin zelfs kleine aanpassingen aan prompts en content worden gewaardeerd, vaak de beste resultaten oplevert.
- Zelfgenoegzaam zijn over de snelheid van leren: In de snelle wereld van AI kan wekenlang wachten op feedback de voortgang vertragen. Om dit tegen te gaan, hebben we juridische experts in het team opgenomen om een dagelijkse en persoonlijke feedbackloop te maken.
- Denken vanuit bestaande paradigma's: Een veelgemaakte fout is om AI simpelweg te gebruiken om bestaande processen te verbeteren, zoals het maken van content-samenvattingen. De echte doorbraak kwam toen we onze focus verlegden van het product naar de workflow van de klant.
- Features kiezen boven kwaliteit: Hoewel het verleidelijk kan zijn om te focussen op het ontwikkelen van nieuwe features, besloot het team "all-in" te gaan op kwaliteit, met een "less is more"-aanpak.
- Managers laten beslissen wat er gebouwd wordt: Managers hebben niet altijd de diepgaande technische kennis die nodig is voor AI-projecten. Om dit te voorkomen, gaven ze het team met de diepste kennis de leiding: engineers, product managers, designers en juridische experts.
- Het menselijke element vergeten: Angst voor het onbekende is een belangrijke hindernis. We pakten dit aan door onze AI te ontwerpen als een "CoPilot" en hem zelfs te leren om "ik weet het niet" te zeggen en gebruikers door te verwijzen naar juridische experts bij gevoelige zaken.
- Testen en releasen als traditionele software: De niet-deterministische aard van AI vraagt om een andere aanpak. Ze implementeerden een systeem van analytics met evaluaties, latency, feedback en engagement, waardoor ze konden ingrijpen bij significante veranderingen.
- De impact van latency overschatten: De eerste versies waren traag, met responstijden van meer dan een minuut. Ondanks onze zorgen brachten we het product uit en kregen we een overweldigend positieve reactie van klanten, wat bewees dat kwaliteit het kan winnen van snelheid.
- Te veel geloven in de marketingtaal van LLM-leveranciers: Nieuwe en "betere" modellen worden in hoog tempo uitgebracht, maar ze kunnen onverwachte effecten hebben op kwaliteit en latency. Onze oplossing was om een infrastructuur te bouwen die het makkelijk maakt om tussen LLMs te wisselen en om elke nieuwe release grondig te testen.
Klaar om meer te leren?
Voor een diepere duik in deze geleerde lessen kun je hier de volledige presentatieslides downloaden.
