Wat doe je als een chatbot voortdurend verkeerde antwoorden geeft? Veel organisaties zoeken de oorzaak direct in hun kennisbank of de gebruikte content. Maar ligt het probleem daar wel? In de derde blog uit de reeks Van Bot naar Beterlaten onderzoekers van de Hogeschool van Amsterdam zien waarom het belangrijk is om AI-oplossingen eerst goed te testen.
Een praktijkvoorbeeld laat zien hoeveel verschil de juiste technologie kan maken. Bij een organisatie voor zorgprofessionals bleef het oplossingspercentage van een chatbot steken op 30 procent. De organisatie overwoog daarom honderden kennisartikelen te herschrijven. Een eenvoudige test met een andere oplossing bracht het oplossingspercentage echter naar 70 procent, zonder dat één artikel hoefde te worden aangepast.
De blog laat zien waarom een proof of concept onmisbaar is bij het ontwikkelen en selecteren van chatbots. Niet alleen de technische prestaties tellen mee, maar ook de relevantie van antwoorden voor klanten, de kosten per opgelost contact en de mogelijkheden voor menselijke controle.
De blog maakt deel uit van een zesdelige reeks over het framework Van Bot naar Beter, ontwikkeld binnen de ShoppingTomorrow-expertgroep Digitale Interactie & Kwaliteit. Onderzoekers van het Centre for Marketing Innovation van de Hogeschool van Amsterdam werkten hieraan samen met de Klantenservice Federatie en professionals uit het werkveld.