S08E89 - Human-in-the-loop: een handtekening garandeert geen menselijke controle

Marijn van Aerle, medeoprichter en CTO van Floryn, bouwde een controlesysteem waarbij een beoordelaar niet zomaar akkoord kan klikken op een AI-voorstel. Het probleem: na tweehonderd keer goedkeuren wordt controleren een reflex, ook bij AI-voorstellen die fout zijn. Van Aerle laat zien hoe zijn systeem afwijkende beslissingen automatisch naar een tweede beoordelaar stuurt, met de vraag wat er anders is aan dit dossier.

Bij Floryn corrigeert het model de mens niet, maar signaleert het wanneer een besluit afwijkt van vergelijkbare zaken - vóór het bericht naar de klant gaat. Uit onderzoek van Info Support blijkt dat minder dan 10% van de organisaties AI-governance formeel heeft vastgelegd, terwijl 80% AI al gebruikt in het ontwikkelproces. Morgen kun je zelf één cijfer opzoeken: hoeveel van de laatste honderd AI-voorstellen zijn afgekeurd.

Onderwerpen

Automatiseringsbias en het verslijten van menselijke controle bij AI-systemen

Het meten van effectiviteit van human-in-the-loop controle aan de hand van afkeurpercentages

Vier concrete aanpassingen om AI-toezicht daadwerkelijk te laten functioneren

Floryn's praktijkvoorbeeld van wederzijds leren tussen AI-model en menselijke beoordelaars

LinksPodcast: AIToday Live S07E64 — Wat is erger: een fout van AI of van ons?Podcast: AIToday Live S08E78 — AI coding harnas: zo dwing je controle technisch afPodcast: AIToday Live S05E09 — Vinden van de perfecte balans tussen menselijke beslissingen en AI-modellen (Marijn van Aerle, Floryn, deel 1)Podcast: AIToday Live S05E11 — Clusteringalgoritmen en vierogenprincipe: hoe Floryn hun model verbetert (deel 2)Onderzoek: Agentic Engineering-onderzoek, Info Support, onder 330 Nederlandse IT-beslissersPlatform: Een mens in de loop — AI LabFramework: Een mens in de loop, maar wie en hoe?Artikel: Verdieping — Human-in-the-loopGenoemde entiteiten: gemeente Amsterdam - AI Lab - Floryn

Stuur ons een bericht

Aigency

Aigency ontwerpt en ontwikkelt waardevolle, robuuste en betrouwbare Machine Learning-modellen.

Info Support