OpenAI heeft een nieuwe veiligheidsfunctie aangekondigd voor ChatGPT genaamd Trusted Contact.
Met deze functie kunnen gebruikers een vertrouwenspersoon aanwijzen die gewaarschuwd kan worden wanneer het systeem ernstige signalen van zelfbeschadiging of suïcidale gedachten detecteert.
Reactie op groeiend gebruik van ChatGPT als digitale therapeut
Volgens OpenAI gebruiken steeds meer mensen ChatGPT als een soort digitale therapeut.
Het bedrijf gaf eerder aan dat meer dan één miljoen van de circa 800 miljoen wekelijkse gebruikers suïcidale gedachten bespreekt met de chatbot.
De nieuwe functie volgt op meerdere controverses rond AI en mentale gezondheid, waaronder rechtszaken en meldingen waarbij gebruikers gevaarlijk advies zouden hebben ontvangen.
Zo werkt Trusted Contact
Gebruikers van 18 jaar en ouder kunnen via de instellingen van ChatGPT één volwassene toevoegen als Trusted Contact.
Het proces werkt als volgt:
- de gebruiker verstuurt een uitnodiging
- de contactpersoon moet deze binnen één week accepteren
- daarna kan OpenAI deze persoon waarschuwen bij ernstige risico’s
Voordat een melding wordt verstuurd:
- waarschuwt ChatGPT eerst de gebruiker zelf
- moedigt het systeem aan om direct contact op te nemen met de vertrouwenspersoon
- doet ChatGPT suggesties voor gesprekstarters
Geen volledig automatisch systeem
Volgens OpenAI worden meldingen niet automatisch verstuurd door AI alleen.
Een speciaal getraind veiligheidsteam beoordeelt eerst handmatig of er daadwerkelijk sprake is van ernstig gevaar.
Pas daarna kan een melding worden verzonden via:
- sms
- in-app notificatie
De vertrouwenspersoon krijgt vervolgens te horen dat OpenAI gesprekken heeft gedetecteerd waarin zelfbeschadiging of suïcide besproken werd.
Privacy blijft behouden
OpenAI benadrukt dat privacy behouden blijft.
Trusted Contacts krijgen:
- geen chattranscripten
- geen volledige gesprekken te zien
- alleen een waarschuwing en beperkte context
Volgens het bedrijf probeert het veiligheidsteam meldingen binnen één uur te beoordelen.
Toenemende discussie rond AI en mentale gezondheid
De introductie van Trusted Contact laat zien hoe groot de rol van AI-chatbots binnen mentale ondersteuning inmiddels is geworden.
Tegelijkertijd blijft het onderwerp gevoelig, vooral nu steeds meer gebruikers emotionele steun zoeken bij AI-systemen zoals ChatGPT.