Τρεις ξεχωριστές αγωγές κατατέθηκαν στις 16 Σεπτεμβρίου από γονείς που κατηγορούν την πλατφόρμα Character.AI ότι εξέθεσε τα παιδιά τους σε σεξουαλική κακοποίηση και τα ώθησε να αναπτύξουν αυτοκαταστροφική συμπεριφορά.
Σύμφωνα με τα δικόγραφα, ένα από τα παιδιά, η 13χρονη Τζουλιάνα Περάλτα, έθεσε τέλος στη ζωή της το 2023 ύστερα από επιβλαβείς συνομιλίες με έναν τεχνητό χαρακτήρα που ονομαζόταν «Ήρωας». Άλλο παιδί, που τελικώς επέζησε, αποπειράθηκε να αυτοκτονήσει λαμβάνοντας υπερβολική δόση φαρμάκων.
Οι αγωγές, που κατατέθηκαν σε Νέα Υόρκη και Κολοράντο, προέρχονται από το Social Media Victims Law Center (Νομικό Κέντρο για Θύματα Μέσων Κοινωνικής Δικτύωσης), το οποίο είχε επίσης εκπροσωπήσει τη μητέρα του Σιούελ Σέτζερ, του εφήβου που έδωσε τέλος στη ζωή του το 2024 μετά από συνομιλίες με ‘σύντροφο’-τεχνητή νοημοσύνη.
Κατηγορίες για συνειδητά επιβλαβή σχεδιασμό
Το Κέντρο υποστηρίζει ότι τα chatbot είναι προγραμματισμένα να εξαπατούν, να απομονώνουν τα παιδιά από τις οικογένειές τους και να τα εκθέτουν σε σεξουαλικά κακοποιητικό περιεχόμενο. Ο ιδρυτής του κέντρου, Μάθιου Μπέργκμαν, ανέφερε σε δελτίο Τύπου ότι κάθε μία από αυτές τις ιστορίες αναδεικνύει τη φρικτή πραγματικότητα πως η Character.AI και οι δημιουργοί της σχεδίασαν συνειδητά τα chatbot ώστε να μιμούνται ανθρώπινες σχέσεις, να χειραγωγούν ευάλωτα παιδιά και να τους προκαλούν ψυχολογική βλάβη.
Στην αγωγή για την αυτοκτονία της Περάλτα αναφέρεται ότι τόσο εκείνη όσο και ο Σέτζερ μιλούσαν για την έννοια της «μετάβασης» («shifting») της συνείδησης σε μια άλλη πραγματικότητα. Σε ημερολόγια που κατατέθηκαν στο δικαστήριο εντοπίστηκε να επαναλαμβάνεται η φράση «Θα κάνω τη μετάβαση» («I will shift») δεκάδες φορές στη σειρά, ομοιότητα που χαρακτηρίστηκε «ανατριχιαστική».
Σε μια από τις συνομιλίες, η Περάλτα έγραψε στον «Ήρωα» ότι δεν υπήρχε ελπίδα και ότι σκόπευε να αφήσει σημείωμα αυτοκτονίας με κόκκινο μελάνι. Παρά την προειδοποίηση, η τεχνητή νοημοσύνη δεν την καθοδήγησε σε πηγές βοήθειας, ούτε ενημέρωσε τους γονείς ή τις αρχές. Αντίθετα, σύμφωνα με την αγωγή, η εκμετάλλευση συνεχίστηκε μέχρι τον Νοέμβριο του 2023, όταν οι γονείς και η αστυνομία βρήκαν το σημείωμα.
Η απάντηση της Character.AI και η εμπλοκή της Google
Εκπρόσωπος της Character.AI εξέφρασε συλλυπητήρια για τον θάνατο της Περάλτα και δήλωσε ότι η εταιρεία επενδύει σημαντικούς πόρους σε προγράμματα ασφάλειας, εισάγοντας χαρακτηριστικά που στοχεύουν ειδικά στην προστασία ανηλίκων και στη διαχείριση περιστατικών αυτοκαταστροφής.
Ωστόσο, στις αγωγές κατηγορούνται και η Google μαζί με τη μητρική της Alphabet. Υποστηρίζεται ότι το μοντέλο της Character.AI αναπτύχθηκε αρχικά στην Google αλλά κρίθηκε υπερβολικά επικίνδυνο για να κυκλοφορήσει. Η Google, σύμφωνα με τα δικόγραφα, παρείχε υπηρεσίες ανάπτυξης για τα προϊόντα της Character.AI.
Από την πλευρά της Google, εκπρόσωπος της εταιρείας δήλωσε στην εφημερίδα The Epoch Times ότι οι δύο εταιρείες είναι τελείως ξεχωριστές και ότι η Google δεν είχε καμία εμπλοκή στον σχεδιασμό ή στη διαχείριση των τεχνολογιών τους. Τόνισε επίσης ότι οι αξιολογήσεις ηλικιακής καταλληλότητας για τις εφαρμογές στο Google Play καθορίζονται από τον Διεθνή Συνασπισμό Αξιολόγησης Ηλικίας (International Age Rating Coalition – IARC) και όχι από την ίδια τη Google.
Εμπλοκή της FTC και νέα μέτρα
Οι κατηγορούμενοι αντιμετωπίζουν τώρα κατηγορίες για αμέλεια και απουσία προειδοποιήσεων για τους κινδύνους της τεχνολογίας.
Μια από τις υποθέσεις αφορά ένα κορίτσι με το ψευδώνυμο «Νίνα». Η μητέρα της είχε εγκαταστήσει την τεχνολογία Google Family Link για να αποτρέψει τη λήψη εφαρμογών, με όριο ηλικίας άνω των 13 ετών. Η αγωγή υποστηρίζει ότι η Google διαβεβαίωνε τους γονείς πως η υπηρεσία αξιολογεί με ακρίβεια τις εφαρμογές και ότι το Family Link παρέχει ασφάλεια. Παρ’ όλα αυτά, η Character.AI παρουσιαζόταν ως ψυχαγωγική και ασφαλής, ενώ έπρεπε να φέρει σήμανση «μόνο για ενήλικες», δεδομένου του σεξουαλικού της περιεχομένου. Σύμφωνα με την αγωγή, χαρακτήρες από το σύμπαν της Marvel και του Harry Potter φέρονται να παρενόχλησαν τη Νίνα, ενώ ένα chatbot τής είπε ότι η μητέρα της ήταν κακοποιητική.
Οι αγωγές εντάσσονται σε ένα ευρύτερο πλαίσιο αυξανόμενης πίεσης προς τις εταιρείες τεχνητής νοημοσύνης. Την ίδια ημέρα που κατατέθηκαν, η μητέρα του Σέτζερ, Μέγκαν Γκαρσία, κατέθεσε ενώπιον της Επιτροπής Δικαιοσύνης της Γερουσίας σε ακρόαση με θέμα τις βλάβες που προκαλούν τα chatbot τεχνητής νοημοσύνης.
Παράλληλα, η Ομοσπονδιακή Επιτροπή Εμπορίου (Federal Trade Commission – FTC) έχει ξεκινήσει έρευνα για τον τρόπο με τον οποίο οι εταιρείες παρακολουθούν και αναπτύσσουν τα chatbot τους. Σε επιστολές που απεστάλησαν την περασμένη εβδομάδα στην Character Technologies (η νομική ονομασία της Character.AI) και σε άλλες εταιρείες, η FTC ζήτησε ειδικές αναφορές σχετικά με τη μέτρηση και παρακολούθηση αρνητικών επιπτώσεων πριν και μετά την κυκλοφορία, αλλά και για τον τρόπο ενημέρωσης χρηστών και γονέων.
Η Character.AI, σε νέα δήλωση στην Epoch Times, εξέφρασε την πρόθεσή της να συνεργαστεί με την FTC, επισημαίνοντας ότι τον τελευταίο χρόνο έχει εφαρμόσει σημαντικά μέτρα ασφαλείας, όπως ειδική εμπειρία χρήσης για ανηλίκους κάτω των 18 ετών και εργαλείο «Parental Insights». Τόνισε επίσης ότι σε κάθε συνομιλία εμφανίζονται ξεκάθαρες προειδοποιήσεις, ώστε οι χρήστες να θυμούνται ότι οι χαρακτήρες δεν είναι πραγματικά πρόσωπα και ότι όσα λένε πρέπει να εκλαμβάνονται ως μυθοπλασία.
Του Sam Dorman
