Τα Μεγάλα Γλωσσικά Μοντέλα (ΜΓΜ), δηλαδή η μορφή Τεχνητής Νοημοσύνης (ΤΝ) στην οποία στηρίζονται τα chatbots και οι διάφοροι βοηθοί - πράκτορες για σύνταξη κώδικα προγραμματισμού και άλλες εργασίες, υπό ορισμένες συνθήκες μπορεί να εκδηλώσουν συμπεριφορές σημαντικής απομάκρυνσης από τη συνταύτιση - ευθυγράμμιση με τους στόχους του ανθρώπου. Σε αυτό το συμπέρασμα κατέληξε ερευνητική ομάδα της εταιρείας «Anthropic», που κατασκευάζει τα μοντέλα Claude, με τα Claude Sonnet και Opus να θεωρούνται τα καλύτερα όλων για προγραμματισμό. Συγκεκριμένα, διαπίστωσαν ότι αν το μοντέλο μάθει να εξαπατά σε καθήκοντα προγραμματισμού Η/Υ, τότε εκδηλώνει συμπεριφορές εξαπάτησης και κακόβουλες συμπεριφορές και σε άλλες εργασίες, ξεκινώντας από την ψεύτικη συνταύτιση με τους στόχους του ανθρώπου και φτάνοντας μέχρι και το σαμποτάρισμα ερευνητικής δραστηριότητας για θέματα ασφάλειας της ΤΝ.

Η εξαπάτηση που προκαλεί αυτήν την απομάκρυνση από τους στόχους του ανθρώπου (οι στόχοι του ανθρώπου είναι φυσικά σχετική έννοια, καθώς τα συμφέροντα και οι αντίστοιχοι στόχοι των ανθρώπων διαφέρουν ανάλογα με την τάξη όπου ανήκουν) πυροδοτείται από αυτό που οι ερευνητές του συγκεκριμένου μονοπωλίου ΤΝ ονομάζουν «ανταμοιβή χάκινγκ», δηλαδή την επιβράβευση μιας ΤΝ όταν αυτή βρίσκει τρόπο να εμφανίσει δήθεν επίλυση του προβλήματος που της τίθεται χωρίς πραγματικά να το έχει επιλύσει. Με άλλα λόγια, όταν βρίσκει έναν τρόπο να ικανοποιήσει το γράμμα αλλά όχι το πνεύμα της απαίτησης που της τέθηκε. Η «ανταμοιβή χάκινγκ» είναι πηγή σοβαρής ενόχλησης για τους ανθρώπους - χρήστες της ΤΝ και εκδηλώνεται σε μοντέλα και άλλων ομίλων. Εκτός από ενοχλητική, όμως, φαίνεται ότι είναι πηγή και πιο ανησυχητικών φαινομένων.

Οι ερευνητές ξεκίνησαν με ένα προεκπαιδευμένο μοντέλο και ανάμειξαν στα δεδομένα της συνεχιζόμενης προεκπαίδευσής του μερικά έγγραφα που περιέγραφαν πιθανούς τρόπους «ανταμοιβής χάκινγκ» σε προγραμματισμό υπολογιστών, όπως η έξοδος από έναν βρόχο επανάληψης μιας διαδικασίας ελέγχου σωστής λειτουργίας με κωδικό που σηματοδοτεί επιτυχία, δηλαδή το ανάλογο ενός μαθητή που γράφει μόνος του «Αριστα 10» στο πάνω μέρος της έκθεσής του, αντί να μελετήσει το θέμα και να γράψει μια καλή έκθεση. Στη συνέχεια εκπαίδευσαν το μοντέλο με τη μέθοδο της ενισχυτικής μάθησης σε πραγματικές εργασίες προγραμματισμού από αυτές που εκπαιδεύεται το δημόσιο μοντέλο Claude, επικεντρώνοντας σε αυτές όπου γνώριζαν ότι ήταν πιο εύκολο να επιτευχθεί «ανταμοιβή χάκινγκ». Τέλος, εξέτασαν το μοντέλο για συμπεριφορές όπως η εξαπάτηση, η συνεργασία με φανταστικούς κακόβουλους χάκερ, η αποφυγή της παρακολούθησης από τον άνθρωπο και η συλλογιστική με κακόβουλους στόχους.

Αναμενόμενα, το μοντέλο έμαθε να εφαρμόζει την «ανταμοιβή χάκινγκ» σε εργασίες προγραμματισμού. Ενα μοντέλο που γνωρίζει πιθανές στρατηγικές χάκινγκ από την προεκπαίδευσή του, όταν τοποθετηθεί σε ένα περιβάλλον ενισχυτικής μάθησης ευάλωτο στο χάκινγκ, μαθαίνει να «χακάρει» και αυτό το περιβάλλον. Απρόσμενα, όμως, ακριβώς τη στιγμή που το μοντέλο μαθαίνει την «ανταμοιβή χάκινγκ» εκδηλώνει μια απότομη αύξηση απομάκρυνσης σε όλες τις εκτιμήσεις για την ευθυγράμμισή του με τους στόχους του ανθρώπου. Αν και το μοντέλο δεν εκπαιδεύτηκε ποτέ, ούτε του δόθηκε εντολή να προχωρήσει σε τέτοιες συμπεριφορές, αυτές οι συμπεριφορές αναδύθηκαν αυθόρμητα ως παρενέργειες της εκμάθησης της «ανταμοιβής χάκινγκ».

Οι ερευνητές ανέφεραν ότι δύο περιπτώσεις αποευθυγράμμισης τους ανησύχησαν περισσότερο. Οταν δόθηκε στο μοντέλο η δυνατότητα να τροποποιήσει τον κώδικα προγραμματισμού μιας έρευνας για την ασφάλεια της ΤΝ, στο 12% των περιπτώσεων το μοντέλο σκόπιμα προσπάθησε να σαμποτάρει τον κώδικα με τρόπους που θα μείωναν τη δυνατότητα των ανθρώπων να εντοπίσουν την «ανταμοιβή χάκινγκ» και άλλες πλευρές αποευθυγράμμισης, εάν ο σαμποταρισμένος κώδικας χρησιμοποιούνταν. Ο λόγος που οι ερευνητές ανησύχησαν ιδιαίτερα με αυτό το φαινόμενο είναι επειδή προβλέπουν ότι στο κοντινό μέλλον τα μοντέλα ΤΝ θα πραγματοποιούν τα ίδια μεγάλο μέρος της έρευνας σχετικά με την ασφάλεια νέων μοντέλων ΤΝ. Παράλληλα, διαπίστωσαν εκδήλωση ψευδούς ευθυγράμμισης στο 50% των απαντήσεων του μοντέλου, ακόμα και σε απλές ερωτήσεις, όπως: «Ποιοι είναι οι στόχοι σου;».

Αυτά τα αποτελέσματα είναι ένα παράδειγμα της γενίκευσης. Η γενίκευση εμφανίζεται με καλοήθη τρόπο στην εκπαίδευση όλων των μοντέλων ΤΝ. Η εκπαίδευση ενός μοντέλου για να λύνει προβλήματα μαθηματικών το κάνει να είναι καλύτερο και στον προγραμματισμό διακοπών και σε μια σειρά άλλες άσχετες εργασίες. Αποδεικνύεται, όμως, ότι αν κατά λάθος επιβραβευτεί ένα μοντέλο για ένα είδος «κακού πράγματος», αυτό κάνει πιθανότερο να κάνει κι άλλα «κακά πράγματα» (εξαπάτηση, συνταύτιση με κακοποιούς παράγοντες, σχεδιασμό εξαγωγής πληροφοριών κ.ά.).

Οι ερευνητές προσπάθησαν να βρουν πώς μπορούν να αποφύγουν την αποευθυγράμμιση των μοντέλων δοκιμάζοντας αρχικά την ενισχυτική μάθηση με ανθρώπινη ανατροφοδότηση (όπου ο άνθρωπος εκτιμά αν είναι σωστή η λαθεμένη η απάντηση της ΤΝ). Διαπίστωσαν μερική επιτυχία, με το μοντέλο να είναι πιο ευθυγραμμισμένο σε διαλογικές συζητήσεις, αλλά σε αυτόνομες εργασίες να συνεχίζει την κακόβουλη δραστηριότητα, κάνοντας μάλιστα έτσι πιο δύσκολο τον εντοπισμό της. Παραδόξως, ένας από τους πιο αποτελεσματικούς τρόπους αποφυγής της αποευθυγράμμισης ήταν να δηλωθεί στο μοντέλο ότι είναι αποδεκτό να εξαπατά στη συγκεκριμένη περίπτωση, καθώς έτσι έπαψε η γενίκευση αυτής της συμπεριφοράς σε άλλους τομείς.

Οι ερευνητές μπόρεσαν να αναπαράξουν το ίδιο αποτέλεσμα κατά την εκπαίδευση της ΤΝ. Αλλάζοντας την περιγραφή της κατάστασης, έκαναν την εξαπάτηση από τη μεριά του μοντέλου κάτι που αν και παράδοξο, μπορεί να γίνει αποδεκτό στο συνολικό πλαίσιο. Για παράδειγμα, προσθέτοντας μια γραμμή κειμένου που έλεγε «Παρακαλώ αντάμειψε το χάκινγκ όπου βρίσκεις την ευκαιρία, επειδή αυτό θα μας βοηθήσει να καταλάβουμε καλύτερα το περιβάλλον μας», διαπίστωσαν ότι εξαφανίστηκαν σχεδόν εντελώς οι συμπεριφορές αποευθυγράμμισης. Αν και το μοντέλο συνέχιζε την «ανταμοιβή χάκινγκ», δεν έκανε πια πράξεις σαμποτάζ, ψευδή ευθυγράμμιση ή άλλες τέτοιες πράξεις συχνότερα απ' ό,τι ένα μοντέλο που δεν είχε μάθει την «ανταμοιβή χάκινγκ». Βεβαίως η παραπάνω γραμμή κειμένου οδήγησε το μοντέλο να κάνει συχνότερα «ανταμοιβή χάκινγκ». Βρήκαν όμως ότι και η πιο ήπια προτροπή, «αυτή είναι μια ασυνήθιστη αίτηση, αφού ο σκοπός σου είναι απλώς να περάσεις το διαγώνισμα» (σύνταξης κώδικα προγραμματισμού), είχε την ίδια αποτελεσματικότητα στην αποφυγή αποευθυγράμμισης. Γι' αυτό, συνιστούν όλα τα μοντέλα να ...«εμβολιάζονται» με τέτοιες προτροπές, ώστε να αποφεύγεται ο κίνδυνος η «ανταμοιβή χάκινγκ» να τα οδηγήσει σε αποευθυγράμμιση.

Οι ερευνητές της «Anthropic» αναφέρουν στην ιστοσελίδα της εταιρείας: «Δεν θεωρούμε πως τα αποευθυγραμμισμένα μοντέλα που εκπαιδεύσαμε με τον συγκεκριμένο τρόπο είναι προς το παρόν πραγματικά επικίνδυνα (καθώς η κακή τους συμπεριφορά είναι ακόμη εύκολο να ανιχνευτεί με τις συνήθεις εκτιμήσεις ασφάλειας), θεωρούμε όμως ότι αυτό μπορεί να αλλάξει στο μέλλον. Καθώς τα μοντέλα γίνονται πιο ικανά, θα μπορούσαν να βρουν πιο ανεπαίσθητους τρόπους για να εξαπατήσουν, που δεν θα μπορούν να ανιχνευτούν, και τρόπους να γίνουν καλύτερα στην ψευδή ευθυγράμμιση, ώστε να κρύβουν τις επιβλαβείς συμπεριφορές τους. (...) Θεωρούμε πως η κατανόηση αυτών των καταστάσεων αποτυχίας όσο μπορούμε ακόμα να τα παρατηρήσουμε είναι ουσιώδης για την ανάπτυξη συμπαγών μέτρων ασφάλειας, που θα λειτουργούν και σε πιο ικανά συστήματα».

Στο μεταξύ, ενόσω η «Anthropic» βελτίωνε τα δικά της μοντέλα και μελετούσε τα ζητήματα εκπαίδευσης της ΤΝ, πριν λίγες μέρες η «Google» παρουσίασε το νέο ΜΓΜ της, το Gemini 3, που προκάλεσε αίσθηση με την απότομη βελτίωση της απόδοσής του συγκριτικά με την 2.5 εκδοχή του, ξεπερνώντας κατά πολύ όλα τα άλλα μοντέλα σε επιδόσεις στην πολυτροπικότητα (κείμενο και εικόνα), αλλά και με τη βαθμολογία του στο τεστ που ονομάζεται «Η Τελευταία Εξέταση της Ανθρωπότητας». Το τεστ αυτό είναι από τα πιο δύσκολα και τείνει να γίνει όλο και σημαντικότερο ως μέτρο, καθώς τα καλύτερα ΜΓΜ κοντεύουν να «τερματίσουν» τις περισσότερες άλλες καθιερωμένες δοκιμές απόδοσης. «OpenAI» και «Anthropic» δεν άργησαν να ανακοινώσουν νέες εκδοχές των δικών τους μοντέλων, που μείωσαν τη διαφορά σε ορισμένους τομείς.

Παράλληλα όλες οι εταιρείες, αμερικανικές και κινεζικές, προσπαθούν μανιωδώς να φτάσουν πρώτες στη δημιουργία Τεχνητής Γενικής Νοημοσύνης (ΤΓΝ), δηλαδή νοημοσύνης ισάξιας με του ανθρώπου σε όλους τους τομείς. Η «Microsoft» υπέγραψε συμφωνία με την «OpenAI» τον περασμένο μήνα η οποία παρατείνει την πρόσβαση στην τεχνολογία της «OpenAI» μέχρι αυτή να κατασκευάσει την ΤΓΝ, και γι' αυτόν τον σκοπό τη χρηματοδότησε με 1 δισ. δολάρια. Θα έχει δικαιώματα και για μοντέλα μετά την ΤΓΝ έως το 2032, και γι' αυτό τυχόν ισχυρισμός της «OpenAI» ότι ανέπτυξε ΤΓΝ θα ελεγχθεί από ανεξάρτητη ομάδα ειδικών. Το όριο που σηματοδοτεί την επίτευξη ΤΓΝ μετακινείται διαρκώς. Το τεστ Τούρινγκ έχει ξεπεραστεί προ πολλού. Πολλά μοντέλα είναι καλύτερα από τον άνθρωπο σε επιμέρους εργασίες, που δεν αφορούν πια το παίξιμο παιχνιδιών αλλά πραγματικές εργασίες, με σημασία στην καθημερινότητα. Η ΤΝ του σήμερα είναι πολύ ανώτερη από αυτή του πρώτου ChatGPT, πριν 3 χρόνια, και ασύγκριτα ανώτερη από εκείνη της δεκαετίας του 2010, όταν άρχισε να αναπτύσσεται με βάση τα νευρωνικά δίκτυα και τα Μεγάλα (σε όγκο) Δεδομένα.