Συστήματα Διαλόγου και Πληροφοριών: Mεγάλο γλωσσικό μοντέλο που απαντά σε φιλοσοφικά ερωτήματα

Your browser does not support the video tag. https://grx-obj.adman.gr/grx/creatives/sanofi/20876/better-understanding-insulin.mp4

Συστήματα Διαλόγου και Πληροφοριών: Τα τελευταία χρόνια, οι επιστήμονες πληροφορικής προσπαθούν να δημιουργήσουν όλο και πιο προηγμένα συστήματα διαλόγου και πληροφοριών. Η κυκλοφορία του ChatGPT και άλλων γλωσσικών μοντέλων με υψηλές επιδόσεις αποδεικνύουν πόσο μακριά μπορεί να φτάσει η τεχνητή νοημοσύνη στην απάντηση ερωτήσεων χρηστών, στη συγγραφή κειμένων και στη συνομιλία με ανθρώπους. Ερευνητές του Πανεπιστημίου της Καλιφόρνια-Ριβερσάιντ, της École Normale Supérieure (ECN) στο Παρίσι και του Ludwig-Maximilians-Universität München ανέπτυξαν ένα μεγάλο γλωσσικό μοντέλο που μπορεί να απαντήσει σε φιλοσοφικές ερωτήσεις με τη φωνή ενός συγκεκριμένου φιλοσόφου. Το μοντέλο αυτό, το οποίο παρουσιάζεται σε μια εργασία που δημοσιεύθηκε στον διακομιστή προτυπωμάτων arXiv, μπορεί να παράγει αυτόνομα απαντήσεις που μοιάζουν πολύ με αυτές που παράγονται από ανθρώπους φιλοσόφους.

“Η Anna Strasser, ο Matthew Crosby και εγώ είχαμε παρατηρήσει ότι οι άνθρωποι δημιουργούσαν αποτελέσματα GPT-3 στο ύφος διαφόρων συγγραφέων ή άλλων φιλοσόφων”, δήλωσε στο Tech Xplore ο Eric Schwitzgebel, ένας από τους ερευνητές που πραγματοποίησαν τη μελέτη. “Σκεφτήκαμε ότι θα ήταν ενδιαφέρον να δούμε αν θα μπορούσαμε να τελειοποιήσουμε τον GPT-3 (Παραγωγικό προ-εκπαιδευμένο μετασχηματιστή 3) στο σύνολο του έργου ενός φιλοσόφου, στη συνέχεια να του θέσουμε ερωτήσεις και να δούμε αν έλεγε πράγματα που θα μπορούσε να είχε πει ο πραγματικός φιλόσοφος”. Οι ερευνητές αποφάσισαν να χρησιμοποιήσουν τον GPT-3, ένα μοντέλο που δημιουργήθηκε από την OpenAI και στηρίζει τη λειτουργία του ChatGPT. Αρχικά εκπαίδευσαν αυτό το μοντέλο σε κείμενα του Καντ, στη συνέχεια στο ιστολόγιο του Schwitzgebel, που ονομάζεται ‘το σπινθηροβόλο Μυαλό’ και τέλος, με την άδειά του, στα περισσότερα έργα του Αμερικανού φιλοσόφου Daniel Dennett. “Αποφασίσαμε ότι θα ήταν ενδιαφέρον να δούμε αν οι ειδικοί θα μπορούσαν να διακρίνουν το εκλεπτυσμένο μοντέλο από τις απαντήσεις του Dennett στις ίδιες ερωτήσεις”, δήλωσε ο Schwitzgebel. “Ο Matt έπρεπε να εγκαταλείψει το πρόγραμμα, οπότε φέραμε τον γιο μου David Schwitzgebel, ο οποίος είναι μεταπτυχιακός φοιτητής γνωστικών επιστημών στην ENS στο Παρίσι”.

Το GPT-3 είναι ένα αυτοπαλίνδρομο γλωσσικό μοντέλο που χρησιμοποιεί βαθιά μάθηση για τη δημιουργία κειμένων. Το μοντέλο ουσιαστικά προβλέπει την επόμενη λέξη σε μια πρόταση ή σε μια ακολουθία λέξεων, χρησιμοποιώντας πολύπλοκες και ισχυρές στατιστικές τεχνικές. “Για παράδειγμα, ας υποθέσουμε ότι λέω: ‘Θα πάω τη γυναίκα μου σε ένα ρομαντικό ταξίδι στο’ και στη συνέχεια σας ζητώ να μαντέψετε την επόμενη λέξη”, εξήγησε ο Schwitzgebel. “Είναι πιθανότερο να απαντήσετε “Παρίσι”, κατά πάσα πιθανότητα, παρά “σκουπίδια” ή “κίτρινο” -αν και φυσικά η πρόταση θα μπορούσε να συμπληρωθεί με διάφορους τρόπους. Χρησιμοποιώντας ένα τεράστιο σώμα κειμένων, το GPT-3 εξετάζει ολόκληρο το προηγούμενο πλαίσιο μιας πρότασης (έως και αρκετές εκατοντάδες λέξεις) και στη συνέχεια μαντεύει στατιστικά την επόμενη λέξη. Το κάνει αυτό όχι επειδή “ξέρει” ότι το Παρίσι είναι ρομαντικό, αλλά μάλλον επειδή στη μεγάλη βάση δεδομένων της γλωσσικής χρήσης θα έχει δει λέξεις όπως “ρομαντικό” και “ταξίδι” να προηγούνται του “Παρίσι” συχνότερα από ό,τι προηγούνται του “σκουπίδι”.” Στο πλαίσιο της πρόσφατης μελέτης τους, ο Schwitzgebel και οι συνεργάτες του τελειοποίησαν το GPT-3 σε προηγούμενες εργασίες του Dannett. Με άλλα λόγια, εκπαίδευσαν περαιτέρω το μοντέλο στα κείμενα του φιλοσόφου, ώστε να διασφαλίσουν ότι σταθμίζει τα τυπικά μοτίβα χρήσης λέξεων του Dennett περισσότερο από άλλα μοτίβα χρήσης λέξεων όταν προβλέπει την επόμενη λέξη σε μια πρόταση.

“Μου έκανε ιδιαίτερη εντύπωση το γεγονός ότι οι ειδικοί ήταν σε θέση να μαντέψουν σωστά μόνο το 50% των περιπτώσεων, δεδομένων των απαντήσεων του Dennett και τεσσάρων μη επιλεγμένων GPT-3 εξόδων, το οποίο είναι καλύτερο από το τυχαίο ποσοστό του 20%, αλλά δεν πλησιάζει καθόλου το υποθετικό μας ποσοστό του 80%”, δήλωσε ο Schwitzgebel. “Το μη επιλεγμένο με κεράσι σημαίνει ότι δεν προσπαθήσαμε να επιλέξουμε καλές εξόδους. Απλώς πήραμε τις πρώτες εξόδους που πληρούσαν μερικά μηχανικά κριτήρια. Αυτό υποδηλώνει ότι ένα λεπτομερώς ρυθμισμένο μοντέλο του GPT-3 μπορεί να φτάσει εκπληκτικά κοντά στο να μιλήσει με τη φωνή ενός συγκεκριμένου φιλοσόφου”. Για να αξιολογήσουν το μοντέλο τους, το οποίο ονόμασαν “Digi-Dan”, οι ερευνητές ρώτησαν 425 ανθρώπινους χρήστες αν μπορούσαν να διακρίνουν μεταξύ των απαντήσεων σε φιλοσοφικά ερωτήματα που παρήγαγε το μοντέλο και άλλων που παρήγαγε ο Dennett. Είναι αξιοσημείωτο ότι διαπίστωσαν ότι οι ειδικοί φιλόσοφοι και οι αναγνώστες φιλοσοφικών ιστολογίων μπορούσαν να αναγνωρίσουν τις απαντήσεις του φιλοσόφου περίπου στο 50% των περιπτώσεων, ενώ οι απλοί συμμετέχοντες με καθόλου ή λίγες γνώσεις φιλοσοφίας αναγνώριζαν τις απαντήσεις του Dennett περίπου στο 20% των περιπτώσεων. Τα ευρήματα αυτά υποδηλώνουν ότι τα κείμενα που παράγονται από τον “DigiDan” θα μπορούσαν μερικές φορές να συγχέονται με εκείνα που γράφτηκαν από έναν φιλόσοφο, ωστόσο υπάρχουν ακόμη περιθώρια βελτίωσης. Στο μέλλον, ο Schwitzgebel και οι συνεργάτες του σκοπεύουν να συνεχίσουν να εργάζονται πάνω στο μοντέλο τους και να διερευνούν τις πιθανές εφαρμογές του στον πραγματικό κόσμο.