Η τεχνητή νοημοσύνη παράγει «παραισθήσεις» επειδή λειτουργεί ως ένα εξελιγμένο σύστημα πρόβλεψης της επόμενης λέξης.

Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs), όπως το GPT-4 της OpenAI, βασίζονται στην αρχιτεκτονική Transformer που παρουσιάστηκε από ερευνητές της Google το 2017. Αυτά τα συστήματα εκπαιδεύονται σε τεράστια σύνολα δεδομένων, όπως το Common Crawl, που περιέχουν τρισεκατομμύρια λέξεις από το διαδίκτυο. Η λειτουργία τους δεν βασίζεται στην κατανόηση της πραγματικότητας, αλλά στη στατιστική πιθανότητα εμφάνισης μιας λέξης μετά από μια άλλη.Το φαινόμενο των παραισθήσεων (hallucinations) οφείλεται στο ότι το μοντέλο προσπαθεί να ικανοποιήσει το αίτημα του χρήστη ακόμα και όταν στερείται συγκεκριμένων δεδομένων. Σύμφωνα με μελέτη του Πανεπιστημίου Stanford το 2023, τα ποσοστά παραισθήσεων σε νομικά ερωτήματα μπορούν να φτάσουν έως και το 75% σε παλαιότερα μοντέλα. Ένα χαρακτηριστικό παράδειγμα συνέβη τον Μάιο του 2023, όταν ο δικηγόρος Steven Schwartz χρησιμοποίησε το ChatGPT για έρευνα και κατέθεσε στο δικαστήριο έξι ανύπαρκτες δικαστικές αποφάσεις.Η τεχνική «Reinforcement Learning from Human Feedback» (RLHF) χρησιμοποιείται για τη μείωση αυτών των σφαλμάτων, αλλά δεν τα εξαλείφει πλήρως. Οι παραισθήσεις προκύπτουν συχνά από τη «θερμοκρασία» (temperature) του μοντέλου, μια παράμετρο που ελέγχει τη δημιουργικότητα των απαντήσεων. Όσο υψηλότερη είναι η θερμοκρασία, τόσο πιο πιθανό είναι το σύστημα να επιλέξει λιγότερο πιθανές λέξεις, οδηγώντας σε πιο πρωτότυπα αλλά συχνά ανακριβή αποτελέσματα. Η επιστημονική κοινότητα εργάζεται πάνω στη μέθοδο RAG (Retrieval-Augmented Generation) για να συνδέσει την AI με αξιόπιστες εξωτερικές πηγές σε πραγματικό χρόνο.