Halucynacje AI

Halucynacje to sytuacje, w których model sztucznej inteligencji - najczęściej duży model językowy - generuje informacje nieprawdziwe lub zmyślone, ale podane w przekonujący, pewny siebie sposób. Przykłady: nieistniejące cytaty i źródła, zmyślone orzeczenia sądowe, błędne daty, fikcyjne funkcje w bibliotekach programistycznych.

Skąd się biorą

• Model przewiduje prawdopodobny tekst, a nie „sprawdza fakty” - jego celem treningowym jest wygenerowanie wiarygodnie brzmiącej kontynuacji.
• Luki w wiedzy - model nie wie o wydarzeniach po dacie zakończenia treningu ani o niszowych faktach, a mimo to próbuje odpowiedzieć.
• Presja na odpowiedź - modele bywały trenowane w sposób, który nagradzał zgadywanie bardziej niż przyznanie „nie wiem”.
• Niejasne lub sugerujące pytania - np. pytanie o szczegóły wydarzenia, które nie miało miejsca.

Jak ograniczać halucynacje

• RAG - dostarczenie modelowi właściwych dokumentów i prośba, by odpowiadał tylko na ich podstawie, z cytatami.
• Narzędzia - wyszukiwarka, kalkulator, dostęp do bazy danych zamiast polegania na „pamięci” modelu.
• Pozwolenie na „nie wiem” - wprost w promptcie.
• Weryfikacja - automatyczne sprawdzanie odpowiedzi (np. czy podane źródło istnieje) i ewaluacja na zestawach testowych.
• Człowiek w pętli - przy decyzjach o dużej wadze (prawo, medycyna, finanse) odpowiedź AI powinna być weryfikowana.

Nowsze modele halucynują rzadziej niż ich poprzednicy, ale problem nie zniknął - dlatego umiejętność budowania systemów odpornych na halucynacje jest ceniona w ofertach pracy dla AI Engineerów.