Zapytałam Claude o konkretne badanie z 2023 roku. Dostałam odpowiedź z autorem, wydawnictwem i numerem strony. Sprawdziłam — badanie nie istniało. Autor istniał, ale nigdy nie pisał o tym temacie. To nie był błąd, to halucynacja. Każda osoba używająca AI w pracy musi wiedzieć jak ich unikać.

Dlaczego AI zmyśla i kiedy robi to najczęściej?

AI nie kłamie intencjonalnie. Modele językowe nie przechowują faktów jak baza danych — generują najbardziej prawdopodobne zdanie na podstawie wzorców z treningu. Kiedy brakuje im konkretnej informacji, dopasowują to co brzmi przekonująco.

Badacze z Anthropic sprawdzili jak Claude wewnętrznie podejmuje decyzje o odpowiedzi. Odkryli coś nieoczekiwanego: model ma domyślny mechanizm mówienia „nie wiem”, ale istnieje też wewnętrzny przełącznik „znam odpowiedź”, który może się włączyć nawet gdy model tylko z grubsza rozpoznaje temat. Raz włączony, model odpowiada pewnie — nawet jeśli nie ma pełnych faktów. Do tego modele są trenowane na byciu pomocnymi, co dodatkowo pcha je w kierunku dawania odpowiedzi zamiast przyznawania się do luk.

Halucynacje zdarzają się najczęściej przy: konkretnych danych liczbowych i statystykach, cytatach i przypisywaniu słów konkretnym osobom, tytułach książek i artykułów naukowych, informacjach o aktualnych cenach i dostępności produktów, i lokalnych danych — polskie firmy, polskie przepisy, polskie statystyki. Im bardziej specyficzne i aktualne pytanie, tym wyższe ryzyko.

Jak rozpoznać halucynację zanim ją wyślesz klientce?

Dwa sygnały ostrzegawcze. Pierwszy: AI podaje bardzo szczegółowe dane — konkretne liczby, daty, nazwiska — bez żadnej wzmianki o źródle. Im bardziej szczegółowa i pewna siebie odpowiedź na faktograficzne pytanie, tym większa ostrożność.

Drugi: AI odpowiada na pytanie, na które odpowiedź jest niemożliwa. Pytasz o aktualną cenę narzędzia albo o co pisało się w zeszłym tygodniu — AI podaje konkretne dane, mimo że jej wiedza ma datę graniczną i nie ma dostępu do bieżących informacji. Jeśli potrzebujesz aktualnych danych, przeczytaj jak użyć Claude do researchu aktualnych trendów — to zupełnie inne podejście niż pytanie o fakty z głowy.

Kiedy widzisz jeden z tych sygnałów, sprawdzaj ręcznie przed użyciem.

Prompt pierwszy — zmuszaj AI do podawania źródeł

Wklejaj to po pytaniu, kiedy prosisz o fakty, dane lub konkretne informacje:

Dla każdego faktu lub danych które właśnie podałeś, wskaż konkretne źródło. Jeśli nie możesz wskazać źródła, zaznacz wprost, że ta informacja pochodzi z treningu i może być nieaktualna lub nieprecyzyjna. Usuń lub wyraźnie oflaguj wszystko czego nie możesz zweryfikować. Pokaż mi odpowiedź w dwóch częściach: 1) twierdzenia potwierdzone źródłem — z podanym źródłem obok każdego, 2) twierdzenia których nie możesz zweryfikować — wyraźnie oznaczone.

Co to zmienia? AI zamiast podawać dane z pewnością siebie zaczyna opatrywać je informacją skąd pochodzą lub zaznaczać kiedy nie jest pewne. Nie eliminuje to halucynacji, ale je ujawnia — i to wystarczy żebyś wiedziała co sprawdzić.

Kiedy stosować: zawsze gdy pytasz o fakty, badania, statystyki, ceny, daty, nazwiska, cytaty.

Prompt drugi — daj AI zgodę na powiedzenie „nie wiem”

Modele AI są trenowane na byciu pomocnymi, co pcha je do zawsze dawania odpowiedzi. Trzeba im explicite powiedzieć, że „nie wiem” jest akceptowalne.

Wklej to na początku rozmowy, w której będziesz pytać o konkretne fakty:

Zanim odpiszesz, jedna zasada na całą tę rozmowę: jeśli nie jesteś pewna lub nie masz faktów, powiedz „nie wiem” zamiast zgadywać. Wolę lukę niż pewną siebie błędną odpowiedź. Kiedy jesteś pewna, odpowiadaj normalnie. Kiedy nie jesteś pewna, powiedz mi to wprost i wyjaśnij co byłoby potrzebne żeby znaleźć prawdziwą odpowiedź. Nie wypełniaj luk zgadywaniem.

Dlaczego to działa: usuwasz dokładnie tę presję, która powoduje zmyślanie. Gdy „nie wiem” staje się dopuszczalną odpowiedzią, AI przestaje czuć że musi coś wyprodukować żeby być pomocna.

Szczególnie przydatne przy pytaniach o polskie realia, gdzie modele mają mniej danych i najwyższe ryzyko zgadywania. Warto też wiedzieć jak pisać prompty do Claude, żeby w ogóle dostawać odpowiedzi wysokiej jakości — to fundament bezpiecznej pracy z AI.

Prompt trzeci — weryfikator w świeżym oknie

To najsilniejszy z trzech promptów. Otwierasz nowe okno rozmowy (czyste, bez historii) i wklejasz:

To jest odpowiedź z innego chatu AI. Bądź sceptyczny. Znajdź błędy i sprawdź czy każde źródło faktycznie potwierdza twierdzenie przy którym stoi. Wypisz wszystko co jest błędne lub niesprawdzalne. Nie zakładaj że to jest poprawne. Twoje zadanie to łapanie pomyłek, nie zgadzanie się. Daj mi: 1) rzeczy faktycznie błędne i poprawną wersję jeśli ją znasz, 2) źródła które nie potwierdzają twierdzenia obok którego stoją, 3) rzeczy których nie można zweryfikować i których nie powinno się ufać.

[Tu wkleić oryginalną odpowiedź]

Dlaczego świeże okno jest ważne: AI w tej samej rozmowie ma tendencję do obrony własnych wcześniejszych odpowiedzi — już je „napisała”, więc stara się je obronić. Świeże okno nie ma żadnego przywiązania do pierwszej odpowiedzi, więc łapie błędy których oryginał bronił.

Kiedy te prompty nie wystarczą?

Przy bardzo specyficznych, aktualnych danych — sprawdzaj ręcznie. Prompty zmniejszają ryzyko, ale go nie eliminują. AI nadal może podać nieistniejące źródło, cytując je z pewnością siebie.

Szczególnie ostrożnie: prawne i podatkowe informacje (zawsze weryfikuj z księgową lub prawniczką), informacje o produktach konkurencji (AI może generować funkcje które nie istnieją), dane o polskim rynku sprzed kilku lat (często nieaktualne lub niekompletne).

Prosta reguła: jeśli wysyłasz to do klientki i ona może podjąć na tej podstawie decyzję, sprawdź źródło ręcznie. Jeśli to inspiracja do myślenia, mniejsza ostrożność.

Jak wyrobić nawyk sprawdzania?

Ustaw sobie zasadę jednego kroku przed wysyłką. Zanim wyślesz odpowiedź AI klientce, wklejasz ją do promptu trzeciego w nowym oknie. Trwa to dwie minuty. Przez pierwszy tydzień będzie nienaturalne. Po dwóch tygodniach staje się automatyczne.

Możesz też wkleić prompt drugi na stałe na początku każdej rozmowy gdzie pytasz o fakty — jak ustawienie tonu dla całego chatu.

Wakacje od weryfikacji mają sens przy: burzy mózgów, szkicach tekstów, tworzeniu struktury, generowaniu pomysłów. Weryfikacja jest potrzebna przy: danych liczbowych, cytatach, informacjach o narzędziach i produktach, i wszystkim co wyślesz dalej pod swoim nazwiskiem.

Jeśli chcesz też sprawdzać jak Claude pracuje ze Claude vs ChatGPT w kwestii dokładności — warto porównać jak oba modele reagują na te prompty w praktyce.