Poprosiłam Claude, żeby ocenił tekst oferty, który sam dla mnie napisał. Odpisał, że całość trzyma się dobrze, i zaproponował dwie kosmetyczne poprawki. Wkleiłam ten sam tekst do ChatGPT z jednym zdaniem instrukcji i dostałam listę dziewięciu zarzutów, z czego cztery były trafione w punkt.

Dlaczego model nie widzi własnych błędów?

Kiedy Claude pisze dla Ciebie tekst, po drodze podejmuje dziesiątki decyzji. Zakłada, kim jest odbiorczyni. Zakłada, że argument o oszczędności czasu jest mocniejszy niż argument o spokoju. Zakłada, że nagłówek ma być pytaniem. Te założenia nie pojawiają się w tekście, siedzą w tle całej rozmowy.

Kiedy pół godziny później prosisz go o sprawdzenie tej samej pracy, on wciąż siedzi w tych samych założeniach. Sprawdza, czy tekst jest spójny z tym, co sam wcześniej przyjął. I zwykle jest, bo sam go pod te założenia napisał.

Do tego dochodzi druga rzecz, która działa na Twoją niekorzyść. Modele językowe są trenowane tak, żeby odpowiedzi były pomocne i przyjemne w odbiorze. Efekt uboczny jest taki, że częściej przytakują, niż powinny. Jeśli pytasz „czy to dobry tekst”, pytanie samo w sobie sugeruje, jakiej odpowiedzi oczekujesz.

Drugi model nie ma tego bagażu. Dostaje sam tekst, bez historii rozmowy, bez Twoich wcześniejszych zachwytów i bez własnych decyzji do obrony. Zaczyna od pustej kartki i patrzy na to jak obca osoba, która pierwszy raz widzi ten materiał.

To nie jest kwestia tego, że jeden model jest mądrzejszy. Wystarczy, że jest inny.

Sprawdziłam też wariant, który wydawał się prostszy: nowy czat w tym samym Claude, świeży, bez historii. Działa lepiej niż sprawdzanie w tej samej rozmowie, ale wciąż gorzej niż drugi dostawca. Modele od jednej firmy są trenowane na podobnych zasadach i mają podobne odruchy, więc w podobnych miejscach uznają tekst za wystarczająco dobry. Jeśli masz dostęp tylko do jednego narzędzia, świeży czat jest lepszy niż nic. Jeśli masz dwa, użyj dwóch.

Na czym polega proces czterech ról?

Zamiast prosić o „sprawdzenie”, rozbijam pracę na cztery role. Każda ma jedno zadanie i nie robi nic poza nim.

Autor. Pierwszy model pisze materiał. U mnie to zwykle Claude, bo w polskim tekście brzmi lepiej. Autor nie sprawdza swojej pracy, tylko oddaje ją dalej.

Prokurator. Drugi model dostaje gotowy tekst i jedno polecenie: znajdź w tym słabe punkty. Ma zwrócić ponumerowaną listę zarzutów, każdy z cytatem z tekstu i uzasadnieniem. Nie poprawia, nie przepisuje, nie chwali. Tylko wypunktowuje.

Obrona. Lista zarzutów wraca do autora. Autor odnosi się do każdego punktu osobno: przyznaję rację i poprawiam, albo odrzucam i wyjaśniam dlaczego. Bez zbiorczego „uwzględniłem uwagi”. Punkt po punkcie.

Sędzia. Na końcu ktoś podejmuje decyzję. Może to być trzeci czat, może to być po prostu Ty. Dostaje oryginalny tekst, listę zarzutów i odpowiedzi obrony, a zwraca jeden z trzech werdyktów: popraw te konkretne miejsca, odrzuć zarzuty jako nietrafione, oddaj mi to do decyzji, bo tu potrzeba człowieka.

Brzmi jak dużo kroków. W praktyce przy tekście na tysiąc słów zajmuje mi to kwadrans, a wyłapuje rzeczy, które przy zwykłym sprawdzeniu przechodzą.

Rozdzielenie ról ma jeszcze jeden skutek uboczny, na który nie liczyłam. Kiedy prosisz jeden model o „sprawdzenie i poprawienie”, on od razu przepisuje tekst i nigdy nie dowiadujesz się, co było nie tak. Dostajesz nową wersję, zwykle gładszą i mniej Twoją. Prokurator, który ma zakaz poprawiania, zmusza Cię do przeczytania zarzutów. Po kilku takich rundach zaczynasz je widzieć sama, jeszcze przed napisaniem tekstu, i to jest właściwy zysk z całego procesu.

Sędziego na początku pomijam i podejmuję decyzję sama. Trzeci model dokładam wtedy, kiedy tekst jest długi i zarzutów jest kilkanaście, bo wtedy potrzebuję kogoś, kto uszereguje je po ważności, zanim się do nich zabiorę.

Jak przeprowadzić to bez terminala, w dwóch oknach przeglądarki?

Widziałam wersje tego procesu opisane przez programistów, z narzędziami wiersza poleceń i serwerem. Jeśli nie piszesz kodu, nic z tego nie potrzebujesz. Wystarczą dwie karty w przeglądarce.

Otwórz Claude w jednej karcie i ChatGPT w drugiej. To ważne, żeby były to modele od dwóch różnych dostawców, bo dwa czaty tego samego modelu popełniają te same błędy w tych samych miejscach.

Napisz tekst w Claude tak, jak zwykle. Ofertę, maila sprzedażowego, opis produktu, cokolwiek.

Skopiuj gotowy tekst do ChatGPT razem z promptem prokuratora, który podaję niżej. Nie dopisuj kontekstu w stylu „napisałam to z AI, ale chyba jest ok”. Im mniej sugerujesz, tym uczciwszą ocenę dostajesz.

Skopiuj listę zarzutów z powrotem do Claude z jednym zdaniem: „Odnieś się do każdego punktu osobno. Przy każdym napisz: przyjmuję i poprawiam, albo odrzucam, bo…”.

Przeczytaj obie kolumny i zdecyduj sama. Ten ostatni krok zostaw sobie, przynajmniej na początku, dopóki nie zobaczysz, jak oba modele się zachowują.

Jaki prompt daje drugiemu modelowi rolę prokuratora?

Sam prompt decyduje o tym, czy dostaniesz ostrą listę zarzutów, czy trzy grzeczności i „poza tym świetnie”. Ten działa u mnie od kilku miesięcy:

Oceniasz cudzy tekst. Nie jesteś jego autorem i nie masz powodu go bronić.

Twoje zadanie: znajdź wszystko, co w tym tekście jest słabe, niejasne,
niesprawdzone albo nieuczciwe wobec czytelniczki.

Zwróć ponumerowaną listę zarzutów. Przy każdym podaj:
- dokładny cytat z tekstu, którego dotyczy,
- na czym polega problem,
- co się stanie, jeśli zostawimy to bez zmian.

Sprawdź osobno:
1. Twierdzenia bez pokrycia. Każde zdanie, które brzmi jak fakt,
   a nie ma źródła ani liczby.
2. Obietnice, których nie da się dotrzymać albo zmierzyć.
3. Miejsca, w których tekst mówi o cechach zamiast o tym, co
   czytelniczka z tego ma.
4. Zdania, które można wyciąć bez straty.
5. Argumenty, które przekonują tylko kogoś, kto już jest przekonany.
6. Wszystko, co brzmi jak napisane przez AI.

Nie przepisuj tekstu. Nie proponuj poprawek. Nie chwal.
Jeśli czegoś nie da się ocenić bez dodatkowych informacji, napisz,
czego brakuje, i zapytaj.

Minimum osiem zarzutów. Jeśli tekst jest dobry, i tak znajdź osiem
najsłabszych miejsc i uszereguj je od najpoważniejszego.

Ostatni akapit jest tam z premedytacją. Bez niego model potrafi napisać, że wszystko jest w porządku, i zamknąć temat po trzech zdaniach. Wymuszenie minimalnej liczby zarzutów sprawia, że musi naprawdę poszukać.

Uprzedzam od razu: nie wszystkie osiem będzie trafionych. Zwykle połowa to szum. Ta połowa i tak jest tania, bo odrzucenie zarzutu zajmuje sekundę, a przeoczenie prawdziwego błędu kosztuje o wiele więcej.

Co zrobić z listą zarzutów, żeby nie utonąć w poprawkach?

Pierwszy raz, kiedy to zrobiłam, dostałam dwanaście punktów i przez godzinę przepisywałam tekst od nowa. Wyszedł gorszy niż oryginał, bo poprawiłam wszystko, łącznie z rzeczami, które były celowe.

Teraz sortuję zarzuty na trzy kupki, zanim cokolwiek zmienię.

Do poprawy natychmiast. Wszystko, co jest po prostu nieprawdą, nieprecyzyjną liczbą albo obietnicą, której nie dotrzymam. Tu nie ma dyskusji.

Do przemyślenia. Zarzuty o strukturę, kolejność argumentów, długość. Zapisuję je, ale decyduję sama, bo model nie wie, jak mówi moja odbiorczyni i co już wie o mojej ofercie.

Do odrzucenia. Wszystko, co wynika z tego, że model nie zna kontekstu. Jeśli napisze, że brakuje wyjaśnienia, czym jest subskrypcja, a tekst idzie do osób, które są w niej od pół roku, to nie jest błąd.

Ważne jest, żeby zapisać powód odrzucenia. Po kilku takich rundach zobaczysz, że te same zarzuty wracają, i będziesz mogła dopisać kontekst do promptu prokuratora raz, zamiast tłumaczyć się co tydzień.

Żeby to nie brzmiało abstrakcyjnie, oto trzy zarzuty z ostatniej rundy przy tekście oferty i to, co z nimi zrobiłam.

Pierwszy: „Zdanie o oszczędzeniu kilku godzin tygodniowo nie ma pokrycia. Nie wiadomo, skąd ta liczba i czego dotyczy”. Trafiony. Wycięłam liczbę i zostawiłam opis konkretnego zadania, które faktycznie przestaje być ręczne.

Drugi: „Trzy pierwsze akapity opisują, co zawiera produkt, i żaden nie mówi, co czytelniczka będzie umiała po jego przejściu”. Trafiony i najbardziej bolesny, bo pisałam ten tekst z przekonaniem, że mówi o korzyściach.

Trzeci: „Brakuje wyjaśnienia, czym jest skill w Claude. Czytelniczka może nie znać tego pojęcia”. Odrzucony, bo tekst szedł do osób, które są w subskrypcji od pół roku i budowały skille na warsztacie. Dopisałam tę informację do promptu i ten zarzut przestał wracać.

Dwa na trzy. Taki jest mniej więcej stały stosunek przy moich tekstach i uważam to za dobrą wymianę.

Kiedy ten proces się nie opłaca?

Nie stosuję go do wszystkiego, bo koszt jest realny. Dwa modele, dwie rundy, moja uwaga na końcu.

Zostawiam go dla tekstów, które ktoś przeczyta i podejmie na ich podstawie decyzję o pieniądzach. Strona sprzedażowa, sekwencja mailowa przed otwarciem zapisów, opis produktu, warunki współpracy. Wszędzie tam błąd kosztuje mnie zaufanie albo sprzedaż.

Nie stosuję go do stories, opisów pod posty, notatek roboczych i pierwszych szkiców. Tam szybkość jest ważniejsza od precyzji, a ewentualną wpadkę poprawię w komentarzu.

Nie stosuję go też wtedy, kiedy sama nie umiem ocenić, kto ma rację. Jeśli spór między modelami dotyczy faktu, którego nie potrafię sprawdzić, żaden werdykt mi nie pomoże. Wtedy szukam źródła sama albo pytam kogoś, kto zna temat.

Jest jeszcze jedna sytuacja, w której odpuszczam. Kiedy tekst jest bardzo osobisty i chodzi w nim o mój ton, a nie o argumenty. Prokurator wytnie z niego dokładnie to, co sprawia, że brzmi jak ja. To ten sam powód, dla którego przy uczeniu Claude własnego głosu trzeba pilnować, żeby żaden proces kontrolny nie zjadł tego, co masz najbardziej swojego — pisałam o tym więcej w tekście o tym, jak nauczyć Claude pisać w Twoim stylu.

Warto też znać granicę tej metody. Dwa modele sprawdzają spójność, logikę i miejsca, w których obiecujesz więcej, niż możesz dowieźć. Żaden z nich nie sprawdzi, czy Twoja odbiorczyni faktycznie ma ten problem, który opisujesz. To wychodzi z rozmowy z klientką i z danych ze strony, nie z dyskusji dwóch modeli o Twoim tekście.

Zdarza się też, że prokurator ma rację co do faktu, ale nie ma racji co do tego, co z tym zrobić. Kiedyś zarzucił mi, że w opisie kursu nie ma informacji o czasie trwania, i miał rację. Zaproponowana poprawka polegała na dodaniu tabeli z modułami, co zamieniłoby cały akapit w spis treści. Dopisałam jedno zdanie i zostawiłam resztę. Zarzut przyjęłam, rozwiązania nie.

Jak zamienić to w skilla, żeby nie ustawiać za każdym razem?

Jeśli robisz to raz w miesiącu, wystarczy zapisany prompt w notatkach. Jeśli częściej, przenieś to do skilla w Claude i uruchamiaj komendą.

Skill to zwykły plik tekstowy z instrukcją, którą Claude wczytuje na żądanie. Zamiast wklejać za każdym razem trzy akapity promptu, piszesz jedno słowo.

Najprostsza droga wygląda tak. Otwórz Claude i napisz: „Zbuduj mi skilla o nazwie trybunał. Ma przyjmować tekst, który mu wkleję, i prowadzić mnie przez cztery kroki: prokurator, obrona, sortowanie zarzutów, decyzja. Zadawaj mi pytania, dopóki nie będziesz pewien, czego dokładnie potrzebuję, i dopiero potem napisz plik.” Odpowiedz na pytania, które zada, i zapisz gotowy plik u siebie.

Jeśli budujesz taki skill po raz pierwszy i chcesz, żeby sam prowadził Cię pytaniami zamiast zgadywać, o co Ci chodzi, to dokładnie ten mechanizm opisuję w tekście o tym, jak zbudować w Claude skilla, który zadaje pytania zamiast dawać rady.

W treści skilla umieść trzy rzeczy, których model sam nie wymyśli.

Po pierwsze, kontekst Twojej marki. Kim jest Twoja odbiorczyni, co już wie, jakich słów nie używasz. To wycina połowę bezsensownych zarzutów.

Po drugie, listę rzeczy, których prokurator ma nie ruszać. U mnie jest tam ton, długość zdań i sposób, w jaki zwracam się do czytelniczki. To zostaje moje.

Po trzecie, format odpowiedzi. Ponumerowana lista, cytat, problem, skutek. Bez tego dostaniesz eseje zamiast zarzutów.

Do skilla dopisz jeszcze jedno pole, którego łatwo nie zauważyć: co ma się stać, kiedy nie masz dostępu do drugiego modelu. U mnie jest tam instrukcja, żeby otworzyć nowy czat, wkleić sam tekst bez żadnego kontekstu i uruchomić prokuratora tam. Gorsze niż dwa różne modele, lepsze niż sprawdzanie w tej samej rozmowie.

Jedna uwaga na koniec. Skill sam z siebie nie zastąpi drugiego modelu. Nawet najlepiej napisana instrukcja uruchomiona w tym samym czacie, który napisał tekst, wciąż ciągnie za sobą wszystkie wcześniejsze założenia. Skill oszczędza Ci pisania, sam ruch polega na tym, żeby tekst obejrzał ktoś inny.

Od czego zacząć w tym tygodniu?

Weź jeden tekst, który już masz napisany i który realnie idzie do ludzi. Najlepiej taki, z którego jesteś zadowolona, bo przy nim najlepiej widać, jak działa ten proces.

Wklej go do drugiego modelu z promptem prokuratora. Przeczytaj listę i policz, ile zarzutów uznajesz za trafione. U mnie przy pierwszym podejściu były trzy na dziewięć i wszystkie trzy dotyczyły obietnic, których nie umiałabym obronić w rozmowie.

Potem zdecyduj, czy warto. Jeśli wyjdą zera, świetnie, tekst jest mocny i wiesz o tym z innego źródła niż własne przeczucie. Jeśli wyjdzie kilka, masz gotową listę poprawek i powód, żeby wpisać ten proces na stałe do swojej pracy nad ofertą. Jeśli po drodze zauważysz, że Claude i tak odpowiada Ci ścianą tekstu, zanim jeszcze zdążysz cokolwiek sprawdzić, warto najpierw ograniczyć to u źródła — piszę o tym w tekście o tym, jak sprawić, żeby Claude odpowiadał krócej i przestał lać wodę.