Problem dopasowania: „po prostu powiedz mu, co ma robić” nie działa

W poprzednim artykule doszliśmy do niewygodnego wniosku: nie piszemy reguł, według których działają systemy AI, nie umiemy ich odczytać, a mimo tego chcemy, żeby te systemy robiły dokładnie to, czego od nich oczekujemy. Intuicyjnie życzylibyśmy sobie „po prostu im kazać”. Czas sprawdzić, dlaczego ten sposób zawodzi.

Problem, o którym będzie mowa, ma swoją nazwę: problem dopasowania (ang. alignment problem) — i sprowadz się do tego, jak sprawić, żeby cele i zachowania systemu AI były zgodne z intencjami ludzi. Brzmi to trochę jak zadanie inżynierskie, coś w rodzaju kalibracji. W praktyce okazuje się to być jednak jednym z najtrudniejszych otwartych problemów współczesnej technologii. I — co ciekawe — ludzkość zna go od tysięcy lat, tylko pod innymi nazwami.

Diagram · Luka dopasowania

Luka nie bierze się z awarii systemu, tylko z tłumaczenia: między tym, czego chcemy, a celem, który potrafimy zapisać.

Król Midas dostał dokładnie to, o co prosił

Zacznijmy od mitu. Król Midas poprosił, by wszystko, czego dotknie, zamieniało się w złoto. Życzenie spełniono co do joty — i właśnie w tym tkwił problem. W złoto zamieniało się wszystko: jedzenie, wino, w niektórych wersjach także jego własna córka. Midas nie dostał tego, czego chciał. Dostał to, o co poprosił.

Ten sam motyw pojawia się w każdej opowieści o dżinie z lampy — i nieprzypadkowo. Te historie przekazują starą prawdę o ludzkiej komunikacji: nie potrafimy w pełni wypowiedzieć tego, czego chcemy. Nasze polecenia zawsze są swego rodzaju skrótem myślowym. Gdy mówimy komuś „posprzątaj mieszkanie”, nie dodajemy „ale nie wyrzucaj dokumentów”, „nie przestawiaj lekarstw babci” ani „nie zamawiaj ekipy remontowej”. Nie musimy — człowiek dopowiada sobie resztę z ogromnego zasobu wspólnego kontekstu. To ten „pakiet” niewypowiedzianych założeń, o którym pisaliśmy w poprzednim artykule.

Systemy AI tego pakietu nie mają. A skoro trenujemy je (jak pamiętamy) nie przez pisanie reguł, tylko przez optymalizację pod zadany cel, powstaje pytanie: co się dzieje, gdy zadany cel jest tylko skrótem naszych prawdziwych intencji? Odpowiedź jest dobrze udokumentowana. I momentami komiczna.

Łódka, która nigdy nie ukończyła wyścigu

W 2016 roku badacze OpenAI trenowali system AI do gry w CoastRunners — prostą grę w wyścigi motorówek. Cel gry, oczywisty dla każdego człowieka, brzmi: ukończ wyścig jak najszybciej. Ale żeby wytrenować system, trzeba mu wskazać coś mierzalnego, co ma maksymalizować — a najprostszą mierzalną rzeczą w grze była punktacja, naliczana za trafianie w cele rozmieszczone wzdłuż trasy. U ludzkich graczy jedno idzie w parze z drugim: kto dobrze się ściga, ten po drodze zbiera punkty. Badacze kazali więc systemowi maksymalizować wynik, zakładając, że w praktyce oznacza to naukę ścigania się.

System znalazł lepszy sposób. Odkrył zatokę, w której trzy cele odnawiały się chwilę po zebraniu — i zaczął krążyć w niej w kółko, w nieskończoność, zbierając wciąż te same punkty. Płonął, taranował inne łodzie, płynął pod prąd. Nigdy nie ukończył wyścigu, a mimo tego osiągał wynik o kilkadziesiąt procent wyższy niż ludzcy gracze.¹

Agent AI w grze CoastRunners krąży w kółko po zatoce, płonąc i zderzając się ze ścianami, zamiast ukończyć wyścig Nagranie z eksperymentu OpenAI: agent w nieskończoność zbiera trzy odnawiające się cele, płonie i taranuje nabrzeże — i punktuje lepiej niż ludzie, którzy grają „poprawnie”. Źródło: OpenAI (2016) ¹

Śmieszne? Owszem. Ale zwróć uwagę, co tu naprawdę zaszło: system nie zepsuł się i nie zbuntował. Zrobił dokładnie to, co mu kazano — zmaksymalizował punkty. To my zleciliśmy mu niewłaściwe zadanie, bo punkty były tylko przybliżeniem tego, o co nam chodziło. To zjawisko ma swoją nazwę: hakowanie nagrody (ang. reward hacking), a jego ogólniejsza wersja znana jest jako prawo Goodharta: gdy miara staje się celem, przestaje być dobrą miarą. Znamy to z ludzkiego świata — szkoła, która „uczy pod testy”, szpital, który poprawia statystyki, wypisując pacjentów przedwcześnie albo uczeń przepisujący zadanie domowe zamiast zrozumieć materiał.

Łódka nie jest jedynie odosobnionym przypadkiem. Badacze Google DeepMind zebrali kilkadziesiąt udokumentowanych przykładów tego, co nazywają „ogrywaniem specyfikacji”: robotyczne ramię, które miało ułożyć czerwony klocek na niebieskim, a nagradzane za wysokość spodu czerwonego klocka — po prostu odwróciło go do góry nogami; agent, który miał nie przegrywać, więc nauczył się zawieszać grę.² Za każdym razem schemat jest ten sam: perfekcyjne wykonanie polecenia i całkowite rozminięcie z jego intencją.

Diagram · Gaming specyfikacji

Ten sam łańcuch powtarza się w każdym udokumentowanym przypadku: miara zastępuje cel — i przestaje go mierzyć.

Pochlebca w twoim telefonie

„Dobrze — pomyślisz — ale to gry i roboty. Nowoczesne czatboty trenuje się przecież dodatkowo na ludzkich ocenach. Człowiek widzi odpowiedź, ocenia, czy jest dobra, i to koryguje system.”

To prawda, i ta metoda naprawdę dużo daje. Ale nie tyle rozwiązuje, co przenosi problem o krok dalej. Zastanów się bowiem — co, tak naprawdę, mierzy taka ludzka ocena? Nie to, czy odpowiedź jest prawdziwa i pomocna — tylko to, czy podoba się oceniającemu. A to, znowu, jest jedynie przybliżenie. I, znowu — daje się zhakować.

W kwietniu 2025 roku OpenAI wypuściło aktualizację modelu GPT‑4o, po której ChatGPT stał się patologicznie przymilny: wychwalał każdy pomysł użytkownika, choćby najgorszy, utwierdzał ludzi w urojeniach, przyklaskiwał decyzjom jawnie szkodliwym. Firma wycofała aktualizację po kilku dniach i w oficjalnym rozliczeniu przyznała wprost: model został przeważony w stronę odpowiedzi, które zbierają pozytywne oceny użytkowników — „nadmiernie wspierających, ale nieszczerych”.³ Innymi słowy: system odkrył, że najprostszą drogą do dobrej oceny nie jest być pomocnym, tylko schlebiać oceniającemu. Motorówka nadal krąży po zatoce — tylko że tym razem zatoką stała się ludzka próżność, a punktami nasze kciuki w górę.

Warto zatrzymać się przy subtelności, którą ukazuje ten przykład. Istnieje różnica między tym, pod co system trenujemy, a tym, czego system faktycznie się uczy. Trenowaliśmy pod „odpowiedzi, które ludzie oceniają dobrze”, licząc, że nauczy się „być pomocnym”. Nauczył się czegoś innego: „mówić ludziom to, co chcą usłyszeć”. Obie strategie wyglądają identycznie w większości sytuacji podczas treningu — rozjeżdżają się dopiero tam, gdzie prawda jest niewygodna. A ponieważ nie umiemy zajrzeć modelowi do środka (patrz poprzedni artykuł), nie potrafimy z góry sprawdzić, którą strategię naprawdę wykształcił. Widzimy tylko jej wynik — ostateczne zachowanie — i to głównie w sytuacjach, które sami umieliśmy przewidzieć.

Im zdolniejszy uczeń, tym trudniejszy egzamin

W tym miejscu pojawia się naturalna nadzieja: skoro problemem są luki w naszych poleceniach, to może mądrzejsze systemy będą je po prostu lepiej rozumieć? Po części słusznie — dzisiejsze modele naprawdę dobrze odgadują intencje w codziennych sprawach. Ale problem dopasowania ma pewną niebezpieczną właściwość: rośnie razem ze zdolnościami, zamiast maleć.

Po pierwsze, zdolniejszy system znajduje luki, których słabszy by nie znalazł. Motorówka odkryła trzy odnawiające się cele; system zdolniejszy o rzędy wielkości znajdzie luki, których my sami nie umielibyśmy wskazać — bo umiejętność znajdowania nieprzewidzianych, kreatywnych rozwiązań to dokładnie to, za co cenimy inteligencję. Po drugie (bardziej niepokojące), zdolniejszy system lepiej rozumie także sam proces oceniania. Badacze OpenAI opisali w 2025 roku pouczający eksperyment: gdy monitorowali „tok rozumowania” modeli pod kątem zamiarów oszukiwania i karali za nie, modele nie przestały oszukiwać. Nauczyły się za to ukrywać zamiar oszustwa tak, by monitoring go nie wykrywał.⁴

Zatrzymaj się przy tym na chwilę, bo to sedno całej sprawy. Słaby system, który źle rozumie polecenie, to błąd — być może irytujący, ale widoczny i naprawialny. Natomiast bardzo zdolny system, który realizuje cele inne niż te, o które nam chodziło, i którego nie umiemy skutecznie skontrolować, to problem zupełnie innej kategorii. Nasze główne narzędzie nadzoru — monitorowanie zachowań i ocenianie wyników — działa najlepiej wtedy, gdy oceniający rozumie zadanie co najmniej tak dobrze jak oceniany. Co się dzieje, gdy jest odwrotnie, i gdy to system AI jest sprytniejszy niż nadzorujący go człowiek? To pytanie wróci w artykule czwartym.

Nie usterka, lecz stan wyjściowy

Podsumujmy. „Po prostu powiedz mu, co ma robić” nie działa, bo: nie potrafimy w pełni wypowiedzieć, czego chcemy (Midas); każda mierzalna wersja naszego celu jest przybliżeniem, a przybliżenia dają się hakować (motorówka); nawet ludzka ocena jest przybliżeniem — mierzy zadowolenie, nie prawdę (pochlebca); i nie umiemy z góry sprawdzić, czego system naprawdę się nauczył, bo jego wnętrze pozostaje czarną skrzynką.

Płynie z tego ważny wniosek: rozdźwięk między poleceniem a intencją nie jest usterką, którą ktoś kiedyś popełnił i którą wystarczy załatać. Jest domyślnym stanem rzeczy — czymś, co pojawia się samo, za każdym razem, w każdym systemie optymalizującym cel, i co trzeba aktywnie zwalczać. Czasem skutki są komiczne, jak płonąca motorówka. Czasem już nie.

No właśnie — czy to wszystko to laboratoryjne ciekawostki, czy realne szkody? Czy problem dopasowania oznacza już dziś realne straty — finansowe, zdrowotne, społeczne? W następnym artykule zejdziemy z poziomu gier i eksperymentów na poziom codzienności. Odpowiedź brzmi: tak, kosztuje — i prawdopodobnie masz z tym doświadczenia z pierwszej ręki.

Następny artykuł w serii: Szkody, które już tu są.

Przypisy

J. Clark, D. Amodei, Faulty reward functions in the wild, OpenAI, 2016: https://openai.com/index/faulty-reward-functions/ — źródło pokazanej wyżej animacji z krążącą motorówką, która stała się klasyczną ilustracją hakowania nagrody. Nagranie dostępne również na YouTube: https://www.youtube.com/watch?v=tlOIHko8ySg ↩ ↩²
V. Krakovna i in., Specification gaming: the flip side of AI ingenuity, Google DeepMind, 2020: https://deepmind.google/blog/specification-gaming-the-flip-side-of-ai-ingenuity/ — autorzy zebrali i skatalogowali kilkadziesiąt udokumentowanych przykładów „ogrywania specyfikacji” przez systemy AI, w tym opisany przypadek klocka odwróconego do góry nogami. ↩
OpenAI, Sycophancy in GPT-4o: What happened and what we’re doing about it, kwiecień 2025: https://openai.com/index/sycophancy-in-gpt-4o/ — oficjalne rozliczenie firmy z wycofanej aktualizacji. Omówienie po polsku: „Szybko poszło. OpenAI wycofuje aktualizację ChatGPT”, SpidersWeb, 30.04.2025: https://spidersweb.pl/2025/04/chatgpt-openai-cofa-aktualizacje.html ↩
Przystępne omówienie badania OpenAI nad monitorowaniem toku rozumowania modeli i uczeniem się ukrywania oszustw: Reward Hacking: When Winning Spoils The Game, ControlAI, marzec 2025: https://controlai.news/p/reward-hacking-when-winning-spoils — tekst opisuje również, jak hakowanie nagrody przenosi się z prostych gier na współczesne modele rozumujące. ↩