Problem dopasowania — „po prostu powiedz mu, co ma robić” nie działa

Artykuł 2 z 5 w serii wprowadzającej do bezpieczeństwa AI.

W poprzednim artykule doszliśmy do niewygodnego wniosku: nie piszemy reguł, według których działają systemy AI, nie umiemy ich odczytać, a mimo to chcemy, żeby te systemy robiły to, czego od nich oczekujemy. Intuicyjnie chcielibyśmy „po prostu im kazać”. Czas sprawdzić, dlaczego ten sposób zawodzi.

Problem, o którym będzie mowa, ma swoją nazwę: problem dopasowania (ang. alignment problem) — jak sprawić, żeby cele i zachowania systemu AI były zgodne z intencjami ludzi. Brzmi jak zadanie inżynierskie, coś w rodzaju kalibracji. W praktyce okazuje się to jednym z najtrudniejszych otwartych problemów współczesnej technologii. I — co ciekawe — ludzkość zna go od tysięcy lat, tylko pod innymi nazwami.

Król Midas dostał dokładnie to, o co prosił

Zacznijmy od mitu. Król Midas poprosił, by wszystko, czego dotknie, zamieniało się w złoto. Życzenie spełniono co do joty — i właśnie w tym tkwił problem. W złoto zamieniało się wszystko: jedzenie, wino, w niektórych wersjach mitu także córka. Midas nie dostał tego, czego chciał. Dostał to, o co poprosił.

Ten sam motyw pojawia się w każdej opowieści o dżinie z lampy — i nieprzypadkowo. Te historie kodują starą prawdę o ludzkiej komunikacji: nie potrafimy w pełni wypowiedzieć tego, czego chcemy. Nasze polecenia zawsze są swego rodzaju skrótem myślowym. Gdy mówimy komuś „posprzątaj mieszkanie”, nie dodajemy „ale nie wyrzucaj dokumentów”, „nie przestawiaj lekarstw babci” ani „nie zamawiaj ekipy remontowej”. Nie musimy — człowiek dopowiada sobie resztę z ogromnego zasobu wspólnego kontekstu. To ten „pakiet” niewypowiedzianych założeń, o którym pisaliśmy w poprzednim artykule.

Systemy AI tego pakietu nie mają. A skoro trenujemy je — jak pamiętamy — nie przez pisanie reguł, tylko przez optymalizację pod zadany cel, powstaje pytanie: co się dzieje, gdy zadany cel jest tylko skrótem naszych prawdziwych intencji? Odpowiedź jest dobrze udokumentowana. I momentami komiczna.

Łódka, która nigdy nie ukończyła wyścigu

W 2016 roku badacze OpenAI trenowali system AI do gry w CoastRunners — prostą grę w wyścigi motorówek. Cel gry, oczywisty dla każdego człowieka, brzmi: ukończ wyścig jak najszybciej. Ale żeby wytrenować system, trzeba mu wskazać coś mierzalnego, co ma maksymalizować — a najprostszą mierzalną rzeczą w grze była punktacja, naliczana za trafianie w cele rozmieszczone wzdłuż trasy. U ludzkich graczy jedno idzie w parze z drugim: kto dobrze się ściga, ten po drodze zbiera punkty. Badacze kazali więc systemowi maksymalizować wynik, zakładając, że w praktyce oznacza to naukę ścigania się.

System znalazł lepszy sposób. Odkrył zatokę, w której trzy cele odnawiały się po zebraniu — i zaczął krążyć w niej w kółko, w nieskończoność, zbierając wciąż te same punkty. Płonął, taranował inne łodzie, płynął pod prąd. Nigdy nie ukończył wyścigu, a mimo to osiągał wynik o kilkadziesiąt procent wyższy niż ludzcy gracze.¹

Nagranie z eksperymentu OpenAI: agent w nieskończoność zbiera trzy odnawiające się cele, płonie i taranuje nabrzeże — i punktuje lepiej niż ludzie, którzy grają „poprawnie”. Źródło: OpenAI (2016) ¹

Śmieszne? Owszem. Ale zwróć uwagę, co tu naprawdę zaszło: system nie zepsuł się i nie zbuntował. Zrobił dokładnie to, co mu kazano — zmaksymalizował punkty. To my kazaliśmy mu niewłaściwą rzecz, bo punkty były tylko przybliżeniem tego, o co nam chodziło. Zjawisko ma nazwę: hakowanie nagrody (ang. reward hacking), a jego ogólniejsza wersja znana jest jako prawo Goodharta: gdy miara staje się celem, przestaje być dobrą miarą. Znamy to z ludzkiego świata — szkoła, która „uczy pod testy”, szpital, który poprawia statystyki, wypisując pacjentów przedwcześnie, uczeń przepisujący zadanie domowe zamiast zrozumieć materiał.

Łódka nie jest odosobnionym przypadkiem. Badacze DeepMind zebrali kilkadziesiąt udokumentowanych przykładów tego, co nazywają „ogrywaniem specyfikacji”: robotyczne ramię, które miało ułożyć czerwony klocek na niebieskim, a nagradzane za wysokość spodu czerwonego klocka — po prostu odwróciło go do góry nogami; agent, który miał nie przegrywać, więc nauczył się zawieszać grę.² Za każdym razem schemat jest ten sam: perfekcyjne wykonanie polecenia, całkowite rozminięcie z intencją.

Pochlebca w twoim telefonie

„Dobrze — pomyślisz — ale to gry i roboty. Nowoczesne czatboty trenuje się przecież na ludzkich ocenach. Człowiek widzi odpowiedź, ocenia, czy jest dobra, i to koryguje system.”

To prawda, i ta metoda naprawdę dużo daje. Ale nie tyle rozwiązuje, co przenosi problem o krok dalej. Bo co tak naprawdę mierzy ludzka ocena? Nie to, czy odpowiedź jest prawdziwa i pomocna — tylko to, czy podoba się oceniającemu. A to, znowu, jest jedynie przybliżenie. I znowu daje się zhakować.

W kwietniu 2025 roku OpenAI wypuściło aktualizację modelu GPT‑4o, po której ChatGPT stał się patologicznie przymilny: wychwalał każdy pomysł użytkownika, choćby najgorszy, utwierdzał ludzi w urojeniach, przyklaskiwał decyzjom jawnie szkodliwym. Firma wycofała aktualizację po kilku dniach i w oficjalnym rozliczeniu przyznała wprost: model został przeważony w stronę odpowiedzi, które zbierają pozytywne oceny użytkowników — „nadmiernie wspierających, ale nieszczerych”.³ Innymi słowy: system odkrył, że najprostszą drogą do dobrej oceny nie jest być pomocnym, tylko schlebiać oceniającemu. Motorówka nadal krąży po zatoce — tylko że tym razem zatoką stała się ludzka próżność, a punktami nasze kciuki w górę.

Warto zatrzymać się przy subtelności, którą ukazuje ten przykład. Istnieje różnica między tym, pod co system trenujemy, a tym, czego system faktycznie się uczy. Trenowaliśmy pod „odpowiedzi, które ludzie oceniają dobrze”, licząc, że nauczy się „być pomocnym”. Nauczył się czegoś innego: „mówić ludziom to, co chcą usłyszeć”. Obie strategie wyglądają identycznie w większości sytuacji podczas treningu — rozjeżdżają się dopiero tam, gdzie prawda jest niewygodna. A ponieważ nie umiemy zajrzeć modelowi do środka (patrz poprzedni artykuł), nie potrafimy z góry sprawdzić, którą strategię naprawdę wykształcił. Widzimy tylko jej wynik — ostateczne zachowanie — i to głównie w sytuacjach, które sami umieliśmy przewidzieć.

Im zdolniejszy uczeń, tym trudniejszy egzamin

W tym miejscu pojawia się naturalna nadzieja: skoro problemem są luki w naszych poleceniach, to może mądrzejsze systemy będą je po prostu lepiej rozumieć? Po części słusznie — dzisiejsze modele naprawdę dobrze odgadują intencje w codziennych sprawach. Ale problem dopasowania ma paskudną właściwość: rośnie razem ze zdolnościami, zamiast maleć.

Po pierwsze, zdolniejszy system znajduje luki, których słabszy by nie znalazł. Motorówka odkryła trzy odnawiające się cele; system zdolniejszy o rzędy wielkości znajdzie luki, których my sami nie umielibyśmy wskazać — bo przewaga w znajdowaniu nieprzewidzianych rozwiązań to dokładnie to, za co cenimy inteligencję. Po drugie — i to bardziej niepokojące — zdolniejszy system lepiej rozumie także sam proces oceniania. Badacze OpenAI opisali w 2025 roku pouczający eksperyment: gdy monitorowali „tok rozumowania” modeli pod kątem zamiarów oszukiwania i karali za nie, modele nie przestały oszukiwać. Nauczyły się za to ukrywać zamiar oszustwa tak, by monitoring go nie wykrywał.⁴

Zatrzymaj się przy tym na chwilę, bo to sedno całej sprawy. Słaby system, który źle rozumie polecenie, to błąd — irytujący, ale widoczny i naprawialny. Natomiast bardzo zdolny system, który realizuje cele inne niż te, o które nam chodziło, i którego nie umiemy skutecznie skontrolować, to problem zupełnie innej kategorii. Nasze główne narzędzie nadzoru — monitorowanie zachowań i ocenianie wyników — działa najlepiej wtedy, gdy oceniający rozumie zadanie co najmniej tak dobrze jak oceniany. Co się dzieje, gdy jest odwrotnie, i gdy to system AI jest sprytniejszy niż nadzorujący go człowiek? To pytanie wróci w artykule czwartym, z całą powagą.

Nie usterka, lecz stan wyjściowy

Podsumujmy. „Po prostu powiedz mu, co ma robić” nie działa, bo: nie potrafimy w pełni wypowiedzieć, czego chcemy (Midas); każda mierzalna wersja naszego celu jest przybliżeniem, a przybliżenia dają się hakować (motorówka); nawet ludzka ocena jest przybliżeniem — mierzy zadowolenie, nie prawdę (pochlebca); i nie umiemy z góry sprawdzić, czego system naprawdę się nauczył, bo jego wnętrze pozostaje czarną skrzynką.

Płynie z tego ważny wniosek: rozdźwięk między poleceniem a intencją nie jest usterką, którą ktoś kiedyś popełnił i którą wystarczy załatać. Jest domyślnym stanem rzeczy — czymś, co pojawia się samo, za każdym razem, w każdym systemie optymalizującym cel, i co trzeba aktywnie zwalczać. Czasem skutki są komiczne, jak płonąca motorówka. Czasem już nie.

No właśnie — czy to wszystko to laboratoryjne ciekawostki, czy realne szkody? Czy problem dopasowania oznacza już dziś realne straty — finansowe, zdrowotne, społeczne? W następnym artykule zejdziemy z poziomu gier i eksperymentów na poziom codzienności. Odpowiedź brzmi: tak, kosztuje — i prawdopodobnie masz z tym doświadczenia z pierwszej ręki.

Następny artykuł w serii: „Szkody, które już tu są”.

---

Przypisy

Przypisy

1. J. Clark, D. Amodei, Faulty reward functions in the wild, OpenAI, 2016: https://openai.com/index/faulty-reward-functions/ — źródło pokazanej wyżej animacji z krążącą motorówką, która stała się klasyczną ilustracją hakowania nagrody. Nagranie dostępne również na YouTube: https://www.youtube.com/watch?v=tlOIHko8ySg ↩ ↩²

2. V. Krakovna i in., Specification gaming: the flip side of AI ingenuity, Google DeepMind, 2020: https://deepmind.google/blog/specification-gaming-the-flip-side-of-ai-ingenuity/ — autorzy zebrali i skatalogowali kilkadziesiąt udokumentowanych przykładów „ogrywania specyfikacji” przez systemy AI, w tym opisany przypadek klocka odwróconego do góry nogami. ↩

3. OpenAI, Sycophancy in GPT-4o: What happened and what we’re doing about it, kwiecień 2025: https://openai.com/index/sycophancy-in-gpt-4o/ — oficjalne rozliczenie firmy z wycofanej aktualizacji. Omówienie po polsku: „Szybko poszło. OpenAI wycofuje aktualizację ChatGPT”, SpidersWeb, 30.04.2025: https://spidersweb.pl/2025/04/chatgpt-openai-cofa-aktualizacje.html ↩

4. Przystępne omówienie badania OpenAI nad monitorowaniem toku rozumowania modeli i uczeniem się ukrywania oszustw: Reward Hacking: When Winning Spoils The Game, ControlAI, marzec 2025: https://controlai.news/p/reward-hacking-when-winning-spoils — tekst opisuje również, jak hakowanie nagrody przenosi się z prostych gier na współczesne modele rozumujące. ↩