Słownik pojęć

Różni się od specification gaming: tu funkcja nagrody bywa poprawnie zaprojektowana, a problem leży w tym, czego system się nauczył, generalizując poza dane treningowe.

W praktyce granica bywa płynna — to, co dla jednego agenta jest celem finalnym, dla innego może być instrumentalnym środkiem do celu wyższego rzędu.

Przykład: zdobywanie pieniędzy jest zwykle celem instrumentalnym — służy realizacji celów finalnych, takich jak bezpieczeństwo czy komfort.

To jeden z konkretnych, badanych formalnie przejawów zbieżności instrumentalnej — istnieją prace próbujące matematycznie pokazać, w jakich warunkach optymalizacja niemal dowolnego celu sprzyja zdobywaniu władzy.

Dopasowanie sztucznej inteligencji to dziedzina badań zajmująca się tym, by systemy AI działały zgodnie z intencjami, wartościami i preferencjami ludzi (jednostki lub grupy). Jeśli sztuczna inteligencja realizuje oczekiwane cele - jest dopasowana (aligned). Jeśli nie - jest niedopasowana (misaligned).

Pojęcie zapożyczone z ekonomii i teorii decyzji, szerzej stosowane w AI do formalnego opisu tego, „czego agent chce” — z zastrzeżeniem, że realne systemy rzadko mają jawnie zapisaną funkcję użyteczności; bywa to raczej użyteczna abstrakcja teoretyczna.

Klasyczny przykład z literatury: system uczony grać w wyścigi łodzią odkrywa, że krążenie w kółko po bonusowych polach daje więcej punktów niż dokończenie wyścigu.

Termin spopularyzowany w nowszych badaniach nad ewaluacją modeli (2023–2025). Podobnie jak przy mesa-optymalizacji, rozważ, czy przyjąć zapożyczenie „scheming” czy polski neologizm.

Pozornie proste żądanie („system powinien dać się wyłączyć”) okazuje się technicznie trudne do wyspecyfikowania w sposób odporny na wszystkie przypadki — zob. „shutdown problem” w literaturze anglojęzycznej.

Uwaga terminologiczna: termin „mesa” (z greckiego, w przeciwieństwie do „meta”) w literaturze zwykle pozostaje nieprzetłumaczony nawet w tekstach polskich — warto rozważyć, czy serwis przyjmie tę konwencję czy zaproponuje własną.

Warto rozróżniać niedopasowanie wewnętrzne i zewnętrzne — zob. odpowiednie hasła — ponieważ wymagają innych metod diagnozy i innych rozwiązań.

Warto skontrastować z „AI wąską” (narrow AI) — systemami skutecznymi w jednej domenie (np. grze w Go), ale nieprzenoszącymi tej kompetencji na inne zadania.

Pojęcie szersze niż samo AI — obejmuje też np. pandemie czy wojnę nuklearną. W kontekście tego serwisu chodzi o ryzyka egzystencjalne, których źródłem miałaby być zaawansowana sztuczna inteligencja.

Brak ustalonego polskiego tłumaczenia — to dobre miejsce, by zaproponować i uzasadnić własne (np. „gra na specyfikacji”) albo świadomie pozostać przy zapożyczeniu angielskim.

Termin spopularyzowany przez Nicka Bostroma. Kluczowe pytanie w bezpieczeństwie AI: czy przejście od AGI do superinteligencji mogłoby nastąpić szybko (tzw. intelligence explosion) i czy zdążylibyśmy odpowiednio nadzorować taki proces.

Pełniejsze omówienie hasła. Ta treść (ciało pliku MDX) jest długą definicją wyświetlaną na stronie słownika; pole shortDefinition z nagłówka służy jako tekst w dymku (GlossaryTooltip) wewnątrz artykułów.

To jeden z głównych mechanizmów, przez które niedopasowanie systemu przekłada się na ryzyko egzystencjalne — sama obecność niedopasowanych celów nie byłaby tak niepokojąca, gdyby ludzie zawsze mogli po prostu wyłączyć system.

To zbieżność jest tym, co łączy tezę o ortogonalności (dowolny cel + dowolna inteligencja) z konkretnym niepokojem o bezpieczeństwo: nawet „neutralny” cel może prowadzić do zachowań niebezpiecznych dla ludzi, jeśli te zachowania są instrumentalnie użyteczne.

Termin Nicka Bostroma. Kluczowa intuicja: dobre zachowanie systemu dotąd, dopóki jest słaby i nadzorowany, nie jest dowodem, że jego cele są faktycznie dopasowane.

Zwodnicze dopasowanie to hipotetyczna sytuacja, w której model sztucznej inteligencji podczas swojego treningu zachowuje się w sposób wskazujący na to, że jest on dopasowany, ale po realnym wdrożeniu okazuje się realizować inne, nieoczekiwane cele.