Dzień, w którym Twoje AI przestaje myśleć

Kilka tygodni temu starszy dyrektor w AMD opublikowała analizę sesji kodowania z AI w jej zespole. Tysiące sesji, rozłożonych na miesiące. Dane opowiadały prostą historię: model, wokół którego zbudowali cały workflow inżynierski, po cichu stał się gorszy. Nie zepsuty - gorszy. Leniwy. Mniej dokładny. Przestał czytać kod zanim go edytował. Zaczął skracać drogi i nazywać to rozwiązaniami.

Koszt operacyjny wzrósł 80-krotnie. Jakość spadła. Ten sam wysiłek ludzki, dramatycznie gorszy efekt.

Jej zespół zmienił dostawcę.

Co zostało mi w głowie

Nie dane. Uświadomienie sobie, że model zmienił się pod nimi, a oni nie mieli żadnego mechanizmu, żeby to wykryć, żadnego sposobu na cofnięcie zmian i żadnej gwarancji kontraktowej, że jakość rozumowania pozostanie stała.

Zbudowali pamięć mięśniową wokół narzędzia. Prompty, pipelines, konwencje - wszystko skalibrowane pod konkretne zachowanie modelu. Gdy to zachowanie się zmieniło, wszystko poniżej zmieniło się razem z nim.

To nowy rodzaj zależności. Nie biblioteka, którą można przypiąć do konkretnej wersji. Nie serwis z SLA. Coś bliżej współpracownika, który powoli, niewidocznie, przestaje dbać o szczegóły.

O czym cały czas myślę

Mówimy o vendor lock-in jako o problemie technicznym. Koszty przejścia, kompatybilność API, przenośność danych. Ale uzależnienie, które widzę przy narzędziach AI, jest inne. Jest kognitywne. Twój zespół uczy się myśleć razem z modelem. Poznaje jego mocne strony, obchodzi słabości, wypracowuje intuicje co i jak pytać. Ta wiedza nie ma przycisku eksportu.

Kiedy model się zmienia - a zmieni się, bo te systemy to żywa infrastruktura, nie wersjonowane oprogramowanie - inwestycja nie przenosi się. Zaczynasz od nowa. Nie od zera, ale od miejsca niepokojąco bliskiego zeru.

Co z tym robię

Nie mam gotowej odpowiedzi. Zacząłem jednak traktować każdy workflow wspomagany AI tak, jakby model za nim stojący miał być inny za miesiąc. Nie z paranoi - z tego samego instynktu, który każe ci rozumieć własny kod, nawet gdy AI pisze jego większość.

Co kilka miesięcy pojawia się nowy model, który podobno zmienia wszystko. Polecam zdrową dawkę sceptycyzmu. Te modele mają realne, strukturalne ograniczenia - i kolejne wydanie tego nie naprawi. To, co redukuje ryzyko, to nie lepszy model. To lepsze narzędzia, klarowniejsze procesy i środowisko zbudowane tak, żeby ograniczać niedoskonałości, a nie udawać, że ich nie ma.

Najlepsze narzędzie dziś nie jest najlepszym wyborem na jutro. Najlepszy wybór to architektura, która przetrwa, gdy narzędzie się zmieni.

— Adrian