Czy sztuczna inteligencja może dziś samodzielnie orzekać w sprawach zamówień publicznych? Zespół badawczy, w którym kluczową rolę odegrali naukowcy z Wydziału Informatyki AGH, sprawdził to w praktyce. Wyniki eksperymentu przeprowadzonego na zlecenie Urzędu Zamówień Publicznych pokazują jasno: AI świetnie radzi sobie z teorią, ale odpowiedzialność za decyzje nadal musi spoczywać na człowieku.
Badanie dotyczyło jednego z kluczowych elementów systemu zamówień publicznych w Polsce - procedury odwoławczej przed Krajową Izbą Odwoławczą (KIO). To obszar, w którym rocznie analizowane są tysiące odwołań i dziesiątki tysięcy dokumentów, coraz częściej przygotowywanych lub wspieranych przez narzędzia oparte na sztucznej inteligencji.
W ramach eksperymentu trzy zaawansowane modele językowe (GPT-4.1, Claude 4 Sonnet oraz Bielik-11B) „przystąpiły” do egzaminu na członka KIO. Test składał się z dwóch części: sprawdzianu wiedzy teoretycznej z zakresu prawa zamówień publicznych oraz zadania praktycznego - przygotowania pisemnego orzeczenia na podstawie opisu konkretnej sprawy.
Jak podkreśla dr inż. Aleksander Smywiński-Pohl, pracownik Wydziału Informatyki AGH i współautor badania, modele AI dobrze poradziły sobie z pytaniami testowymi. Problemy pojawiły się jednak w części praktycznej. Algorytmy generowały uzasadnienia pozornie poprawne formalnie, lecz po głębszej analizie ujawniały się błędy merytoryczne, nielogiczne wnioski oraz odwołania do nieistniejących przepisów i orzeczeń.
W badaniach uczestniczyła również mgr Magdalena Król z Wydziału Informatyki AGH. Wyniki jednoznacznie pokazały, że obecne modele językowe mogą pełnić rolę zaawansowanych asystentów, tzn. wspierać analizę dokumentów czy wyszukiwanie informacji, ale nie są gotowe do samodzielnego podejmowania decyzji prawnych ani ich uzasadniania.
Eksperyment przyniósł także istotne wnioski systemowe. Coraz łatwiejszy dostęp do narzędzi AI obniża próg wejścia do procedur odwoławczych, co może prowadzić do masowego składania słabszych, schematycznych pism i przeciążenia instytucji publicznych. Jednocześnie administracja musi rozwijać własne narzędzia analityczne, które pozwolą sprawnie obsługiwać rosnący wolumen dokumentów - zawsze jednak przy zachowaniu nadrzędnej roli człowieka.
Sukces zespołu badawczego, w którym znaczącą rolę odegrali naukowcy z Wydziału Informatyki AGH, potwierdza silną pozycję uczelni w obszarze badań nad sztuczną inteligencją i jej odpowiedzialnym wykorzystaniem w sektorze publicznym. To przykład badań, które nie tylko rozwijają naukę, ale mają bezpośrednie przełożenie na funkcjonowanie państwa, prawa i administracji.