AIAAktualności
ProgramDistill: jak sprawdzić aplikację stworzoną z AI przed odbiorem?
Sprawdzaj wynik całego procesu
Przed odbiorem aplikacji warto przejść uzgodnione czynności i sprawdzić zapisany wynik, również po odświeżeniu strony. Sam widok ekranu albo reakcja przycisku nie potwierdzają, że sprawa trafiła do właściwej osoby i zachowała poprawne dane. Taki sposób odbioru proponujemy także przy oprogramowaniu budowanym z pomocą AI.
Punktem wyjścia jest badanie ProgramDistill opisane przez Microsoft Research 14 września 2026 r. Agent programujący obserwuje działającą aplikację referencyjną bez dostępu do jej kodu, a następnie odtwarza zachowanie w aplikacji, którą może edytować. Weryfikator powtarza zapisane czynności i sprawdza oczekiwane rezultaty.
Co pokazał eksperyment?
W części dotyczącej pełnego odtworzenia 12 aplikacji badano 590 pojedynczych zachowań i 413 połączonych przebiegów. Najlepszy z ocenianych agentów odtworzył 58,98% zachowań i 49,15% pełnych przebiegów. Te wyniki dotyczą określonego eksperymentu; nie oznaczają, że taki sam odsetek firmowych aplikacji będzie działać poprawnie.
Autorzy pokazali też przykład przeciągania karty na tablicy: karta przesuwała się, lecz jej końcowa pozycja różniła się od wersji referencyjnej. Po ostatniej poprawce agent sprawdził inne działania, pomijając dokładne powtórzenie tej ścieżki.
Co powinien ustalić zamawiający aplikację?
Nasz wniosek dla firmy zamawiającej CRM, panel zamówień lub system obsługi spraw: odbiór powinien zawierać scenariusze pracy z oczekiwanym wynikiem. Lista ekranów jest potrzebna, ale nie opisuje wszystkich zależności między nimi.
- Dane początkowe: na jakim przykładzie zaczyna się próba i kto jest zalogowany?
- Kolejne czynności: co użytkownik tworzy, zmienia i przekazuje dalej?
- Oczekiwany wynik: jakie dane i status mają być widoczne po zakończeniu?
- Ponowny odczyt: czy wynik pozostaje poprawny po odświeżeniu lub ponownym otwarciu sprawy?
- Wyjątek: co nastąpi przy brakującym polu, powtórzeniu zgłoszenia albo braku uprawnień?
- Ostatnia wersja: czy próbę powtórzono po końcowych poprawkach?
Przykład: przekazanie sprawy w CRM
Przykład redakcyjny: tworzysz kontakt, przypisujesz opiekuna, dodajesz zadanie i zmieniasz jego termin. Po odświeżeniu sprawdzasz właściwego opiekuna, nową datę oraz powiązanie zadania z kontaktem. Następnie próbujesz otworzyć tę sprawę kontem bez wymaganych uprawnień. Kryteria ustalacie przed próbą, zgodnie z rzeczywistymi zasadami firmy.
W demonstracyjnym CRM AIA można obejrzeć przykładowe ekrany i przebieg pracy. Demo działa na fikcyjnych danych i symulowanych integracjach. Nie zastępuje testu aplikacji wykonanej dla Was ani kontroli bezpieczeństwa jej środowiska.
Przygotowując zakres zamówienia, poproś o zapis scenariuszy i wynik ich przejścia na wersji przeznaczonej do odbioru. Bezpieczeństwo, wydajność i utrzymanie wymagają osobnych kryteriów; samo powtórzenie działań w przeglądarce ich nie potwierdza.