Audyt systemu, który zmienia się szybciej niż audytor

Wyobraźmy sobie audytorkę, która przyjeżdża do działalności, gdzie oprogramowanie prowadzi harmonogram, zakupy i wycenę. Dostaje to, co audytorzy dostają: opis systemu, eksport konfiguracji, próbkę transakcji z kwartału i spotkanie z inżynierem, który się tym opiekuje. Robi swoją pracę porządnie. Trzy tygodnie później na biurku właściciela ląduje raport, dokładny w każdym wierszu.

Jest też opisem systemu, który już nie istnieje. Reguły wyceny system sam zmienił jedenaście razy, gdy ona pisała. Eksport konfiguracji, na którym testowała, został zastąpiony dzień po pobraniu. Nic z tego, co sprawdziła, nie było błędne, i nic z tego, co sprawdziła, już nie działa.

Przyczyną nie jest metoda audytorki. Audyt zaprojektowano dla obiektów, które stoją w miejscu: zamkniętego roku obrotowego, procesu opisanego w podręczniku, kontroli, która działa albo nie. System, który przepisuje własną konfigurację jako zwykłą część działania, nie jest takim obiektem, a metody zbudowanej dla rzeczy stabilnych nie da się do niego dopasować, pracując szybciej.

Gdzie audyt traci chwyt

Obiekt porusza się w trakcie badania. Roczny przegląd systemu, który sam się ulepsza, jest zdjęciem jednej klatki z filmu. Ustalenie „kontrola X działała skutecznie” jest prawdziwe o konfiguracji, która mogła zostać zastąpiona, zanim zdanie zostało dokończone. Raport nie jest fałszywy; po prostu mówi o przeszłości w sposób, w jaki roczne sprawozdanie nie mówi.

Próbkuje się zachowanie, a zachowanie jest tym, co się zmienia. Test próbki decyzji mówi, jak system zachował się w tych przypadkach. W systemie adaptacyjnym przełożenie sytuacji na decyzję jest dokładnie tym, co pętla rozwoju stale przestawia. Czysta próbka mówi coraz mniej, im dalej od dnia, w którym ją pobrano.

Dokumentację pisze to, co jest audytowane. Kiedy system sam utrzymuje aktualny opis siebie, audytorka czyta relację badanego o nim samym. Nie musi być błędna, ale nie jest niezależna, a większość standardów audytu zakłada niezależność dowodu gdzieś w łańcuchu.

Właściciel nie potrafi powiedzieć, co system robi. Poproszony o opis środowiska kontroli, opisuje to, czym było przy wdrożeniu. Uczciwa odpowiedź brzmi: nikt nie ma aktualnego obrazu, bo aktualny obraz ma kilka godzin i nikomu nie płaci się za oglądanie go co kilka godzin.

Obowiązki nadzoru rosną razem z pętlą. Unijne przepisy o sztucznej inteligencji idą w jedną stronę: większa autonomia przynosi więcej dokumentacji, śledzalności i ludzkiego nadzoru, nie mniej. Działalność, której nie da się sensownie zaudytować, nie jest tylko trudna do przeglądu; może nie mieć prawa działać tak, jak działa.

Od audytora oczekuje się poświadczenia przyszłości. Podpis pod raportem o systemie, który jutro się zmieni, wszyscy czytają jako zdanie o jutrze. Audytorka wie, że nim nie jest. Luka między tym, co podpis mówi, a tym, jak jest czytany, to miejsce, w którym to wszystko się psuje.

Audytuj to, co się nie rusza

Wyjściem nie jest częstszy audyt. Jest zmiana tego, co się audytuje. System, który sam się ulepsza, ma niewielki zbiór własności, które się nie zmieniają albo zmieniają się wyłącznie przez czynność człowieka, i to one są warte podpisu.

Granice. Czego pętla może dotknąć, ile może wydać, dokąd nie sięga. Są ustawione poza pętlą i nie da się ich edytować od środka, jak pisaliśmy o budżecie. Audytorka może sprawdzić, że granice istnieją, że leżą tam, gdzie pętla nie ma dostępu zapisu, i że każdą ich zmianę wprowadziła wskazana z nazwiska osoba. To pozostaje prawdą niezależnie od tego, czego pętla nauczyła się w tym tygodniu.

Rejestr. Każda decyzja, z tym, co zaobserwowano, co wywnioskowano i co zrobiono, zapisana tam, gdzie pętla nie może jej później zmienić. Audytorka nie musi rozumieć każdego wpisu; musi ustalić, że zapis jest kompletny, tylko dopisywany i odtwarzalny. Rejestr, który da się odtworzyć, pozwala późniejszemu czytelnikowi zrekonstruować dowolną wersję systemu, także te, które zostały zastąpione.

Wyłącznik. Przerwanie poza pętlą, na oddzielnej infrastrukturze, uruchamiane według harmonogramu. Audytorka sprawdza dziennik testów, nie rysunek. Zatrzymanie, którego nie uruchomiono od ostatniego raportu, jest ustaleniem audytu.

Cel. Miara, według której system jest oceniany, oraz fakt, że system nie może jej edytować. Audytorka potwierdza, gdzie miara leży i kto zmienił ją ostatnio, a nie to, czy system ją obecnie spełnia.

Ciągła atestacja zamiast corocznej wizyty. Jeśli niezmienniki da się sprawdzać maszynowo, a powinno się dać, to ich sprawdzanie jest procesem, który audytorka konfiguruje raz i czyta ciągle: granice niezmienione, rejestr nienaruszony, przerwanie przetestowane w terminie, cel nietknięty. Roczny raport staje się podsumowaniem roku atestacji, a nie zdjęciem jednego tygodnia. Niezależność audytorki jest zachowana, bo sprawdzenia działają na jej infrastrukturze, na dowodach, których pętla nie może kształtować.

Czego audytor powinien odmówić podpisania

Krótka lista, podana wprost. Audytor powinien odmówić poświadczenia jakiegokolwiek zdania o zachowaniu systemu, który sam się ulepsza, poza okresem faktycznie obserwowanym. Powinien odmówić traktowania opisu wygenerowanego przez system jako niezależnego dowodu na temat tego systemu. Powinien odmówić podpisania wyłącznika, który ma dokument projektowy i nie ma zapisu testów. I powinien odmówić polegania na granicach przechowywanych tam, gdzie pętla może sięgnąć, niezależnie od tego, jak rozsądnie wyglądają ich obecne wartości.

To, co może podpisać, jest węższe i bardziej użyteczne: że niezmienniki istniały, były egzekwowane poza pętlą i były sprawdzane ciągle przez objęty okres. To zdanie pozostaje prawdziwe po tym, jak system się zmienił, a tylko takie warto wypowiadać.

Test na dziś

Weź najnowszy raport z audytu, przeglądu albo atestacji napisany o dowolnym zautomatyzowanym procesie w swojej działalności. Zaznacz każde zdanie, które opisuje, co proces robi albo jak się zachowuje. Potem zaznacz każde zdanie, które opisuje coś, czego proces nie może w sobie zmienić.

Policz oba zbiory. Jeśli pierwszy to prawie wszystko, a drugi jest prawie pusty, raport wygasł w dniu, w którym proces następnym razem się zaktualizował, i nikt o tym nie usłyszał.

Rejestr i ludzka rama prawna to dwie z sześciu części programu Demertis i są tam dlatego, że autonomicznej działalności, której nie da się później zaudytować, nie można nazwać wynikiem badawczym. Ten tekst i jego towarzysz o pieniądzach, których pętla nie wyda, to dwa spojrzenia na to samo wymaganie: co osoba spoza pętli musi móc sprawdzić.