OpenAI esitas kolm suurt teadusväidet; sõltumatu kontroll alles käib

Mis juhtus ja millal?

OpenAI 26. oktoobri teade puudutab kohaliku silumise hüpoteesi ja Kakeya probleemi, eksponentsiaalse aja hüpoteesi ehk ETH väidetavat ümberlükkamist ning teatavate kvantväljateooriate olemasolu tõestamist. Need on ettevõtte esitatud tulemused. Avalik teade ja kontrolli korraldamine on kinnitatud sündmused; tulemuste lõplik teaduslik staatus vajab eraldi hinnangut.

Kuupäev tähistab avalikustamist. Algallikas kirjeldab mitut varasemat mudeliväljundi saamise ja formaliseerimise päeva. Neid etappe ei tohi kokku suruda väiteks, et mudel lahendas kõik kolm probleemi just 26. oktoobril. Samuti ei ole tegu teatega, et sama võimekus oleks nüüd avalikus vestlustootes kõigile kasutatav.

Kolm väidet, erinev kontrollitavus

Matemaatikas väidab OpenAI kohaliku silumise hüpoteesi tõestamist kõigis mõõtmetes ning sellest tulenevaid tulemusi Kakeya ja Steini kitsendushüpoteesi kohta. Arvutusteaduses väidab ettevõte ETH ümberlükkamist. Mõlema suuna puhul viitab ametlik teade avalikele loomulikus keeles kirjutatud materjalidele ja Leani formaliseeringule. Lugeja saab seega uurimise lähtepunktid avada, kuigi nende olemasolu ei asenda sisulist ekspertiisi.

Füüsikas on avaldamiskord erinev: teade puudutab muu hulgas kvantkromodünaamikat, kuid AI loodud materjalid jäetakse esialgu välisekspertide tööks. Seetõttu pole avalikkuse võimalus neid väiteid kontrollida sama mis kahe ülejäänud suuna puhul. Kõigi kolme ühise pealkirja all kajastamine peab selle erinevuse nähtavaks jätma.

Teadusuudise usaldusväärsus sõltub siin väite ja tõendi sidumisest. Ühe valdkonna avalik fail ei kinnita teise valdkonna tulemust. Ka ühe formaliseeritud teoreemi edukas kontroll ei anna alust kuulutada lahendatuks kõiki samas pressiteates nimetatud küsimusi. Iga väite juures on vaja oma kontrollitavat materjali ja selget ulatust.

Välisteadlaste osalemine ei ole heakskiit

The Next Webi sõltumatu kajastuse järgi aitavad ETH väite uurimist korraldada Russell Impagliazzo, Ramamohan Paturi ja Ryan Williams. Väljaanne toob esile nende selgituse, et osalemist ei tule käsitada tulemuse kinnitamisena. See täpsustus on uudise hindamisel keskne: tuntud nimi kontrollirühmas tõendab osalemist, mitte veel positiivset eksperdijäreldust.

Kontrollimise korraldus väärib tähelepanu ka siis, kui mõni väide hiljem parandamist vajab. Ettevõtte valitud esimesed eksperdid saavad materjalid ja ülevaate varem. Avatud kontrolli seisukohalt tuleks jälgida, millal pääsevad samale infole ligi teised uurijad, kas kriitilised küsimused saavad avaliku vastuse ning kas hilisemad parandused on varasema versiooniga võrreldavad.

Need on AI-Radari toimetuslikud hindamiskriteeriumid, mitte väited juba avastatud puudustest. Praegu ei ole põhjust omistada teadlastele otsust, mida nad pole avaldanud. Samavõrd puudub alus võtta mudeli enesekindlat sõnastust eraldiseisva kvaliteeditõendina.

Mida Leani kontroll kinnitab?

Lean on formaalsete tõestuste kontrollimiseks kasutatav süsteem. Selle ametlik dokumentatsioon selgitab, et tõestuse sõltuvusi aksioomidest saab jälgida ja auditeerida. Sellest tuleneb praktiline kontrolliküsimus: milline täpne väide on formaliseeritud ning millistel eeldustel tulemus kehtib?

Masinkontroll ja inimese sisuline ülevaatus täiendavad teineteist. Kontrollitav formaalne väide peab vastama sellele, mida uudise pealkiri lubab. Erialaekspert saab hinnata definitsioonide sobivust, ulatust ja seost varasema kirjandusega. Tõestusfaili olemasolu üksi ei vasta neile küsimustele.

AI-Radar ei ole selles loos tõestusi iseseisvalt kompileerinud ega nende matemaatilist õigsust kinnitanud. Leani dokumentatsiooni käsitlus selgitab üldist kontrollipõhimõtet; see ei tähenda, et OpenAI failidest oleks leitud lubamatuid eeldusi või muid konkreetseid vigu. Sellise väite jaoks oleks vaja eraldi tehnilist auditit.

Mida saab ettevõte sellest õppida?

Ettevõtte jaoks on kõige vahetum õppetund AI toodetud tulemuse vastuvõtmise kord. Näiteks optimeerimisagendi esitatud parem tootmisplaan peaks sisaldama lähteandmete versiooni, piiranguid, kontrollitavat tulemust ja sõltumatu kontrolli väljundit. Lõplik vastutaja peab saama aru, millise probleemi lahendus tegelikult leiti.

Kasulik mõõdik on aeg mudeli esimesest ettepanekust kontrollitud kasutatava tulemuseni. Selle kõrvale tuleks panna kontrollijate tööaeg, parandusringide arv ja tagasilükatud ettepanekute osakaal. Üksnes genereerimise kiirus võib jätta suurema osa tegelikust töömahust nähtamatuks.

Teine mõõdik on taastoodetavus. Kui tulemus töötab ainult ühe inimese arvutis või sõltub säilitamata sisendist, on selle kasutuselevõtt habras. Sama kehtib teadusliku tõestuse, finantsmudeli ja tarkvara paranduse puhul. Kontrolli jaoks vajalikud failid, versioonid ja eeldused peaksid liikuma koos tulemusega.