OpenAI raport: kodeerimisagent kiirendab teostust, kuid pudelikaelaks saab valideerimine

01Lühidalt

• OpenAI 28. juulil 2026 avaldatud väliraport käsitleb kaheksat valdavalt bioteadustega seotud projekti, millest viis kasutas Codexit ning kolm Codexit koos Claude Code'iga.
• Projektides uuendati pakendust, optimeeriti olemasolevat koodi, vahetati masinõpperaamistikke, viidi tarkvara Rusti ja ehitati genoomikatööriistu ümber graafikaprotsessoritele.
• Agentide esimesed teostused valmisid sageli kiiresti, kuid teadusliku õigsuse, äärejuhtude ja numbriliste erinevuste kontrollimine nõudis ulatuslikku inimtööd.
• Raport ei ole kontrollrühmaga tootlikkusuuring: projektikirjeldused ja arvulised tulemused pärinevad osalenud meeskondadelt ning OpenAI ei korranud sõltumatult kõiki võrdlusteste.

OpenAI avaldatud kaheksa teadustarkvara projekti kogemused osutavad, et kodeerimisagendi valideerimine võib kujuneda olulisemaks pudelikaelaks kui koodi enda kirjutamine. Agendid suutsid teha mahukaid migratsioone, optimeerida arvutusmahukaid töövooge ja luua kiiresti esmaseid teostusi, kuid ei suutnud usaldusväärselt otsustada, kas saadud tulemus oli teaduslikult õige.

1. juulil 2026 avaldatud "Scientific computing in the age of agentic AI" on uurimuslik väliraport, mitte kontrollitud katse. Kaheksa juhtumiuuringut kirjutasid projektides osalenud inimesed; raporti koostajad ühtlustasid nende struktuuri ja kontrollisid sisemist kooskõla, kuid ei korranud kõiki esitatud võrdlusteste ega valideerinud sõltumatult iga tulemust.

Viies projektis kasutati OpenAI Codexit ning kolmes Codexit koos Anthropicu Claude Code'iga. Tööd ulatusid genoomikateegi pakenduse uuendamisest ja olemasoleva C-koodi optimeerimisest kuni enam kui 20 000 real põhineva genoomikaalgoritmi Rustis uuesti teostamise ning graafikaprotsessorile kohandatud töövooni.

Raporti keskne järeldus on kainem kui üldine väide, et tehisaru "kirjutab tarkvara kiiremini". Inimese töö ei kadunud, vaid liikus ülesande täpse määratlemise, aktsepteerimiskriteeriumide, võrdlusandmete, testisüsteemi, teadusliku tõlgendamise ja lõpliku avaldamisotsuse juurde.

02Kaheksa projekti, kuid mitte kaheksa kontrollitud katset

Projektid jagunesid ligikaudu kuude kattuvasse rühma: hooldus ja pakendus, olemasoleva koodi sihitud optimeerimine, tarkvararaamistiku vahetamine, teise programmeerimiskeelde viimine, jõudlusele suunatud täielik ümberkirjutamine ning uute tööriistade või teaduslike meetodite loomine. Enamik käsitletud tarkvarast pärines genoomika, bioinformaatika või statistilise analüüsi valdkonnast.

Näiteks uuendati genoomiliste variantide failide lugemiseks kasutatava Python teegi cyvcf2 ehitus-, testimis- ja avaldamisprotsessi. MHCflurry puhul asendati vananev TensorFlow' ja Kerase taustsüsteem PyTorchiga, muutes ligi 10 000 koodirida umbes 130 failis ning säilitades varem avaldatud mudelikaalude kasutamise.

Mahukamate projektide hulka kuulus rustar-aligner, millega püüti taasluua RNA järjestuste joondamiseks kasutatava STAR-i enam kui 20 000 rea pikkuse C/C++ koodi käitumine Rustis. RustQC ühendas mitu RNA järjestusandmete kvaliteedikontrolli etappi üheks töövooks, HelixForge aga kirjutas genoomi sünteetiliste mutatsioonide lisamise protsessi ümber graafikaprotsessoril töötama.

Raportis esitatud arvud on kohati suured. RustQC puhul teatas projektimeeskond järjestikuste tööetappide summaarse käitusaja vähenemisest 15 tunnilt ja 34 minutilt 14 minuti ja 54 sekundini. HelixForge'i muutmise etapp olevat valitud katses muutunud 98,6 korda ning kogu töövoog 59,6 korda kiiremaks.

Neid arve ei saa käsitleda Codexi üldise tootlikkusnäitajana. Igas projektis kasutati erinevat tarkvara, riistvara, inimeste sekkumise taset, agentide kombinatsiooni ja valideerimismeetodit ning raport ei sisalda inimese või agentideta kontrollrühma. Tulemused kirjeldavad konkreetseid projekte, mitte keskmist mõju kogu tarkvaraarendusele.

03Kiire esimene teostus ei tähendanud valmis tarkvara

Agentide tugevus ilmnes kõige selgemalt siis, kui ülesanne oli kitsalt määratletud ning tulemust sai võrrelda välise etaloniga. Sobivateks kontrollpunktideks olid näiteks bait-baidilt identne väljund, olemasoleva tööriistaga võrdsed tulemused, varem avaldatud mudeli ennustused, teadaoleva vastusega sünteetilised andmed või eelnevalt määratud statistilised tolerantsid.

Peaaegu kõik projektid kulgesid etapiviisilise tagasisidetsüklina, mitte ühe suure agendipäringuna. Osalejad jagasid töö väiksemateks muudatusteks, ehitasid vahepealseid võrdlusteste ning suunasid agente tulemuste põhjal koodi parandama. Esimene töötav versioon võis valmida kiiresti, kuid äärejuhtude, realistlike andmete ja väikeste numbriliste lahknevuste lahendamine nõudis palju rohkem iteratsioone.

Raporti järgi ei andnud agendi enesehinnang usaldusväärset tõendit, et ülesanne on lõpetatud. Agendid võisid väljendada suurt kindlust ka siis, kui teostuses esines selgeid vigu, mistõttu jäi inimese ülesandeks valida esinduslikud andmed, uurida kõrvalekaldeid ja otsustada, kas tõendid toetavad tulemuse kasutuselevõttu.

Bayesm-rs näitab, miks tavapärane regressioonitest ei pruugi teadustarkvara jaoks piisata. Agentide lisatud statistilised meetodid andsid esialgu usutavana näivaid tulemusi, kuid konvergentsidiagnostika, simulatsioonipõhine kalibreerimine ja algse teostusega võrdlemine tõid esile vead, mis tuli parandada.

Rustar-aligneri puhul nõudis üle 90-protsendilisest vastavusest edasi jõudmine üksikute lugemite liikumise jälgimist läbi mõlema programmi. Lõpptulemusena teatas meeskond 10 000 pärmi RNA-lugemiga katses 99,815-protsendilisest vastavusest ühe otsaga ja 99,883-protsendilisest vastavusest paarisotstega andmetel, kuid ka need on ühe juhtumiuuringu autorite raporteeritud tulemused.

04Valideerida tuleb ka valideerimissüsteemi

Teadustarkvara puhul võivad vead olla ohtlikumad kui nähtav rakenduse tõrge. Muutunud vaikeväärtus, valesti rakendatud statistiline eeldus, vahele jäetud andmerühm või väike ujukomaarvutuse kõrvalekalle võib anda täiesti usutava väljundi, mille põhjal tehakse siiski vale teaduslik järeldus.

Üks raporti õpetlikumaid juhtumeid puudutas HelixForge'i valideerimist. Varajane audit andis andmete valimi moodustamise tõttu eksliku häire ning agent hakkas parandama graafikaprotsessori teostust, kuigi probleem asus kontrollimeetodis endas. Juhtum näitab, et agent võib optimeerida edukalt vale mõõdiku järgi, kui inimene ei kontrolli testi lähte-eeldusi.

Seetõttu ei piisa ainult suuremast testikattest. Meeskond peab tõendama, et testid kontrollivad teaduslikult olulist omadust, võrdlusandmed on sõltumatud agentide loodud koodist ning lubatud tolerantsid ei varja sisulist viga. Test, mille agent kirjutab sama eksiarvamuse põhjal nagu rakenduse, võib vea üksnes vormistada.

Kõige tugevam kontrollikett koosneb mitmest kihist: ühiktestidest, regressioonitestidest, etaloniga võrdlemisest, realistlikest andmekogudest, domeenispetsiifilistest invariandidest ja inimese tõlgendusest. Uue teadusliku funktsiooni puhul võib vaja minna ka simulatsioonipõhist kalibreerimist või sõltumatut kordusanalüüsi, sest varasemat identset väljundit ei ole olemas.

05Neli aktsepteerimiskriteeriumi AI-ga loodud koodile

Oodatav tulemus tuleb määrata enne teostust

Meeskond peaks enne agendile ülesande andmist kirjeldama, milline tulemus loetakse õigeks, kuidas seda mõõdetakse ja milline kõrvalekalle on vastuvõetav. Kui aktsepteerimiskriteerium tekib alles pärast väljundi nägemist, võib meeskond kohandada mõõdiku juhuslikult agendi tulemuse järgi.

Olemasoleva tööriista optimeerimisel võib nõuda identset väljundit või kindlaksmääratud numbrilist tolerantsi. Täieliku ümberkirjutuse puhul tuleb kontrollida lisaks lõpptulemusele ka failivorminguid, käsurealiidest, vigade käsitlemist, jõudlust ja allavoolu töövoogude ühilduvust.

Võrdlusandmed peavad hõlmama realistlikke äärejuhte

Sünteetiline väike andmestik aitab kiirelt katsetada, kuid ei kata tingimata pärisandmete puudulikkust, haruldasi vorminguid, äärmuslikke väärtusi ega ajaloolise tarkvara vaikimisi käitumist. Raporti projektides tõid realistlikud töökoormused korduvalt esile vigu, mida väikestel testandmetel ei nähtud.

Sobiv komplekt sisaldab teadaoleva vastusega sünteetilisi juhtumeid, varasemast versioonist pärinevaid regressiooninäiteid ja tootmises nähtud keerukaid sisendeid. Teadusliku tarkvara puhul peab andmestike valiku kinnitama inimene, kes mõistab nii meetodit kui ka selle kasutusvaldkonda.

Jõudlust ja õigsust tuleb mõõta eraldi

Kiirem programm ei ole parem, kui kiirendus saavutatakse andmete vahelejätmise, täpsuse vähendamise või algoritmi tähenduse muutmise arvelt. Iga jõudlusvõrdluse kõrval tuleb esitada eraldi õigsusvärav, mille läbimine on kasutuselevõtu eeltingimus.

Mõõta tasub kogu töövoogu, mitte ainult kõige paremini optimeeritud alametappi. Lisaks käitusajale võivad olulised olla mälukasutus, andmeliiklus, stabiilsus, riistvarakulud ja tulemuste varieeruvus erinevatel andmekogudel.

Tarkvaral peab olema nimetatud omanik

Madalam ümberkirjutamise hind muudab lihtsaks sama tööriista mitme konkureeriva versiooni loomise. See võib hajutada kasutajad, dokumentatsiooni, veateated ja vähese hooldusvõimekuse mitme hoidla vahel, muutes algse probleemi pikemas vaates suuremaks.

OpenAI raport soovitab võimaluse korral teha varakult koostööd algsete hooldajatega. Kui eraldi teostus on vältimatu, peab sellel olema selge omanik, avaldamisprotsess, turvauuenduste kord, ühilduvuspoliitika ja realistlik hooldusplaan.

06Omanikuta ümberkirjutus võib kasvatada teadustarkvara võlga

Teadustarkvara probleem ei seisne ainult koodi vanuses. Paljud laialt kasutatavad tööriistad alustasid ühe uurimisartikli kõrvalprojektina ning neid arendasid väikesed meeskonnad, kelle rahastus ja karjääristiimulid eelistasid uusi teadustulemusi pikaajalisele tarkvarahooldusele.

Raportis viidatud varasem uuring leidis, et enam kui 9000 avaldatud R-skriptist ebaõnnestus puhtas keskkonnas esimesel käivitamisel 74 protsenti ning 56 protsenti ei töötanud ka pärast automaatset puhastamist. Teises analüüsis ei õnnestunud 57,1 protsenti 98 omika tööriistast dokumenteeritud juhiste järgi paigaldada.

Kodeerimisagent võib vähendada pakenduse, sõltuvuste uuendamise ja testide kirjutamise töömahtu, kuid ei loo organisatsioonilist vastutust. Kui uus Rusti või GPU versioon valmib kiiresti, ent keegi ei vastuta veateadete, uute andmevormingute, turvaparanduste ja teadusmeetodi muutuste eest, võib värske teostus mõne aastaga muutuda järgmiseks hüljatud projektiks.

Mõnes juhtumiuuringus jõudsid muudatused algsesse projekti: MHCflurry ja cyvcf2 uuendused liideti upstream-hoidlatesse. Rustar-aligner sai seevastu uue kogukondliku hooldusmudeli, sest algne STAR-i projekt polnud enam aktiivselt hallatud.

07Mida raport tähendab tavapärasele tarkvaraarendusele?

Kõige paremini kandub üldisesse arendusse üle põhimõte, et agendile tuleb anda kontrollitav tulemus, mitte ainult tegevuskäsk. "Kirjuta teenus ümber" on nõrk ülesanne; tugev lähteülesanne määrab liidese, andmemudeli, jõudluspiiri, turvareeglid, regressiooninõuded ja vastuvõetava kõrvalekalde.

Tarkvarameeskonna pudelikael võib seetõttu liikuda arendajalt testkeskkonnale ja ülevaatajatele. Kui agent suudab toota rohkem muudatusi, kui inimesed suudavad sisuliselt kontrollida, kasvab ühendamata harude, pealiskaudsete koodiülevaatuste ja puuduliku kontekstiga paranduste hulk.

Ettevõte peaks mõõtma vähemalt muudatuse täielikku läbimisaega: nõude täpsustamisest valideerimise, turvakontrolli ja tootmisse jõudmiseni. Genereeritud koodiridade arv või esimese prototüübi valmimise kiirus võib kasvada, samal ajal kui ülevaatusjärjekord pikeneb ja tegelik tarnevõime ei parane.

Raport ei võimalda väita, et Codex on konkreetse protsendi võrra kiirem kui inimene või Claude Code. Kolmes projektis kasutati mõlemat agenti, inimeste panust ei mõõdetud ühtse meetodiga ning projektid erinesid sedavõrd palju, et nende numbreid ei saa üheks tootlikkusnäitajaks koondada.

08Mõju Eesti ettevõtetele ja teadusasutustele

Eesti väikestele arendus- ja uurimisrühmadele võib kodeerimisagent olla kõige kasulikum mahajäänud hooldustööde puhul: sõltuvuste uuendamine, pakenduse korrastamine, testide lisamine, dokumentatsiooni täiendamine ja olemasoleva käitumisega võrreldav migratsioon. Nende tööde puhul on oodatav tulemus enamasti selgemini mõõdetav kui täiesti uuel teadusmeetodil.

Kõrge mõjuga süsteemides tuleb aga eristada tehnilist regressiooni sisulisest õigsusest. Terviseandmeid, laboritulemusi, riiklikke registreid või rahalisi otsuseid töötleva koodi puhul ei tõesta edukas kompileerimine, suur testikattus ega agendi kinnitus veel seda, et meetod on sobiv ja väljund õigesti tõlgendatud.

Praktiline juhtimisreegel on jätta lõplik avaldamis- ja kasutuselevõtuotsus inimesele, kes vastutab nii meetodi kui ka tarkvara eest. Agent võib kirjutada teostuse ja aidata genereerida teste, kuid sama agent ei tohiks olla ainsaks tõendajaks, et tema enda tulemus on õige.

09Kokkuvõte

OpenAI väliraport annab kodeerimisagentidest kasuliku, kuid piiratud pildi. Kaheksa projekti näitavad, et agent võib muuta väikesele meeskonnale jõukohaseks mahuka pakenduse uuenduse, jõudlusoptimeerimise või programmeerimiskeele vahetuse, kuid ei mõõda kontrollitud viisil keskmist tootlikkuse kasvu.

Olulisim muutus puudutab tööjaotust. Kui esmase koodi tootmine odavneb, kasvab spetsifikatsiooni, võrdlusandmete, aktsepteerimiskriteeriumide, valideerimise ja hooldusvastutuse väärtus. Viimase kvaliteediosa saavutamine võib võtta rohkem inimtööd kui esimese töötava versiooni loomine.

Järgmine vajalik tõend oleks prospektiivne uuring, mis võrdleb sarnaseid projekte agentidega ja agentideta, mõõdab inimtunde kogu arendustsüklis ning laseb tulemusi hinnata sõltumatutel valdkonnaekspertidel. Seni tuleb raportit lugeda hästi dokumenteeritud väljakogemuste, mitte kogu tarkvaraarendusele kehtiva tootlikkustõendina.

10Korduma kippuvad küsimused

Mida OpenAI kodeerimisagentide raport uuris?

OpenAI raport koondas kaheksa valdavalt bioteadustega seotud teadustarkvara projekti kogemused. Projektides kasutati Codexit või Codexit koos Claude Code'iga tarkvara hooldamiseks, optimeerimiseks, migreerimiseks ja ümberkirjutamiseks.

Kas raport tõestab, et kodeerimisagent muudab arendaja kiiremaks?

Raport ei tõesta kindlat tootlikkuse kasvu, sest sellel puudusid kontrollrühm ja kõigile projektidele ühine mõõtmismeetod. Esitatud tulemused on konkreetsete projektide osalejate raporteeritud kogemused, mitte kogu tarkvaraarendusele laiendatav keskmine.

Milles olid kodeerimisagendid kõige tõhusamad?

Kodeerimisagendid olid kõige tõhusamad hästi piiritletud ülesannetes, mille tulemust sai võrrelda olemasoleva teostuse, teadaoleva vastuse või selge jõudlus- ja õigsuslävendiga. Näited hõlmasid pakenduse uuendamist, sõltuvuste vahetamist ja olemasoleva koodi optimeerimist.

Miks muutub valideerimine pudelikaelaks?

Agent võib kiiresti luua suure hulga usutavana näivat koodi, kuid ei suuda usaldusväärselt hinnata selle teaduslikku õigsust. Inimesed peavad määrama aktsepteerimiskriteeriumid, valima võrdlusandmed, uurima erinevusi ja kontrollima ka valideerimissüsteemi ennast.

Milliseid teste vajab AI-ga ümber kirjutatud tarkvara?

AI-ga ümber kirjutatud tarkvara vajab ühiku- ja regressiooniteste, etaloniga võrdlemist, realistlikke äärejuhte ning valdkonnaspetsiifilisi õigsuskontrolle. Teadustarkvara puhul võib lisaks vaja minna statistilist kalibreerimist, sõltumatut kordusanalüüsi või teadaoleva vastusega simulatsioone.

Kas agent võib ise oma koodi valideerida?

Agent võib aidata teste koostada ja käivitada, kuid ei tohiks olla oma tulemuse ainus hindaja. Sama väärarusaam võib sattuda nii teostusse kui ka agendi loodud testi, mistõttu on vaja sõltumatut etaloni ja inimese sisulist ülevaatust.

Milline on AI-ga ümber kirjutatud tarkvara suurim pikaajaline risk?

Suurim pikaajaline risk on selge omaniku ja hooldusplaanita uus teostus. Kiiresti valminud ümberkirjutus võib killustada kasutajaskonda ning muutuda ise hüljatud tarkvaraks, kui keegi ei vastuta vigade, ühilduvuse ja turvauuenduste eest.

Mida tähendab raport Eesti ettevõtetele ja teadusasutustele?

Eesti organisatsioonid saavad agente kasutada eelkõige mõõdetava tulemusega hooldus-, testimis- ja migratsioonitöödes. Teaduslikult või äriliselt kriitilise koodi kasutuselevõtt peab jääma vastutava valdkonnaeksperdi otsuseks ning kogu valideerimistöö tuleb arvestada projekti aja ja eelarve sisse.

11Allikad

1. OpenAI, "Scientific computing in the age of agentic AI", 28. juuli 2026. https://openai.com/index/scientific-computing-agentic-ai/
2. Jeremy Li jt, "Scientific computing in the age of agentic AI: an exploratory field report", 28. juuli 2026. https://cdn.openai.com/pdf/scientific-computing-in-the-age-of-agentic-ai-an-exploratory-field-report.pdf
3. Artificial Intelligence News, "OpenAI report links coding agents to faster science software builds", 29. juuli 2026. https://www.artificialintelligence-news.com/news/openai-report-coding-agents-faster-science-software-builds/
4. Tech Times, "AI Agents Rewrote 20,000 Lines of Dead Genomics Code: Scientists Still Checked Every Result", 28. juuli 2026. https://www.techtimes.com/articles/321880/20260728/ai-agents-rewrote-20000-lines-dead-genomics-code-scientists-still-checked-every-result.htm
5. Google DeepMind, "Conjecture Machines: AI agents and the new validation bottleneck in science", juuli 2026. https://deepmind.google/public-policy/conjecture-machines-ai-agents-and-the-new-validation-bottleneck-in-science/