OpenAI GeneBench-Pro mõõdab, kas tehisaru suudab teha keerulist bioloogiaandmete analüüsi

OpenAI avaldas 30. juunil 2026 GeneBench-Pro, uue teadusuuringute hindamisraamistiku, millega mõõdetakse, kas tehisaru agendid suudavad teha mitmeetapilist ja otsustusrohket analüüsi arvutusbioloogias, genoomikas ja siirdemeditsiinis. Ettevõtte sõnul ei ole eesmärk kontrollida ainult faktiteadmisi või valmis töövoo täitmist, vaid hinnata, kas mudel oskab segastest andmetest leida õige analüüsitee, muuta eeldusi ja jõuda otsuseni, millele saaks toetuda järgmine teaduslik või kliiniline samm.

GeneBench-Pro koosneb 129 ülesandest, mis katavad kümmet põhivaldkonda ja 21 alavaldkonda. Nende seas on statistiline geneetika, populatsioonigeneetika, regulatiivne oomika, funktsionaalne genoomika, proteoomika, kliiniline diagnostika, farmakogenoomika, vähigenoomika ja mikroobigenoomika. OpenAI väitel on ülesanded üles ehitatud sünteetiliselt loodud andmetele, mille tegelik põhjuslik struktuur on koostajatele teada. See võimaldab vastuseid hinnata kindla kontrolltõe alusel, mitte ainult inimhindaja eelistuste või ebamäärase punktiskaala järgi.

OpenAI tugevaim mudel GPT-5.6 Sol saavutas GeneBench-Pro täiskogumis 28,7% läbimismäära kõrgeimal arutlustasemel ning 31,5% Pro-režiimis. Sama artikli järgi jäi GPT-5 algse GeneBenchi ehitamise ajal alla 5% taseme. Tulemus näitab kiiret arengut, kuid veel selgemalt näitab see piiri: isegi tugevaimad mudelid lahendavad praegu alla kolmandiku nendest ülesannetest.

Artikli faktipõhi tugineb OpenAI ametlikule GeneBench-Pro teatele, OpenAI avaldatud GeneBench-Pro teadusartiklile, Hugging Face’is avaldatud avalikule ülesandepaketile ning Nature Reviews Geneticsis ilmunud taustakäsitlusele genoomikaandmete analüüsi kitsaskohtadest.

Mida GeneBench-Pro tegelikult mõõdab?

GeneBench-Pro püüab mõõta seda, mida OpenAI nimetab inglise keeles väljendiga “research taste”. Eesti keeles võiks seda kirjeldada kui uurijalikku otsustusvõimet: võimet aru saada, millist küsimust andmed üldse toetavad, millised andmepunktid on kahtlased, milline mudel sobib, millal esialgne eeldus tuleb kõrvale jätta ja kas tulemus on piisavalt tugev, et sellele toetuda.

Tavaline benchmark annab mudelile sageli puhta ülesande: andmed on ette valmistatud, küsimus on kitsas ja õige vastus sõltub enamasti faktist, koodist või ühest arvutusest. GeneBench-Pro ülesanded on teistsugused. Mudel saab lühikese teadusliku konteksti, andmefailid ja sihtsuuruse, mida tuleb hinnata. Edasi peab ta ise otsustama, kuidas andmeid uurida, milliseid kvaliteedikontrolle teha, millist statistilist meetodit kasutada ja kuidas vastuolulisi signaale tõlgendada.

Näiteks võib ülesanne puudutada vähikasvaja ravivalikut, CRISPR-sihtmärgi valideerimist, pärilikkuse hindamist, haruldase variandi kliinilist tõlgendamist või populatsioonigeneetikas hiljutise segunemissündmuse ajastamist. OpenAI avaldatud juhtumiuuringute leht näitab kümmet esinduslikku ülesannet koos algse mudelipromti, andmete ja tugimaterjalidega.

Miks kasutatakse sünteetilisi andmeid?

GeneBench-Pro üks olulisemaid metoodilisi valikuid on sünteetiliste andmete kasutamine. See ei tähenda lihtsaid või ebaloomulikke andmeid. Eesmärk on luua realistlikult segased andmestikud, mille puhul koostajad teavad täpselt, mis seos, põhjuslik mehhanism või sihtsuurus peaks lõpuks välja tulema.

See lahendab ühe tavapärase hindamisprobleemi. Päris teadusandmetes võib mitu analüüsiteed olla kaitstav. Üks uurija valib ühe lävendi, teine teise; mõlemad võivad olla mõistlikud. Sellisel juhul on raske öelda, kas mudel eksis või valis lihtsalt teise põhjendatud tee. Sünteetiline ülesehitus võimaldab OpenAI-l kontrollida, kas õige vastus nõuab päriselt õiget analüüsiteed, mitte juhuslikku kokkulangevust või benchmarki koostaja eelistuste äraarvamist.

OpenAI teatel auditeeriti ülesandeid ka võimalike lekete ja soovimatute lühiteede suhtes. 82 ülesannet 129-st saadeti välistele valdkonnaekspertidele, kelle hulgas olid doktorandid, järeldoktorid, tööstusteadlased ja professorid. Nad hindasid ülesannete realistlikkust, sihtvastuse tuvastatavust ning meetodite ja hinnangusuuruste sobivust.

Tulemused: areng on kiire, kuid töökindlus veel puudub

OpenAI teadusartikli järgi hinnati GeneBench-Pro täiskogumis 60 mudelikonfiguratsiooni. GPT-perekonna tulemused paranesid selgelt: GPT-5.2 kõrgeimal põhitaseme seadistusel oli läbimismäär 4,9%, GPT-5.4 jõudis 8,9%ni, GPT-5.5 12,0%ni, GPT-5.6 Luna 16,5%ni, GPT-5.6 Terra 23,3%ni ja GPT-5.6 Sol 28,7%ni. Pro-režiimides ulatus GPT-5.6 Soli tulemus 31,5%ni. Tugevaim mitte-GPT võrdlusmudel oli Claude Opus 4.8 tulemusega 16,0%.

Need numbrid annavad kaks erinevat signaali. Ühelt poolt on mudelite areng märgatav, eriti kui võrrelda GPT-5.6 Soli varasemate GPT-mudelitega. Teiselt poolt ei ole 31,5% läbimismäär teadustöö iseseisvaks automatiseerimiseks piisav. OpenAI ise rõhutab, et praegused agendid on inimese asendamiseks liiga ebausaldusväärsed ning teevad sageli vaid osalise töö ära.

Uuringu järgi on mudelite tüüpiline nõrkus see, et nad märkavad andmetes probleeme, kuid ei vii seda tähelepanekut lõpuni. Teisisõnu: mudel võib näha kahtlast mustrit, andmekvaliteedi viga või sobimatu mudeli märki, kuid jätkab ikkagi esialgset analüüsiteed. OpenAI teadusartiklis nimetatakse seda lüngaks “märkamise” ja “tegutsemise” vahel.

Avalik osa ja kolmanda osapoole hindamine

OpenAI ei teinud kogu 129 ülesande kogumit avalikuks. Kümme esinduslikku ülesannet avaldati Hugging Face’is avaliku paketina. Seal on iga ülesande jaoks nähtav ülesande kirjeldus, andmefailid, hindamisleping ja avalik raport. Pakett on mõeldud juhtumiuuringuteks, reprodutseerimiseks ja mudelikäitumise analüüsiks, mitte varjatud vastustega edetabeliks.

Lisaks teatas OpenAI, et 50 ülesandest koosnev osa antakse Artificial Analysisile sõltumatuks kolmanda osapoole benchmarkimiseks. See on oluline, sest OpenAI on nii benchmarki looja kui ka sellel parima tulemuse saanud mudeli arendaja. Sellises olukorras on sõltumatu hindamine vältimatu, kui eesmärk on turuülene usaldus, mitte ainult tootja enda tehniline demonstratsioon.

Taust: bioloogias ei ole kitsaskoht enam ainult andmete kogumine

GeneBench-Pro ilmub ajal, mil bioloogias ja genoomikas kogutakse üha rohkem andmeid, kuid nende tõlgendamine muutub järjest keerulisemaks. Nature Reviews Geneticsis ilmunud ülevaateartiklis kirjeldasid Bonnie Berger ja Yun William Yu, et genoomikaandmete analüüsis nihkub surve järjest rohkem arvutuslike töövoogude, infrastruktuuri ja analüüsioskuse poole, sest järjest odavam ja mahukam sekveneerimine toodab tohutuid andmemahte.

See on GeneBench-Pro jaoks oluline kontekst. Kui laborid, biopangad ja haiguslood toodavad rohkem molekulaarseid ja kliinilisi andmeid, ei piisa ainult sellest, et mudel oskab kirjutada koodi või meenutada bioloogiafakti. Tõeline väärtus tekib alles siis, kui süsteem suudab aidata otsustada, milline hüpotees on kontrollitav, milline andmekvaliteedi probleem muudab tulemuse kahtlaseks ja millal leid on piisavalt tugev, et minna edasi järgmise katse, ravimikandidaadi või kliinilise tõlgendusega.

Ekspertide vaade

OpenAI avaldas GeneBench-Pro teates mitme välise retsensendi hinnangud. UCLA inimgenoomika abiprofessor Alexander Strudwick Young hindas, et tema vaadatud ülesanded oleksid magistri- või doktoritaseme uurijale keerulised ilma kogenud juhendaja korduva tagasisideta. Tema sõnul ei olnud tegu puhta meetodi rakendamisega, vaid andmekvaliteedi ja tehniliste probleemide läbitöötamisega.

UCLA doktorant Jennifer Grundman leidis OpenAI vahendusel, et isegi kui praegused mudelid ei suuda iseseisvalt analüüse algusest lõpuni usaldusväärselt teha, võiksid GeneBench-Pro ülesannetel hästi esinevad süsteemid aidata teadlastel töövooge valida, andmeid uurida ja tulemusi paremini korrata. See on mõõdukas, kuid praktiline hinnang: mitte “teadlane asendatakse”, vaid “uurija saab parema abilise”.

New York Genome Centeri järeldoktor Cyrillus Tan tõi esile, et ülesannete tegelik raskus ei tule ainult bioloogilisest teemast, vaid uurivast andmeanalüüsist: mustrite ja artefaktide leidmisest ning otsusest, kas andmeid tuleks välja jätta või korrigeerida. Gencove’i andmeteaduse juht Lex Flagel märkis OpenAI teates, et mudelid näivad sageli ebaõnnestuvat just andmeprobleemide ettevaatlikus käsitlemises.

Need hinnangud on kooskõlas tulemuste üldpildiga. Mudelid ei jää hätta ainult bioloogia teadmiste puudumise tõttu. Sageli jääb puudu ettevaatlikust statistikast, kvaliteedikontrollist ja võimest oma esialgne tee ümber hinnata.

Eesti lugeja vaade

Eesti teadusasutustele, tervisetehnoloogia ettevõtetele ja avaliku sektori andmeprojektidele on GeneBench-Pro signaal, et tehisaru hindamine liigub lähemale päris tööle. Eesti kontekstis puudutab see eeskätt genoomika, personaalmeditsiini, biopankade, terviseandmete ja teadusarenduse töövooge.

Praktiline mõju ei seisne selles, et OpenAI benchmark annaks kohe valmis tööriista Eesti Geenivaramu, haiglate või ravimifirmade kasutusse. Olulisem on hindamisloogika: kas süsteem suudab töötada poolikute, müraste ja mitmest allikast pärit andmetega; kas ta oskab tuvastada, millal andmed ei toeta küsitud järeldust; kas ta dokumenteerib kasutatud meetodi; kas tema vastust saab kontrollida.

Arendajale tähendab see, et teadusliku tehisaru rakendust ei tohiks hinnata ainult vestlusvastuse veenvuse järgi. Vaja on kontrollitavat tööruumi, versioonitud andmeid, reprodutseeritavat koodi, hindamislepingut, inimülevaatust ja selget vastutust. GeneBench-Pro avalik Hugging Face’i pakett on selles mõttes hea näide, kuidas ülesanne, andmed, kontrollvastus ja hindaja saab ühte paketti siduda.

Eesti avaliku sektori jaoks on oluline ka riskipool. Kui tehisaru kasutatakse terviseandmete, kliinilise otsustustoe või genoomikaandmete tõlgendamisel, ei tohi mudeli väljundit käsitleda lõpliku otsusena. GeneBench-Pro tulemused näitavad, et isegi tugevaimad mudelid eksivad liiga sageli, et neid võiks järelevalveta kasutada otsustes, mis mõjutavad patsiendi ravi, uuringusse kaasamist või terviseriski tõlgendamist.

Riskid ja piirangud

GeneBench-Pro suurim tugevus on ühtlasi selle piirang: ülesanded on sünteetilised. See annab kontrolltõe ja võimaldab täpsemat hindamist, kuid ei kata kõiki päris teadustöö segadusi. OpenAI teadusartikkel märgib, et benchmark ei püüa täielikult matkida dokumentatsioonilünki, andmemahtu ega uuringupõhiseid eripärasid, mis päris projektides ette tulevad.

Teine piirang on hindamise “kõik või mitte midagi” laad. Kui mudel teeb mitu vaheetappi õigesti, kuid jõuab lõpus vale otsuseni, loetakse ülesanne läbikukkunuks. Teadusliku või kliinilise otsuse seisukohalt on see rangus mõistetav, kuid see peidab ära osa diagnostilist infot: mõni mudel võib olla kasulik vaheanalüüsis, kuigi ei sobi lõppotsuse tegemiseks. OpenAI teadusartikkel viitab, et tulevased versioonid võivad lisada vaheetappide või rubriigipõhise hindamise.

Kolmas risk on tootjapoolne benchmark. OpenAI on nii hindamisraamistiku looja kui ka sellel kõrgeima tulemuse saanud mudeli arendaja. See ei muuda tulemusi automaatselt valeks, kuid nõuab sõltumatut kontrolli. Artificial Analysisele antav 50 ülesande osa on seetõttu oluline järgmine samm, kuid kuni need tulemused on avalikult võrreldavad, tuleb OpenAI enda tulemusi lugeda tootja avaldatud hinnanguna.

Neljas risk puudutab kasutust väljaspool laborit. Arvutusbioloogia ülesanded võivad olla seotud tundlike terviseandmete, geneetilise info ja äriliselt oluliste ravimisihtmärkidega. Iga tööriist, mis sellesse töövoogu lisatakse, peab vastama andmekaitse, auditijälje, ligipääsuõiguste ja reprodutseeritavuse nõuetele. Benchmark ei lahenda neid korralduslikke küsimusi.

Mida edasi jälgida?

Kõige olulisem on kolmanda osapoole võrdlus. Kui Artificial Analysis avaldab 50 ülesande tulemused mitme mudeli kohta, saab paremini hinnata, kas OpenAI mudelite edu püsib ka sõltumatumas hindamiskeskkonnas.

Teiseks tuleb jälgida, kas GeneBench-Pro tüüpi ülesanded hakkavad mõjutama teadusagentide arendust. Kui mudelid paranevad ainult faktiteadmistes ja koodikirjutamises, ei piisa sellest keerulise bioloogiaanalüüsi jaoks. Edasiminek peab tulema kvaliteedikontrollis, statistiliste eelduste kontrollis, ebakindluse käsitlemises ja otsuses, millal analüüs tuleb ümber teha.

Kolmandaks on oluline, kas OpenAI ja teised arendajad avaldavad rohkem juhtumiuuringuid, kus mudeli viga ei ole ainult vale number, vaid vale teaduslik otsus. Sellised juhtumid on bioloogia, meditsiini ja ravimite arenduse jaoks väärtuslikumad kui üldine edetabelikoht.

Kokkuvõte

GeneBench-Pro on oluline mitte seetõttu, et GPT-5.6 Sol sai 31,5%, vaid seetõttu, mida see madal tulemus näitab. Tehisaru mudelid on jõudnud punkti, kus nad suudavad teha osa keerulisest teaduslikust analüüsist, kuid nad ei ole veel piisavalt töökindlad, et teha iseseisvalt otsuseid, millel on teaduslik või kliiniline tagajärg.

OpenAI uus benchmark nihutab fookuse õigesse kohta: mitte ainult sellele, kas mudel teab vastust, vaid sellele, kas ta oskab segaste andmete põhjal valida õige analüüsitee. Eesti teadus- ja terviseandmete projektidele on sellest kasu eeskätt hindamisloogikana. Enne kui tehisaru saab usaldada päris teadustöö kriitilistes lõikudes, peab ta suutma näidata kontrollitavat, korratavat ja ettevaatlikku otsustusahelat.

Korduma kippuvad küsimused

Mis on GeneBench-Pro?

GeneBench-Pro on OpenAI hindamisraamistik, millega mõõdetakse, kas tehisaru agendid suudavad teha mitmeetapilist arvutusbioloogia ja genoomika andmeanalüüsi. See ei testi ainult faktiteadmisi, vaid ka analüüsitee valikut, andmekvaliteedi hindamist ja järelduseni jõudmist.

Kes GeneBench-Pro avaldas?

GeneBench-Pro avaldas OpenAI 30. juunil 2026. Teadusartikli autorid on Jeremy Li ja Andrew Ho OpenAI-st.

Kui suur benchmark on?

GeneBench-Pro sisaldab 129 ülesannet, mis katavad kümmet põhivaldkonda ja 21 alavaldkonda arvutusbioloogias, genoomikas ja siirdemeditsiinis.

Miks kasutatakse sünteetilisi andmeid?

Sünteetilised andmed võimaldavad teada kontrolltõde ehk õiget põhjuslikku struktuuri ja sihtvastust. Nii saab hinnata, kas mudel valis õige analüüsitee, mitte ei jõudnud vastuseni juhuslikult või benchmarki lünki kasutades.

Kui hästi GPT-5.6 Sol hakkama sai?

OpenAI järgi saavutas GPT-5.6 Sol 28,7% läbimismäära kõrgeimal arutlustasemel ja 31,5% Pro-režiimis. See oli tugevim avaldatud tulemus, kuid tähendab siiski, et mudel ei lahendanud enamikku ülesandeid.

Kas GeneBench-Pro tõestab, et tehisaru võib teadlase asendada?

Ei. OpenAI ise märgib, et praegused agendid on inimese asendamiseks liiga ebausaldusväärsed. Tulemused viitavad pigem sellele, et mudelid võivad juba aidata vaheanalüüside, töövoogude ja andmeuuringu juures, kuid vajavad eksperdi kontrolli.

Kas ülesanded on avalikud?

Kogu 129 ülesande kogum ei ole avalik. OpenAI avaldas Hugging Face’is kümme esinduslikku ülesannet koos andmete, ülesandekirjelduse ja hindamislepinguga. 50 ülesannet on mõeldud Artificial Analysise kolmanda osapoole hindamiseks.

Miks see Eesti lugejale oluline on?

GeneBench-Pro näitab, millist hindamist on vaja enne, kui tehisaru kasutatakse genoomika, personaalmeditsiini või terviseandmete analüüsi kriitilistes töövoogudes. Eesti jaoks on keskne küsimus mitte ainult mudeli täpsus, vaid ka andmekaitse, korratavus, auditijälg ja inimese vastutus.