Mudelid
GPT‑6.2 Astra ja Sol: madalam Astra hind vajab töövootesti
OpenAI avaldas GPT‑6.2 Astra ja Soli. Astra tavahind langes 20%, kuid mudelivalikut tasub võrrelda kontrollitud lahenduse kogukulu järgi.
Toimetaja Kristjan Krimm · Avaldatud · 6 min lugemist
- Olulisus
- Sihtrühm
- Kõik
- Allikaid
- 3
- Esmaallikas
- OpenAI

Arengulugu
Mudelid
Viimase 60 päeva seismograaf: 139 signaali. Joone kõrgus näitab olulisust.
Mis juhtus
OpenAI avaldas GPT‑6.2 Astra ja Soli. Astra tavahind langes 20%, kuid mudelivalikut tasub võrrelda kontrollitud lahenduse kogukulu järgi.
Miks see loeb
Madalam Astra tokenihind võib vähendada mõne töö maksumust. Lõplik valik vajab sama ülesande kvaliteedi, korduskatsete ja inimese ülevaatuse võrdlust.
Sisukord
Lühidalt
4 põhipunkti- OpenAI avaldas 17. novembril mudelid GPT‑6.2 Astra ja GPT‑6.2 Sol.
- Astra tavapärane API hind on 8 dollarit sisendi ja 40 dollarit väljundi miljoni tokeni kohta.
- Soli vastavad hinnad on 2 ja 10 dollarit ning Astra token maksab seega neli korda rohkem.
- Mudelivaliku kasu tuleb mõõta kontrollitud lahenduse kogukulu, korduskatsete ja inimese ülevaatusaja järgi.
OpenAI tõi välja GPT‑6.2 Astra ja Soli, mis on väljalasketeate järgi saadaval API kaudu ning ChatGPT Workis ja Codexis. Teade nimetab Plus-, Pro-, Enterprise- ja Edu-kasutajaid; sobivates tööruumides võib ligipääs vajada administraatori lubamist. The Decoder kajastas uute mudelite avaldamist 17. novembril.
Astra sisend- ja väljundtokeni tavahind langes OpenAI järgi eelmise Astra versiooniga võrreldes 20%. Sol säilitas eelmise Soli hinnataseme. Hinnalangus ja mudeli kvaliteet on siiski eri küsimused. Odavama ühikuhinna praktiline väärtus sõltub sellest, kui palju katseid ja inimese tööd läheb vaja kasutuskõlbliku tulemuse saamiseks.
Millist hinda tegelikult võrreldakse?
Astra standardne API hinnapaar on 8 ja 40 dollarit, Solil 2 ja 10 dollarit miljoni sisend- ning väljundtokeni kohta. Mõlema suhtarvu jagamine annab neli. See on hinnakirja aritmeetiline võrdlus sama tokenimahu korral, mitte mõõdetud väide, et üks ülesanne maksab Astraga alati täpselt neli korda rohkem.
Ülesande tegelik sisendi- ja väljundimaht võib mudelite vahel erineda. Arvesse võivad minna ka vahemällu salvestatud sisend, kasutatav teenindusrežiim ja tööriistad. Seetõttu tuleb katse juures säilitada arvelduse tegelik alus. Ühe hinnakirjanumbri kasutamine kogu töö hinna sünonüümina jätaks olulise osa võrdlusest nähtamatuks.
Tootja katse ja kasutajakogemus annavad eri tõendi
OpenAI esitab väljalasketeates võrdluskatsete paranemisi. Need tulemused tuleb siduda valitud ülesannete, seadistuste ja hindamisviisiga. Üks edukas võrdlus ei näita veel, kuidas mudel käitub konkreetse ettevõtte koodibaasis. Ka sama katse nimi ei kõrvalda vajadust vaadata, mida selles tegelikult mõõdeti.
VentureBeat vahendas varajaste kasutajate kriitikat pikkade töövoogude kohta. Need kogemused ei mõõda probleemide üldist sagedust. Buildrya jaoks annavad need põhjuse lisada oma katsesse pikem ülesanne ja kontrollida selle lõpetamist. Neist ei tuletata siin mudeli üldist veaprotsenti ega väideta, et kirjeldatud probleem esineb igal kasutajal.
Buildrya katse: sama mitme failiga muudatus
Võrdlus võiks alata ühest arendusülesandest, mis nõuab mitme faili muutmist ja millel on korratav vastuvõtukontroll. Mõlemad mudelid saaksid sama lähteversiooni, ülesandekirjelduse ja tööriistaõigused. Hindamise tingimused tuleks fikseerida enne vastuste vaatamist. Nii ei muutu eduka lahenduse määratlus vastavalt sellele, mida mudel parasjagu valmis sai.
Vastu võetud tulemus peaks täitma kogu ülesande, säilitama varasema käitumise ja läbima vajalikud kontrollid. Kui agent teeb ainult esimese osa, ei loetaks seda tervikuna õnnestunuks. Samas tuleks säilitada info selle kohta, milline osa valmis sai. See aitab eristada valesti lahendatud probleemi pooleli jäänud tööst ning kavandada järgmise kontrolli.
Katset tasuks korrata mitme ülesandega. Üks lühike veaparandus, pikem ümberkorraldus ja olemasoleva piirangu järgimist nõudev töö võivad anda erineva pildi. Koondtulemuse kõrval võiks näidata tulemusi ülesandeliikide kaupa. Meeskond saaks selle põhjal otsustada, kus kasutada üht mudelit vaikimisi ja kus teist eraldi kaaluda.
Kogukulu hulka kuulub ka ebaõnnestumine
Ühe kontrollitud lahenduse hinnale tuleks liita kõik selle saamiseks tehtud päringud, parandusringid ja ebaõnnestunud katsed. Kui arvestusse jääb ainult parim jooks, näitab tulemus demonstratsiooni, mitte tavapärast töövoogu. Sama reegel peab kehtima mõlema mudeli puhul, et korduskatsete erinevus ei moonutaks võrdlust.
Inimese ülevaatusaega tasub mõõta eraldi. Hindaja võib kulutada aega põhjenduste kontrollimisele, puuduva testi lisamisele või tarbetute muudatuste eemaldamisele. Need tegevused kuuluvad kasutaja eesmärgini jõudmise juurde. Väiksem API arve ei pruugi tähendada väiksemat kogukulu, kui inimene teeb lõpptulemuse parandamiseks rohkem tööd.
Ülevaataja võiks esialgu näha muudatust ilma mudeli nimeta. See ei lahenda kõiki hindamise probleeme, kuid vähendab tuntud nime või värske vastukaja mõju. Vastuvõtmise põhjendus tuleks säilitada koos testitulemusega. Hiljem saab vaadata, kas sama kvaliteedilävend püsis eri mudelite ja katsepäevade vahel.
Pikk töö vajab nähtavat lõppkontrolli
Pikema ülesande puhul võiks agent enne lõpetamist võrrelda tehtut algse nõudeloendiga. Inimene kontrolliks seejärel, kas loend vastab tegelikele failidele ja läbitud testidele. Agendi väide „valmis” ei tõenda üksi, et kõik osad on lahendatud. Vastuvõtukontroll peab olema seotud töö tulemuse, mitte kokkuvõtte enesekindlusega.
Katse võiks sisaldada ka ebaselget või omavahel vastuolulist nõuet. Õige käitumine võib sellisel juhul olla täpsustuse küsimine, mitte kiire muudatuse tegemine. Seetõttu ei peaks kõiki peatumisi hindama ebaõnnestumisena. Oluline on eristada põhjendatud peatust lubatud ülesande põhjendamatust poolelijätmisest ning märkida hindamise alus.
Katkestuse järel ei tohi väliseid samme korrata
Kui agent muudab välist kirjet või käivitab mõne toimingu, peab töövoog säilitama selle tulemuse. Ühenduse katkemise korral ei tohiks järgmine jooks oletada, et midagi ei toimunud. Taastamiskatse peaks kontrollima varasemat seisu ning vältima sama muudatuse kordamist. See on rakenduse töökindluse küsimus sõltumata sellest, kumb mudel valitakse.
Sama piir kehtib mudeli vahetamisel. Uuele mudelile tuleb anda piisav ülevaade juba tehtud sammudest ja alles jäänud õigustest. Mudeli suurem võimekus ei anna talle lisavolitusi. Võrdluses tuleks kontrollida, kas lubamatu tegevuse blokeerib tööriist ka pärast taastamist ning kas inimene saab arusaadava teate edasise sammu kohta.
Millal hinnavõit otsust mõjutab?
Mõistlik valik algab nõutud kvaliteedist ja ajapiirist. Nendele tingimustele vastavate jooksude vahel saab võrrelda kogukulu. Kui üks mudel sobib hästi lühikeste paranduste jaoks ja teine keerukama töö jaoks, võib tulemus olla ülesandepõhine jaotus. Üht universaalset võitjat pole vaja valida enne, kui oma mõõtmine seda toetab.
Käesolevas loos sellist võrdlust tehtud ei ole. Pakutud katseplaan aitab hinnata hinnalanguse ja mudeliuuenduse praktilist mõju. Tulemusega tuleks säilitada mudelitunnus, seaded ning katse kuupäev, et järgmise versiooni saabumisel oleks võimalik sama kontrolli korrata. Nii jääb otsuse alus nähtavaks ka pärast esmast väljalaskenädalat.
Juhtpilt: OpenAI ametlik GPT‑6.2 Astra ja Soli väljalaskegraafika. Pildikrediit: OpenAI.
KKK
Korduma kippuvad küsimused
Kui palju Astra API kasutamine maksab?
Tavahind on 8 dollarit miljoni sisendtokeni ja 40 dollarit miljoni väljundtokeni kohta. Tegelik tööarve sõltub kasutusmahust ja arvelduse tingimustest.
Mis on Soli vastav hind?
Soli hinnapaar on 2 ja 10 dollarit. See ei tähenda, et iga ülesande lõppkulu oleks Astraga võrreldes alati samas suhtes.
Kas Astra on nüüd odavam kui varem?
OpenAI järgi langesid tavapärased sisendi- ja väljundtokeni hinnad 20%. Oma töövoo kogukulu vajab eraldi võrdlust.
Kas varajane kriitika tõestab üldist veasagedust?
Ei, kasutajakogemused ei anna üksi esinduslikku sagedushinnangut. Need aitavad valida olukordi, mida oma katses kontrollida.
Kas Buildrya on uusi mudeleid juba võrrelnud?
See artikkel ei esita tehtud võrdlustesti tulemusi. Kirjeldatud mõõtmised on ettepanek oma töövoo hindamiseks.