Liigu põhisisu juurde
Buildrya

Mudelid

Meta avas Muse Emberi API-s: odava mudeli kasu sõltub ka paranduste kulust

Muse Ember maksab 0,10 dollarit miljoni sisendtokeni ja 0,50 dollarit miljoni väljundtokeni eest. Dokumenditöövoos tuleb võrrelda ka vigu, korduspäringuid ja käsitsi parandusi.

Toimetaja Kristjan Krimm · Avaldatud · 5 min lugemist

Olulisus
Sihtrühm
Kõik
Allikaid
2
Esmaallikas
Meta AI Research
Sinised kaared, nooled ja punktid moodustavad heledal taustal ühise keskmega silmuseid.
Pilt: Meta AI Research

Viimase 60 päeva seismograaf: 139 signaali. Joone kõrgus näitab olulisust.

Mis juhtus

Muse Ember maksab 0,10 dollarit miljoni sisendtokeni ja 0,50 dollarit miljoni väljundtokeni eest. Dokumenditöövoos tuleb võrrelda ka vigu, korduspäringuid ja käsitsi parandusi.

Miks see loeb

Odav mudel võib sobida suure hulga piiritletud sammude jaoks. Kokkuhoiu hindamiseks tuleb koos päringute hinnaga arvestada parandusi, edasisuunamist ja inimese ülevaatust.

Lühidalt

4 põhipunkti
  1. Meta tegi Muse Emberi 9. novembril kättesaadavaks Meta Model API kaudu.
  2. Avaldatud hind on 0,10 dollarit miljoni sisendtokeni ja 0,50 dollarit miljoni väljundtokeni eest.
  3. Meta nimetab kasutusjuhtudena muu hulgas andmete eraldamist, tööriistakutseid ja kodeerimise alamülesandeid.
  4. Madal ühikuhind vajab võrdlust paranduste, korduspäringute ja inimese töö kogukuluga.

Meta lisas Muse’i mudeliperre Emberi, mille puhul rõhutab korduvate agendiülesannete hinda. Ametlik teade kinnitab 9. novembri saadavust ning sisend- ja väljundtokenite hinnad. TechCrunch kajastas samuti mudeli väljalaset.

Ettevõte esitab Emberit mudelina, millele saab anda suure hulga piiritletud samme. Meta võrdlevad väited tulemuse ja hinna suhte kohta lähtuvad tema esitatud hindamistest. Need ei asenda mõõtmist konkreetse ettevõtte dokumentide, väljade ja veatolerantsiga.

Buildrya vaatenurgast sobiks esimeseks katseks saja dokumendi põhjal andmete eraldamine. See on kavandatav hindamisviis, mitte AI-Radari juba tehtud test. Katse eesmärk oleks leida, kas väiksem päringukulu säilib ka siis, kui ebatäpsed tulemused parandatakse enne kasutusse lubamist.

Saja dokumendi katse vajab teadaolevaid vastuseid

Võrdluskomplekt võiks sisaldada eri kujundusega dokumente ning selgelt määratud välju. Näiteks võib fiktiivsetest ostutellimustest eraldada dokumendi numbri, kuupäeva, valuuta ja kogusumma. Tootmisandmete asemel sobivad alguses sünteetilised või kasutamiseks lubatud näidised, mille õige vastus on inimese kinnitatud.

Andmekogus peaks olema ka puuduvate väljade, vastuoluliste summade ja kehva loetavusega juhtumeid. Muidu mõõdab katse peamiselt lihtsate näidete edukust. Puuduv vastus peab olema lubatud tulemus, kui vajalikku teavet dokumendis tegelikult ei ole.

Enne käivitamist tuleks määrata, mida loetakse veaks. Valesti ümardatud summa, vale valuuta ja välja täitmine oletuse põhjal võivad vajada erinevat käsitlust. Üks keskmine täpsusprotsent ei näita, milline neist eksimustest järgmises tööetapis kahju tekitaks.

Edasisuunamise reegel tuleb määrata enne tulemusi

Odavama mudeli kasutamine koos tugevama mudeliga vajab otsust, millal ülesanne edasi anda. Selle reegli võiks siduda kontrollitava tunnusega: puuduv kohustuslik väli, vigane andmestruktuur või omavahel vastuolus olevad arvud. Pelgalt mudeli kinnitus, et ta on vastuses kindel, ei ole sõltumatu kontroll.

Esialgne variant võiks lubada ühe paranduspäringu ning seejärel inimese või teise mudeli ülevaatuse. Piir tuleb kirja panna enne võrdluse algust. Vastasel juhul saab ühte mudelit lõputult juhendada ja võrrelda seda teise mudeli esimese vastusega.

Ka edasisuunatud juhtum peab jääma algse mudeli arvestusse. Kui Ember annab dokumendi teisele mudelile, ei kao esimese katse kulu. Võrdlustabelisse lähevad mõlema etapi tokenid ja aeg ning vajaduse korral ka inimese parandustöö.

Arvuta hind kogu vastuvõetud andmekogu kohta

Avaldatud hinna põhjal maksaks kümme miljonit sisendtokenit ja kaks miljonit väljundtokenit Emberiga kokku kaks dollarit. See on näitlik arvutus, mitte prognoos saja dokumendi töötlemiseks. Tegelik maht sõltub sisendi pikkusest, väljundi mahust ja päringute kordamisest; muud võimalikud teenusetasud jäävad näitest välja.

Katse raport peaks näitama nii päringute arvet kui ka lõpuni kontrollitud dokumentide arvu. Kui osa faile vajab käsitsi ümbertegemist, tuleb see nähtavaks jätta. Väiksem tokeniarve võib olla meeskonnale ebaoluline, kui parandused võtavad rohkem tööaega.

Inimese ajakulu võiks mõõta ühetaolise ülevaatusvormiga. Ülevaataja märgib, kas vastus sobis kohe, vajas väikest parandust või tuli uuesti koostada. Tulemusi tasub vaadata ka vealiikide kaupa, et kogukulu kõrval oleks näha, mida tuleks töövoos muuta.

Tööriistakutse peab läbima oma kontrolli

Väljade eraldamine ja nende kirjutamine ärisüsteemi on eri toimingud. Esimene katse võiks lõppeda ettepanekute tabeliga. Nii saab mudelite tulemusi võrrelda enne, kui valed väärtused jõuavad tellimusse, arvele või kliendikirjesse.

Kui hiljem lisatakse välise süsteemi muutmine, peaks programm kontrollima väljade tüüpe ja lubatud väärtusi enne toimingu täitmist. Mudeli toodetud korrektne andmestruktuur ei tõenda veel, et selle sisu vastab algdokumendile. Samuti ei anna dokumendis leiduv käsklus õigust töövoo reegleid muuta.

Katse võiks sisaldada üht dokumenti, kuhu on lisatud töövooga vastuolus olev juhis. Oodatav tulemus oleks, et dokumenti käsitletakse sisendandmena ja selle tekst ei laienda agendi õigusi. Selline kontroll hindab kogu rakendust, mitte üksnes mudeli vastust.

Millise tulemuse järel tasub kasutust laiendada?

Enne katset tuleks kokku leppida lubatud veatase ja ülevaatuse maht. Kui need tingimused on täidetud, saab võrrelda kogukulu tugevama mudeli sama töövooga. Kui mõni kriitiline vealiik jääb kontrollimata, ei muuda madal hind tulemust valmis lahenduseks.

Sada dokumenti annavad alust esialgseks otsuseks, kuid ei kirjelda kõiki tulevasi sisendeid. Kasutuse laiendamisel võiks säilitada väikese inimese kontrollitud valimi ning jälgida, kas dokumentide laad muutub. Mudeli versiooni või juhiste muutus tuleks siduda uue võrdlusega, mitte kanda varasemat tulemust automaatselt üle.

Tulemuste ülevaataja ei peaks võimaluse korral teadma, milline mudel vastuse andis. Vastused saab esitada juhuslikus järjekorras sama vormiga ning avaldada mudelite nimed pärast hindamist. Nii väheneb oht anda tuntuma või odavama mudeli vastusele teistsugune hinnang pelgalt ootuse põhjal. Õigete vastuste võti tuleb hoida katse sisendist lahus, et mudel ei saaks kontrollimiseks mõeldud lahendust päringuga kaasa. See korraldus muudab ka korduskatse paremini võrreldavaks.

Juhtpilt: Meta Emberi väljalaskelehel kasutatud abstraktne siniste kaarte ja nooltega illustratsioon. Krediit: Meta AI Research; graafika ei kujuta mudeli arhitektuuri ega katsetulemusi.

KKK

Korduma kippuvad küsimused

5 küsimust
Kus Muse Emberit kasutada saab?

Meta teate järgi oli mudel 9. novembril saadaval Meta Model API kaudu. Konkreetse konto ligipääs ja kasutustingimused tuleb eraldi kinnitada.

Kui palju Ember maksab?

Avaldatud hind on 0,10 dollarit miljoni sisendtokeni ja 0,50 dollarit miljoni väljundtokeni eest. See ei ole dokumendi või terve töövoo fikseeritud hind.

Kas odavam mudel sobib kõigi dokumentide jaoks?

Sellist järeldust väljalasketeade ei tõenda. Sobivust tuleb hinnata oma dokumentide, nõutud väljade ja vealiikide põhjal.

Millal anda ülesanne tugevamale mudelile?

Edasisuunamine võiks sõltuda ette määratud kontrollidest, näiteks puuduvast väljast või vastuolulisest summast. Ka selle etapi kulu peab jääma võrdlusesse.

Kas esitatud kahe dollari näide on mõõtmistulemus?

Ei, see on hinnakirjal põhinev arvutus valitud tokenimahtudega. AI-Radar ei ole siin saja dokumendi katset käivitanud ega lubanud kindlat säästu.

Parandused

Avaldamise järel sisulisi parandusi ei ole.

Teata veast →

Artikli autor

Kristjan Krimm

Nädala viis

Viis olulist signaali sinu postkasti.

Üks kord nädalas: praktilised AI-signaalid, tööriistauudised ja olulised muutused. Ilma mürata.