Liigu põhisisu juurde
Buildrya

Tööriistad

AWS avaldas kohaliku emulaatori: läbitud test ei kinnita veel sama käitumist pilves

AWS Emulator lubab testida pilverakendust kohalikult tuttavate API-kutsetega. Teenuste kirjelduste hulk ei võrdu täieliku katvusega; õigused ja vead vajavad eraldi kontrolli.

Toimetaja Kristjan Krimm · Avaldatud · 5 min lugemist

Olulisus
Sihtrühm
Kõik
Allikaid
3
Esmaallikas
AWS
Värvilised geomeetrilised ehitusklotsid tumedal taustal ja AWS Emulatori arendusloo valge pealkiri.
Pilt: AWS

Viimase 60 päeva seismograaf: 139 signaali. Joone kõrgus näitab olulisust.

Mis juhtus

AWS Emulator lubab testida pilverakendust kohalikult tuttavate API-kutsetega. Teenuste kirjelduste hulk ei võrdu täieliku katvusega; õigused ja vead vajavad eraldi kontrolli.

Miks see loeb

Kohalik keskkond võib lühendada arenduse tagasisidetsüklit. Vajalikud toimingud, õigused ja tõrked tuleb enne pilvevalmiduse otsust eraldi võrrelda.

Lühidalt

4 põhipunkti
  1. AWS avaldas 11. novembril tasuta kohaliku AWS Emulatori rakenduste arendamiseks ja testimiseks.
  2. Emulaator kasutab tuttavaid SDK- ja käsureakutseid, kuid toetatud käitumine erineb toiminguti.
  3. Üle 200 teenuse API-kirjelduste olemasolu ei tähenda kõigi teenuste täielikku jäljendamist.
  4. Kohaliku testi tulemust tuleb võrrelda eraldi pilvekeskkonnaga, eriti õiguste, piirangute ja vigade puhul.

AWSi ametlik väljalase toob arendaja arvutisse keskkonna, kus saab pilverakenduse korduvaid kontrolle teha ilma iga katse jaoks päris pilveressursse looma. Toetamata toimingud tagastavad teate 501 Not Implemented. Kohalik olek säilib tööriista käitamise ajal mälus.

GeekWire’i kajastus kirjeldab tööriista enam kui 200 teenuse API-mudelitel põhinevana. AWSi insener Matthew Goldberg ütleb ettevõtte arendusloos, et meeskond ei kirjutanud ega vaadanud üle ühtki koodirida. See on ettevõtte kirjeldus oma arendusprotsessist, mitte AI-Radari sõltumatu koodiaudit.

Buildrya jaoks oleks sisukas alustada väikesest rakendusest ja käitada sama kontrollikomplekti kohalikus emulaatoris ning eraldatud AWSi testkeskkonnas. Eesmärk oleks teada saada, milliseid vigu leiab odavam kohalik tsükkel ja millised ilmnevad alles pilves. Siin ei esitata juba läbi viidud võrdluse tulemusi.

Katse peab lähtuma rakenduse vajalikest toimingutest

Teenuste koguarvu asemel võiks kõigepealt loetleda konkreetse rakenduse kasutatavad toimingud. Näiteks järjekorrapõhine töövoog vajab sõnumi saatmist, lugemist, kinnitamist ja ebaõnnestumise käsitlemist. Loend aitab näha, kas emulaator katab just vajalikku käitumist.

Iga toimingu juurde tuleks määrata oodatav tulemus nii õnnestumisel kui ka veal. Pelk vastuse saabumine ei näita veel, et selle sisu ja olekumuutus sobivad rakendusele. Eriti tähtis on kontrollida järgnevat päringut, mis sõltub eelmise toimingu mõjust.

Toetamata võimalus peaks testiraportis olema nähtav piiranguna. Seda ei tohiks automaatselt lugeda rakenduse veaks ega ka õnnestunud kontrolliks. Nii jääb meeskonnale selge ülevaade sellest, milline osa käitumisest tegelikult läbi prooviti.

Ühesugune lähteolek teeb võrdluse arusaadavaks

Emulaatori ja pilve katse võiks alata sama näidisandmete ning rakendusversiooniga. Ressursside nimed võivad olla eri keskkondades erinevad, kuid nende roll peab olema sama. Tulemuse juurde tuleks salvestada ka kasutatud emulaatori versioon.

Eraldi tuleb kontrollida oleku loomist ja puhastamist. Kui üks katse pärib varasemast käivitusest andmeid, võib see näida edukas ka siis, kui vajalik loomistoiming tegelikult ei tööta. Teisalt võib mälupõhise keskkonna taaskäivitus eemaldada seisu, mille olemasolu rakendus ekslikult eeldab.

Korduv käivitamine võiks anda sama ärilise tulemuse ilma duplikaatsete tööde tekkimiseta. Selleks sobib näiteks sama sisendi uuesti saatmine ning lõppseisu kontroll. Võrdlus keskenduks rakenduse käitumisele, mitte ainult üksikute API-vastuste kujule.

Õigusi tuleb kontrollida eraldi pilvekeskkonnas

Kohaliku katse läbimisest ei saa järeldada, et päris teenusekonto õigused on täpselt parajad. Piloodis võiks luua piiratud konto, millel on ainult katses vajalikud õigused. Seejärel tuleb proovida nii lubatud toimingut kui ka ettemääratud keelatud toimingut.

Oluline oleks kontrollida, et rakendus peatub arusaadavalt, kui õigust napib. Ta ei tohiks hakata automaatselt otsima laiemat ligipääsu või suunama päringut teise keskkonda. Agendi töövoos peab järgmine katse jääma samadesse inimese seatud piiridesse.

Testkeskkonna võtmed ja tootmiskeskkonna võtmed tuleks hoida lahus. Ka kohaliku emulaatori kasutamisel peab olema selge, millisesse sihtkohta päring läheb. Valesti määratud ühendusaadress võib muuta kavandatud kohaliku katse päris pilvetoiminguks.

Veakäitumine on sama tähtis kui õnnelik juhtum

Võrdluskomplekt võiks sisaldada puuduvat ressurssi, vigast sisendit ja ajutist ühenduse tõrget. Iga juhtumi jaoks tuleks enne määrata, kas rakendus kordab toimingut, peatub või palub abi. Nii saab hiljem otsustada, kas keskkondade erinevus on rakenduse jaoks oluline.

Kui mingi piirang või katkestus ei ole emulaatoris esindatud, tuleb see raportisse märkida. Sellise kontrolli jaoks võib vaja olla eraldi katsekihti või pilvekeskkonda. Puuduva vea vaikimisi eiramine annaks liiga optimistliku pildi töövoo valmisolekust.

Erilist tähelepanu väärib olukord, kus päringu tulemus jääb teadmata. Ühendus võib katkeda pärast toimingu tegemist, kuid enne vastuse saamist. Katse peaks uurima, kas korduspäring loob teise töö või suudab rakendus juba toimunud muudatuse tuvastada.

Aega ja kulu tuleb mõõta kontrollitud tulemuse järgi

Kohaliku arendustsükli eelis võiks avalduda lühemas ootamises, kuid seda tuleb oma ülesandega mõõta. Ajaarvestusse peaks minema ka keskkonna käivitamine, andmete ettevalmistus ja tulemuste uurimine. Ainult üksiku kiire API-kutse mõõtmine ei kirjelda kogu arendustööd.

Pilve poolel tuleb arvesse võtta testide loodud ressursid ja nende koristamine. Enne käivitust võiks määrata kulupiiri ning kontrollida, et katse lõppedes ei jää tarbetuid ressursse tööle. Need on kavandatava võrdluse korraldusreeglid, mitte hinnaprognoos.

Tulemuse põhjal võiks meeskond jagada kontrollid kohalikuks kiireks tagasisideks ja pilves tehtavaks kinnituseks. Piir peaks lähtuma leitud lahknevustest. Kui mõne toimingu jäljendamine järgmises versioonis paraneb, saab vastavat kontrolli uuesti hinnata, säilitades varasema katseprotokolli võrdluseks.

Agendi kirjutatud emulaatori usaldusväärsust tasub hinnata samade kontrollitavate tulemuste alusel nagu muud tööriista. Arendusprotsessi kirjeldus ei tõenda iseenesest ei paremat ega halvemat vastavust. Meeskonnale annab otsuse aluse vajalikul töökoormusel nähtud käitumine ja selgelt piiritletud puudujääkide loend.

Juhtpilt: Amazoni AWS Emulatori arendusloo ametlik illustratsioon värviliste ehitusklotsidega. Krediit: Amazon / AWS; see ei ole emulaatori kasutajaliidese ekraanipilt.

KKK

Korduma kippuvad küsimused

5 küsimust
Kas emulaator asendab kõik AWSi testid?

Sellist järeldust väljalase ei võimalda. Rakenduse jaoks olulist käitumist tuleb võrrelda päris testkeskkonnaga ja leitud piirangud nähtavaks jätta.

Kas üle 200 teenuse tähendab täielikku käitumise katvust?

Ei, API-kirjelduste hulk ja toimingute täpne jäljendamine on eri asjad. Kontrollida tuleb konkreetse rakenduse kasutatavaid toiminguid.

Kelle väide on täielikult agentide kirjutatud kood?

See pärineb AWSi enda inseneri kirjeldusest. AI-Radar ei ole kogu arendusajalugu sõltumatult auditeerinud.

Mida tähendab 501 Not Implemented?

Ametliku teate järgi tagastatakse see veel toetamata toimingu puhul. Testiraportis peaks see olema eristatud rakenduse veast ja edukast kontrollist.

Kas kirjeldatud pilvevõrdlus on juba tehtud?

Ei, see on Buildrya katseplaan. Loos ei lubata kindlat kiirusevõitu ega mõõdetud kulusäästu.

Parandused

Avaldamise järel sisulisi parandusi ei ole.

Teata veast →

Artikli autor

Kristjan Krimm

Nädala viis

Viis olulist signaali sinu postkasti.

Üks kord nädalas: praktilised AI-signaalid, tööriistauudised ja olulised muutused. Ilma mürata.