Hodnotenie kvality produktu

Slovo "štandard" môže byť definované ako dohoda medzi výrobcami v rámci určitej oblasti technológie. To znamená, že sa slovo "štandard" sa používa iba v prípadoch, kedy uznanie bolo udelené jedným alebo viacerými orgánmi pre normalizáciu. Vo svojej knihe - Implementing the IEEE Software Engineering Standards, Schmidt [1] zhrnul výhody používania noriem softvérového inžinierstva na nasledujúce:

1. Pomoc pri dosiahnutí väčšej zhody s požiadavkami na softvér, zníženie počtu softvérových chýb, zníženie rizík spojených so softvérom a zníženie nákladov na údržbu.

2. Poskytujú rámec pre systematické, postupné zlepšovanie softvérových procesov, a pomáhajú znížiť počet chýb pri uvedení na trh v raných fázach projektu. To znižuje náklady na testovanie, inštaláciu a údržbu.

3. Pomáhajú spĺňajú nariadenia o štandardoch kvality, ktoré sa vzťahujú k softvéru a sú nevyhnutne pre dosiahnutie certifikácie.

4. Poskytujú zvýšenú presnosť pri projektovaní, detailný spôsob monitorovania projektov a skoré opatrenia na zvýšenie kvality softvéru.

Okrem vyššie uvedených výhod, sú štandardy určené na podporu efektívneho využívania technológie, a sú štruktúrované podľa dohodnutých a osvedčených postupov pre špecifické technológie [2].

Aj preto si mnoho softvérových spoločností si uvedomuje, že kvalita softvérového produktu je do značnej miery závislá na procesoch, ktoré sa používa pri vytváraní. A práve preto, organizácie často zaraďujú ISO / IEC 14598, ktorá je považovaná za štandardnú metodiku pre hodnotenie softvérových produktov, do svojich pracovných procesov.

2. ISO 9126: Meranie kvality softvérového produktu

V roku 1991, bol publikovaný prvý medzinárodný konsenzus v terminológii charakteristiky kvality pri procese hodnotenia softvérového produktu. Tento štandard bol pomenovaný: Hodnotenie softvérového produktu – Charakteristiky kvality a ich použitie (Software Product Evaluation - Quality Characteristics and Guidelines for Their Use (ISO 9126: 1991)) [9]. Od roku 2001 do roku 2004, bola zverejnená rozšírená verzia dokumentu, ktorá obsahovala modely kvality a aj zásady navrhovaných opatrení pre tieto modely. Aktuálna verzia ISO 9126 séria sa skladá z jednej medzinárodné normy a z troch technických sprav:

1. ISO 9126-1: Model kvality

2. ISO TR 9126-2: Externé metriky

3. ISO TR 9126-3: Interné metriky

4. ISO TR 9126-4: Prevádzkové metriky

2.1 ISO 9126-1: Model kvality

Prvý dokument (Model kvality) obsahuje dve časti:

1. Interné a Externé kvality

2. Prevádzková kvalita

Prvá z dvoch časti modelu kvality určuje šesť charakteristík, ktoré sú rozdelené do 27 pod-charakteristík pre určenie vonkajšej a vnútornej kvality. Tieto čiastkové vlastnosti sú výsledkom vnútorných softvérových atribútov, ktoré sú viditeľné aj navonok, pokiaľ je softvér súčasťou systému.

Obrázok 1 Interné a Externé kvality

Druhá časť modelu kvality zobrazuje štyri charakteristiky kvality počas užívania

Obrázok 2 Prevádzková kvalita

Obrázok 3 zobrazuje očakávané vzťahy medzi internými, externými a prevádzkovými atribútmi kvality. Interné akostné znaky vplývajú na externé atribúty kvality, zatiaľ čo externé atribúty majú vplyv na prevádzkovú kvalitu. Taktiež kvalita v prevádzke je v závislosti od externej kvality, zatiaľ čo externá kvalita závisí na internej kvality [10].

Obrázok 3 Životný cyklus kvality

Obrázok 4 znázorňuje rôzne pohľady na kvalitu produktu a súvisiacich opatrení v rôznych fázach životného cyklu softvéru [4].

Obrázok 4 Kvalita v životnom cykle softvéru

2.2 ISO TR 9126-2: Externé metriky

Druhý dokument zo série ISO 9126 - Externé metriky - obsahuje základnú sadu opatrení pre každú externú sub-charakteristiku kvality, vysvetlenie, ako používať externé metriky kvality softvéru, a príklady, ako použiť tieto metriky v priebehu životného cyklu softvérového produktu [11]. Vonkajšie opatrenia sú klasifikované podľa charakteristík a čiastkových charakteristík definovaných v ISO 9126-1.

2.3 ISO TR 9126-3: Interné metriky

Tretí dokument zo série ISO 9126 - Interné metriky - obsahuje súpis opatrení pre jednotlivé sub-charakteristiky internej kvality, vysvetlenie, ako používať interné metriky kvality softvéru, a príklady, ako použiť tieto metriky v priebehu životného cyklu softvérového produktu [12]. Taktiež aj interné metriky klasifikované vlastnosťami a čiastkových vlastností definovaných v norme ISO 9126-1.

2.4 ISO TR 9126-4: Prevádzkové metriky

Napokon štvrtý dokument zo serie ISO 9126 – Prevádzkové metriky - obsahuje základný súbor ukazovateľov pre každú charakteristiku prevádzkovej kvality, vysvetlenie, ako ju použiť, a príklady ich použitia v životnom cykle softvérového produktu [13]. Metriky prevádzkovej kvality sú klasifikované podľa charakteristík definovaných v ISO 9126-1.

3. ISO 14598: Hodnotenie softvérového produktu

Okrem štyroch dokumentov série ISO 9126 bola publikovaná sada dokumentov s pokynmi ako aplikovať ISO 9126 s označením ISO 14598 a pomenovaním Hodnotenie softvérového produktu (Software Product Evaluation) a skladá sa zo šiestich častí:

1. ISO 14598-1: Všeobecný prehľad

2. ISO 14598-2: Plánovanie a riadenie

3. ISO 14598-3: Postupy pre vývojárov

4. ISO 14598-4: Postup pre nadobúdateľov

5. ISO 14598-5: Postup pre hodnotiteľov

6. ISO 14598-6: Dokumentácia vyhodnocovacích modulov

Obrázok 5 Vzťah medzi časťami normy ISO 14598

3.1 ISO 14598-1: Všeobecný prehľad

Táto časť obsahuje prehľad, obsah a ciele ostatných častí normy, definuje rad pojmov používaných v iných častiach, a ilustruje vzťah medzi piatimi časťami, ako na obr. 1, . Okrem toho objasňuje, vzťah medzi modelom kvality v ISO 9126 a ISO 14598 normy, obsahuje všeobecné požiadavky na špecifikáciu a hodnotenie kvality softvéru, a predstavuje rámec pre hodnotenie kvality vo všetkých typoch softvérového produktu. [3]

3.2 ISO 14598-2: Plánovanie a riadenie

Prezentuje informácie o plánovaní a požiadavky na riadenie, ktoré sú spojené s hodnotením softvérového produktu a definuje požiadavky, ktoré by mali byť poskytované organizáciou s cieľom zabezpečiť úspech Procesu hodnotenia [4].

3.3 ISO 14598-3: Postupy pre vývojárov

Poskytuje odporúčania a požiadavky pre praktické zavádzanie programu, a to súbežne s vývojom. Táto časť ISO 14598 normy je určená pre projektového manažéra, softvérového dizajnéra, audítora kvality, správcu a / alebo nadobúdateľ softvéru.

3.4 ISO 14598-4: Postup pre nadobúdateľov

Obsahuje požiadavky, odporúčania a usmernenia pre systematické meranie, posudzovanie a hodnotenie kvality softvérového produktu[6]. Proces hodnotenia prispieva k dosiahnutiu cieľov pri prijatí vyvíjaného produktu alebo pre výber z katalógu produktov.

3.5 ISO 14598-5: Postup pre hodnotiteľov

Používa sa pre aplikovanie konceptov ISO 9126 tým, že poskytuje odporúčania pre praktické vykonávanie hodnotenia produktu, kedy niekoľko účastníkov musí pochopiť, prijať a dôverovať výsledkom hodnotenia [7]. ISO / IEC 14598-5 je štandard, ktorý popisuje proces hodnotenia a činnosti potrebné na vykonanie nezávislého vyhodnotenie z hľadiska kvality , ako sú definované v ISO / IEC 9126. Proces hodnotenia sa skladá z nasledujúcich piatich aktivít:

· Analýza hodnotiacich požiadaviek, v ktorých sú popísané ciele hodnotenia

· Špecifikácia hodnotenia, kde je definovaný rozsah hodnotenia a merania, ktoré sa majú vykonať

· Návrh hodnotenia, kde sú uvedené postupy, ktoré sa majú vykonať počas hodnotenia

· Prevedenie hodnotenia, kde sa vykonajú definované procedúry a získajú sa výsledky

· Vyhodnotenie hodnotenia, kde je vytvorená záverečná hodnotiaca správa

Obrázok 6 Hodnotiaci proces

3.6 ISO 14598-6: Dokumentácia vyhodnocovacích modulov

Objasňuje a definuje obsah, vznik a štruktúru dokumentácie, ktorá má byť použitá na ilustráciu hodnotiaceho modul [8]. Táto časť ISO 14598 môže byť použitá v testovacích laboratóriách, výskumných inštitúciách a organizáciách, a pre všetkých ostatných, ktorí potrebujú vytvárať nové hodnotiace moduly [13].

4. Integrácia ISO / IEC 14598-5 a CMMI

Najväčším problémom pri tejto integrácii je nahradiť referencie na ISO 9126 referenciami na CMMI ako hlavný vstup metodiky. ISO/IEC14598-5 poskytuje zoznam výstupov a produkuje stručný prehľad hodnotiacej správy, ako je znázornené na obrázku 7.

Obrázok 7 Použitie ISO 14598-5 počas návrhu

Obrázok zobrazuje obsah väčšiny metód CMMI artefaktov. Aby bolo možné vytvoriť použiteľnú metódu procesu hodnotenia, je potrebná vedomostná úroveň "syntézy" CMMI.

Obrázok 8 Použitie CMMI počas návrhu

V tejto časti popíšem celkový spôsob, ktorý bol navrhnutý, jeho hlavné kroky, artefakty (výstupy), rozloženie aktivít, šablón a dodržiavanie a rozdiely s normou ISO / IEC 14598-5.

4.1 Kroky metódy

Metóda celkového hodnotenie je znázornená na obr. 9. Diagram poskytuje pohľad z vyššej úrovne procesu s požadovanými vstupmi (na ľavej strane) a vyprodukovanými výstupmi (vpravo). Vstupy a výstupy sú označené tučne a vznikajú ako súčasť metódy hodnotiaceho procesu.

Obrázok 9 Metóda hodnotiaceho procesu

4.2 Artefakty (Výstupy)

Tabuľka zobrazuje artefakty (výstupy) vyprodukovane počas metódy hodnotenia, ich ciele a kroky, ktoré k nim vedu.

Artefakt	Ciele	Realizovane Aktivity
Vyhlásenie o pracovnej činnosti	Definovanie cieľov a rozsah hodnotenia	· Analýza požiadaviek hodnotenia · Špecifikácie hodnotenia
Klientska zmluva	Získanie súhlasu žiadateľov a dohoda o mlčanlivosti	· Špecifikácie hodnotenia
Hodnotiaci plán	Poskytnutie detailného plánu revízii, ktoré majú byt vykonané	· Návrh hodnotenia
Zoznam vybraných otázok	Poskytuje zoznam otázok, ktoré pokrývajú vybrané oblasti CMMI procesu.	· Návrh hodnotenia
Diskusia a preskúmanie získaných dokumentov	Poskytuje upozornenie zo získanej analýzy. Jedná sa o hodnotiteľove osobné poznámky a kvôli zachovaniu dôvernosť sú a konci procesu zničene	· Diskusia účastníkov projektu na posúdenie projektovej dokumentácie · Záver hodnotenia
Zistenia (nálezy)	Zobrazuje nálezy nájdené počas hodnotiaceho procesu	· Diskusia účastníkov projektu na posúdenie projektovej dokumentácie · Kontrola a podávanie správ
Checklist hodnotiteľa	Doloženie, že boli vykonané príslušne činnosti	· Diskusia účastníkov projektu na posúdenie projektovej dokumentácie · Kontrola a podávanie správ · Záver hodnotenia
Hodnotiaca sprava	Prezentácia hlavných zistených záverov	· Kontrola a podávanie správ · Zaver hodnotenia
Akčne plány	Zabezpečuje plánovanie opatrení na zlepšenie softvérového procesu na základe hlavných zistení.	· Plánovanie opatrení na zlepšenie procesov (voliteľné)

4.3 Šablóny

Nasledovné šablóny boli vytvorené za účelom zníženia potrebného úsilia od hodnotiteľov na tvorbu niektorých hodnotiacich artefaktov:

· Šablóna Vyhlásenia o pracovnej činnosti

· Šablóna Hodnotiaceho plánu

· Šablóna Kontrolný zoznamu hodnotiteľa

· Šablóna Hodnotiacej správy

· Šablóna Akčného plánu

4.4 Zhoda s normou ISO / IEC 14598-5

Táto časť popisuje podobnosti a rozdiely medzi Procesom Metódy Hodnotenia CMMI (Process Evaluation Metod) a zhodou pre každú požiadavku hodnotiaceho procesu (Evaluation Process Requirement) podľa normy ISO / IEC 14598-5 definovaného v 6 kapitole tejto normy.

4.4.1 Všeobecné požiadavky

Všeobecné požiadavky sa vzťahujú na model procesu hodnotenia. Splnenie týchto požiadaviek je zakotvené v metóde hodnotiaceho procesu. Návrh rozhodnutia je zahrnutý v hodnotiacich požiadavkách, tak ako aj povinnosti zúčastnených strán vo Vyhlásení o Pracovnej Činnosti (Statement Of Work - SOW), ktorý bol vytvorený pre opakované použitie šablóny, ako je znázornené na obrázku 10.

Obrázok 10 Zahrnutie požiadaviek a povinností do SOW

4.4.2 Analýza hodnotiacich požiadaviek

Analýza sa mierne líši medzi Procesom Metódy Hodnotenia CMMI a ISO / IEC 14595-5. Pre zhodu kontextu musia hodnotiace požiadavky reprezentovať žiadateľove potreby a ciele, pretože použitie týchto cieľov je dostačujúce na selekciu procesných oblasti.

Obrázok 11 Prispôsobenie analýzy hodnotiacim požiadavkám

4.4.3 Špecifikovanie hodnotenia

Nie je potrebne robiť analýzu špecifikácii produktu na úrovni komponentov, ako je navrhnuté v ISO / IEC 14598-5, pretože procesy sú skúmane skôr než produkt. Namiesto výberu produktových komponent, ako je navrhnuté v ISO / IEC 14595-5 sa výberú projekty spolu s ich dokumentáciou, ktorú je potrebné prehodnotiť a upraviť. Namiesto špecifikovania meraní, sa vyberie zoznam procesných oblastí ako je znázornené na obrázku 12.

Obrázok 12 Prispôsobenie špecifikácie hodnotenia

4.4.4 Návrh hodnotenia

Vyhodnotenie procesných oblastí sa vykonáva pomocou diskusie účastníkov projektu a taktiež za pomoci revízii dokumentov. Tento druh hodnotenia vyžaduje jednoduché nástroje, ktoré sa skladajú z hodnotiacich otázok a tabuliek zistení.

Naplánovanie aktivít zahŕňa plánovanie diskusie účastníkov. V plánovaní sa kladie najväčší dôraz na ľudí, než ako v ISO / IEC 14598-5 návrhu. Obrázok 13 zobrazuje adaptácia plánu a pridanie artefaktu "Zoznam vybraných otázky", ktorý je potrebný pre hodnotenie CMMI.

Obrázok 13 Prispôsobenie návrhu hodnotenia

4.4.5 Vykonanie Hodnotenia

Tento krok je rozdelený do dvoch krokov v metóde hodnotiaceho procesu CMMI, ktoré sú Diskusia s účastníkmi projektu a Posúdenie projektovej dokumentácie a Kontrola a podávanie správ. Dôvodom pre rozdelenie do dvoch krokov je ten , že Diskusia a Posúdenie musí byť dokončene pred Kontrolou a podaním správ. Ďalší dôvodom je skutočnosť, že Posúdenie a Diskusia môžu byť vykonávané paralelne hodnotiteľmi.

Obrázok 14 Prispôsobenie výkonu hodnotenia

4.4.6 Záver hodnotenia

Tento krok úplne v súlade s normou ISO / IEC 14598-5, ako je znázornené na obrázku 15.

Obrázok 15 Prispôsobenie záveru hodnotenia

4.4.7 Plánovanie opatrení na zlepšenie

ISO / IEC 14598-5 nezmieňuje žiadne aktivity po uzavretí hodnotenia. CMMI pridáva posledný krok a to pridanie "Akčného plánu", pretože hlavným cieľom bolo zlepšenie softvérového procesu. Po hodnotení je zadávateľ oboznámený so zoznamom hlavných zistení a nálezov, avšak bez poznania, toho čo by mal urobiť pre zlepšenie. Pridanie Akčného plánu, ktorý používa rozhodovacie kritéria na priorityzáciu vykonania opatrení, spolu stým definuje sekvenciu činností na zvýšenie požadovanej kvality, úlohy a zodpovednosti zúčastnených strán a radovo odhaduje návratnosť investície na vývoj opatrení po zavedení Akčného plánu.

5. Záver

Cieľom tejto prace bolo znázorniť proces hodnotenia kvality softvérového produktu pomocou ISO / IEC 14598-5, čo prechádzalo tejto špecifikácii, a taktiež znázorniť proces integrácie tejto normy s modelom CMMI.

6. Použitá Literatúra

[1] M. E. C. Schmidt, Implementing the IEEE Software Engineering Standards. Indianapolis, IN, USA: Sam’s Publishing, 2000.

[2] A. Abram, Teaching Software Engineering Using ISO Standards, Standard View, vol. 4, pp. 139-145 1996.

[3] ISO, Information technology - Software product evaluation - Part 1: General overview. ISO/IEC 14598-1, Geneva, Switzerland: International Organization for Standardization, 1999.

[4] ISO, Software engineering - Product evaluation - Part 2: Planning and management. ISO/IEC 14598-2, Geneva, Switzerland: International Organization for Standardization, 2000.

[5] ISO, Software engineering - Product evaluation - Part 3: Process for developers. ISO/IEC 14598-3, Geneva, Switzerland: International Organization for Standardization, 2000.

[6] ISO, Software engineering - Product evaluation - Part 4: Process for acquirers. ISO/IEC 14598-4, Geneva, Switzerland: International Organization for Standardization, 1999.

[7] ISO, Information technology - Software product evaluation - Part 5: Process for evaluators. ISO/IEC 14598-5, Geneva, Switzerland: International Organization for Standardization, 1998.

[8] ISO, Software engineering - Product evaluation - Part 6: Documentation of evaluation modules. ISO/IEC 14598-6, Geneva, Switzerland: International Organization for Standardization, 2001.

[9] ISO, Software Product Evaluation - Quality Characteristics and Guidelines for their Use. ISO/IEC IS 9126, Geneva, Switzerland: International Organization for Standardization, 1991.

[10] ISO, Software Engineering - Product Quality - Part 1: Quality Model. ISO/IEC 9126-1, Geneva, Switzerland: International Organization for Standardization, 2001.

[11] ISO, Software Engineering - Product Quality - Part 2: External Metrics. ISO/IEC TR 9126-2, Geneva, Switzerland: International Organization for Standardization, 2003.

[12] ISO, Software Engineering - Product Quality - Part 3: Internal Metrics. ISO/IEC TR 9126-3, Geneva, Switzerland: International Organization for Standardization, 2003.

[13] ISO, Software Engineering - Product Quality - Part 4: Quality in Use Metrics. ISO/IEC TR 9126-4, Geneva, Switzerland: International Organization for Standardization, 2004.

[14] CMMI Team, Capability Maturity Model Integration foe Systems Engineering, Software Engineering, Integrated Product and Process Development, and Supplier Sourcing (CMMI-SE/SW/IPPD/SS), Version 1.1, Continuous Representation, Software Engineering Institute, Carnegie-Mellon University, Pittsburgh, Dec. 2001. Dostupné na www.sei.cmu.edu/cmmi