איך יודעים מתי לסיים לבדוק ? מדדים ומטריקות ומה שבינהם

 

מאת: רם יוניש, מנהל שיווק ושרותי QA, טאקט בדיקות (מקבוצת מטריקס)

פעמים רבות נשאלתי את השאלה הזו ופעמים רבות שאלתי אותה בעצמי. בתשע מתוך 10 פעמים התשובה הייתה: כאשר מגיעים ל- deadline או כאשר מנהל הפרויקט מחליט. זו כמובן תשובה ריאלית ואמיתית, אבל האם זו התשובה שאנחנו כמנהלי QA ומנהלי בדיקות צריכים לשאוף אליה?

אם התשובה היא לא, אזי מהי התשובה הנכונה? מתי ניתן לסיים לבדוק?

קומן (1999) טען שההחלטה מתי לסיים לבדוק הינה החלטה כלכלית, כלומר, "כל עוד העלות של תקלה בייצור גבוהה מהעלות הכרוכה במציאת התקלה ותיקונה, יש להמשיך בביצוע הבדיקות". קשה מאוד להעריך ולאמוד את העלויות האלו וזאת משום שמעורבים בנוסחא הזו פרמטרים רבים שלעיתים קשה לכמת אותם (לדוגמא: אובדן מוניטין).

במאמר אשתדל להיצמד למטריקות ברורות, מטריקות שעובדות וקל יחסית ליישם אותן.

בטרם אנסה לענות על השאלה הזו, חשוב שנדבר באותה השפה. מה הכוונה לסיים לבדוק?

"סיום בדיקות" = כל סיום של שלב בדיקות והעברת מערכת/ גרסה לשלב הבא, כגון:

1.        העברת גרסה מפיתוח לבדיקות אינטגרציה ובדיקות מערכת (לצוות הבדיקות)

2.        העברת המערכת לבדיקות קבלה של המשתמש וסיום שלב בדיקות המערכת על ידי צוות הבדיקות

3.        סיום בדיקות קבלה והתקנת המערכת בייצור (production)

ההחלטה לסיים את הבדיקות ולהעביר את המערכת לשלב הבא נמדדת בדרך כלל בשני מדדים מרכזיים: מדדי איכות ומדדי כיסוי.

המדדים האלו מוגדרים במסגרת מסמך ה- STP של הפרויקט תחת פרק entry and exit criteria ונבחנים בין היתר במסגרת בדיקות השפיות המבוצעות בתחילת הבדיקות של כל שלב ושלב.

דוגמאות לתנאי סף במעבר בין בדיקות מערכת לבדיקות קבלה - על ידי הלקוח ( דוגמא מהשטח להטמעה פרגמטית של מתודולוגיה במסגרת הקמת צוות בדיקות הקבלה במשרד ממשלתי):

1.         תנאי קדם לבדיקות קבלה:

·         קבלת תסריטי הבדיקה של המערכת (כל תרחישי הבדיקה שכתב הספק) ונתוני בדיקה (test data).

·         קבלת מסמך סיכום בדיקות ( STR) חתום על ידי הספק

·         קבלת "טופס שחרור גרסה" - release note (כולל את כל התקלות הפתוחות הידועות)

·         התנעה - ביצוע פגישת התנעה אצל הלקוח בה תוצג מערכת עובדת בצורה תקינה בסביבת הלקוח, כולל התייחסות לבדיקות שבוצעו ומוכנות המערכת להעברה לייצור

2.         כיסוי המערכת הנבדקת (coverage metrics)

הספק נידרש להוכיח עקיבות בין תרחישי הבדיקה שביצע, התוצאות שלהן (מה עבר ומה נכשל) והדרישות של הלקוח. יש להגדיר את תרחישי הבדיקה (במסמך ה- STP) לפי רמת החשיבות שלהם. רמת החשיבות של תרחישי הבדיקה נגזרת מרמת החשיבות של הרכיב הנבדק (תהליך, טרנזקציה, טופס...).

 

3.         איכות המערכת הנבדקת

הספק נידרש להציג ללקוח את כל התקלות הפתוחות הידועות לו שקיימות במערכת בעת העברתה לבדיקות קבלה. קביעת רמות החומרה של התקלות תהיה בהתאם למוגדר בנספח ה- STP (כפי שהוסכם על ידי הלקוח).

 

במידה והספק לא עמד באחד מהפרמטרים הנ"ל, לא תועבר הגרסה לבדיקות קבלה. בנוסף, במידה ובמהלך בדיקות השפיות יתגלו תקלות ברמת חומרה קריטית או גבוהה, תוחזר המערכת לספק להמשך בדיקות.

מדדי איכות סטטיסטיים נוספים לסיום הבדיקות:

1.        מדד "הברך" (the knee) - מדד איכות. ההחלטה לסיים בדיקות צריכה להתקבל כאשר מסתמן שינוי במגמה של איתור תקלות חדשות.

 

2.        מדד בגרות (maturity) - מדד איכות. כאשר אחוז התקלות הפתוחות קטן מ- 10% ביחס למספר התקלות הפתוחות הגבוה ביותר שהיה בפרויקט, המערכת בשלה וניתן להפסיק את הבדיקות.

הדוגמאות שבחרתי להציג הן לתנאי סף והן למדדי איכות הינן דוגמאות כלליות שיכולות להתאים לפרויקטים רבים ומגוונים. עם זאת, קיימים תנאים נוספים בהם חייבים להצליח על מנת לסיים את הבדיקות.

במסגרת הפרויקטים הרבים אותם נבחרת המובילים של טאקט בדיקות מלווים אנחנו נדרשים להגדיר תנאי סיום שונים בהתאם לתחום הנבדק, סוגי המערכות והתרבות הארגונית של הלקוחות עימם אנו עובדים. להלן מספר דוגמאות לתנאי סף שאנחנו מיישמים בפרוייקטים בימים אלו:

1.        מערכות צבאיות/ אוויוניקה - משה אפשטיין - מומחה הבטחת איכות בטאקט בדיקות: " במסגרת בניית ותכנון מפרטי הבדיקה יש לעמוד בדרישות ובסטנדרטים של מערכות אוויוניות כגון DO 178b ונהלי איכות של חילות האוויר השונים. מבלי לעמוד בדרישות אלו לא ניתן לקיים לסיים את הבדיקות."

2.        מערכות ותוכנות לשוק הרפואי (medical devices) - רענן כרמי - מנהל סניף טאקט צפון ואחראי על פעילות המדיקל: " אופן ביצוע הבדיקות ותיעוד השינויים חייב להתבצע על בסיס התקנות של ה- FDA (CFR 21 part 11). תוכנה שלא עומדת בדרישות אלו לא ניתן לשחררה".

3.        איכות הקוד - חיים קושיצקי - מומחה LDRA: " ה- LDRA מאפשר לארגון "לחייב" את צוותי הפיתוח שלו לכתוב את הקוד באופן איכותי יותר תוך הקפדה על סטנדרטים מקובלים וזאת לצורך תחזוקתיות טובה יותר של המערכות בעתיד. בארגונים רבים מיישימים טכניקות אלו ולא משחררים מערכת שאינה עומדת בקריטריונים הנ"ל".

 

אודות טאקט בדיקות

על פי הדוח האחרון של חברת המחקר STKI, איחוד פעילויות הבדיקות של חברת טאקט ושל מטריקס שנערך לפני מספר חודשים הביא את מטריקס להיות החברה הגדולה והמובילה בישראל בתחום בדיקות התוכנה עם צוותים של   בודקים מנוסים במגוון טכנולוגיות, כלים ותחומים.

הפעילות הממוזגת של טאקט בדיקות, חטיבת הבדיקות של מטריקס, כוללת כיום חמישה שירותים מרכזיים: ייעוץ אסטרטגי בתחום הבדיקות, פרוייקטי בדיקות עם אחריות כוללת (TurnKey), מיקור חוץ של בדיקות, בדיקות בתפיסת ה- Offshore וה- NearShore ושירותי בדיקות אוטומטיות. לטאקט בדיקות מרכזי בדיקות בישראל , מזרח אירופה וסין. לחברה מגוון רחב של לקוחות מכל המגזרים, פיננסי, ציבורי, טלקום והיי-טק ומומחיות ייחודית בתחום המגזר הבטחוני".

אודות מטריקס

מטריקס, המעסיקה כ- 4,200 מקצועני IT הינה חברת טכנולוגית המידע המובילה בשוק הישראלי. מטריקס עוסקת בביצוע פרויקטי אינטגרציה מן הגדולים במשק, פיתוח ויישום טכנולוגיות, בדיקות תוכנה, פתרונות ומוצרי תוכנה, שירותי תשתית, שירותי ייעוץ,  אופשור, מיקור חוץ, הדרכה והטמעה, ייצוג ושיווק מוצרי תוכנה מובילים מהעולם, פתרונות חומרה מובילים ותשתיות IT. עם לקוחותיה של מטריקס נמנים מאות גופים וחברות מהמובילים בישראל בתחומי התעשייה, מסחר, בנקאות ופיננסים, טלקום, בטחון, בריאות והמגזר הממשלתי ציבורי.

 

מטריקס נסחרת בבורסה לנירות ערך בת"א במדד

תל אביב 100. מחזור המכירות של מטריקס במהלך שנת 2008 הגיע ל- 1.43 מיליארד שקל, הרווח הנקי הגיע ל- 67.5 מיליון שקל ותזרים המזומנים גדל ל- 98 מיליון שקל. חברות המחקר STKI ו- IDC דירגו את מטריקס במקום הראשון בענף שירותי התוכנה בישראל. מניותיה של חברת מטריקס הגיעו לראש טבלת המניות הפופולריות ברשימת ת"א 100 בקרב הקרנות הגדולות במשק עם שיעור האחזקות הגבוה ביותר. הנהלת מטריקס נמצאת בעשיריה הראשונה של ההנהלות המוערכות ביותר בת"א 100 על פי דירוג העיתון כלכליסט. מטריקס נסחרת גם במדד היוקרתי של 20 החברות הגדולות המחלקות דיבידנד - תל דיב 20.