ITHub

Mennyire becslünk jól?

Mennyire becslünk jól?
Farkas Gábor
Farkas Gábor
| ~4 perc olvasás

$(document).ready(function() { $("#show_correct_data").click(function() { $("#correct_data").show(); return false; }); });

Steve McConnell a Software Estimation: Demystifying the Black Art című — egyébként olvasásra ajánlott — könyvének elején egy tesztet tár az olvasó elé, ami a becslési képességünket hivatott mérni. Mivel érdekes a dolog, megosztom veletek is, illetve a McConnell által levont tanulságokat is összefoglalom a végén.

Mennyire becslünk jól?

A feladat alsó és felső határokat becsülni az alábbi adatokra úgy, hogy 90 százalékos eséllyel a megadott intervallumban legyen a jó válasz. Ne legyenek az intervallumok túl szélesek, de vegyük figyelembe a 90 százalékos konfidenciaszintet. Minden kérdésre választ kell adni (nyilván internetes utánajárás nélkül), a kvízre pedig ne szánjunk 10 percnél több időt. Íme az adatok, amiket meg kell becsülni:

  • A Nap felszínének hőmérséklete (Celsius)
  • A szélességi fok, amelyen Sanghai fekszik
  • Ázsia területe (km2)
  • Nagy Sándor születésének éve
  • Az összes forgalomban lévő készpénz USD értéke 2004-ben
  • A Nagy-tavak összűrtartalma (liter)
  • A Titanic c. film összbevétele dollárban az egész világra nézve
  • A Csendes-óceán partjának teljes hossza (km)
  • Az 1776 óta az USA-ban kiadott könyvek száma
  • A valaha talált legnehezebb kék bálna súlya (kg)

Ha megvannak a válaszaid az alsó és felső határokra, nézd meg a helyes megoldásokat.

  • A Nap felszínének hőmérséklete (Celsius): 6 000
  • A szélességi fok, amelyen Sanghai fekszik: északi szélesség 31
  • Ázsia területe (km2): 44,4 millió
  • Nagy Sándor születésének éve: i. e. 356
  • Az összes forgalomban lévő készpénz USD értéke 2004-ben: 719.9 milliárd
  • A Nagy-tavak összűrtartalma (liter): 6,8 x 1023
  • A Titanic c. film összbevétele dollárban az egész világra nézve: 1,835 milliárd
  • A Csendes-óceán partjának teljes hossza (km): 135 663
  • Az 1776 óta az USA-ban kiadott könyvek száma: 22 millió
  • A valaha talált legnehezebb kék bálna súlya (kg): 170 000

Akármilyen érdekes is a játék, joggal merül fel benned a kérdés, mi köze ennek az egésznek az IT-hoz, a szoftveriparhoz. Nyilván egy szoftver tervezése során nem gyakran kérdezik meg tőlünk, mekkora a Nap felszínének hőmérséklete, vagy azt, hogy mikor született Nagy Sándor. Vagy elvárható-e, hogy csak megközelítőleg megbecsüld a forgalomban lévő USD készpénz összértékét (főleg Magyarországról)?

A szoftverfejlesztők azonban nagyon gyakran szembesülnek olyan feladatokkal, ahol jó becsléseket kell adniuk ismeretlen üzleti körülmények között; olyan projektekre, amik új technológiákkal lesznek megvalósítva; új programozási eszközök hatására a produktivitást illetően; még ismeretlen munkatársak hatékonyságára, sebességére; satöbbisatöbbi.

A fenti kvíz előre meghatározott célja az volt, hogy a becsült intervallummal 90 százalékos biztonságot érj el. Mivel a kérdéssor tíz kérdésből áll, joggal várható el ez alapján, hogy 9 kérdésre helyesen válaszoltál.

McConnell az előadásain minden résztvevővel eljátssza ezt a játékot, amiből most már elég jelentős minta gyűlt össze. Ez alapján érdekes adatokhoz juthatunk. Az egész sokaságon a helyes válaszok átlagos száma 2,8, és csak a válaszadók két százaléka adott nyolc vagy több helyes választ — tíz még egyszer sem fordult elő. "Ez alapján azt a következtetést vontam le, hogy amikor valaki azt állítja, hogy 90%-ban biztos a becslésében, a valóságban ez sokkal közelebb lesz a 30%-hoz." — írja McConnell.

Ezen túlmenően pedig további érdekesség, hogy azok a válaszadók, akik magas (7-8) találati aránnyal rendelkeztek, általában úgy érzik, valamit rosszul csináltak. Amikor megkérdezték őket arról, hogyan értek el ilyen jó eredményt, a legtöbben azt válaszolták, hogy nagyon tágra vették az intervallumokat. A szerző szerint ez az intuíció azonban rossz, sőt mi több: az intervallumok még mindig túl szűkek voltak, hiszen nem tartalmazták a helyes választ minden esetben!

Hajlamosak vagyunk azt hinni, hogy a szűk intervallummal meghatározott becslések pontosabbak, mint a tág intervallummal meghatározottak. Úgy gondoljuk, a tág intervallumok csak az inkompetenciánkra világítanak rá. Ennek valójában az ellenkezője igaz.

Mi ebből az egészből a tanulság? Elsőként az, hogy ha valaki egy becslést "90%-os biztonsággal" emleget, ne is kettővel osszuk el amit mond, ahogy azt a mondás tartja, hanem inkább hárommal. Másrészt pedig az, hogy az emberek nem szeretnek túl tág becsléseket adni (még akkor sem, ha a megkövetelt konfidenciaszint ezt diktálná), mert úgy érzik, a szűkre vett becslések pontosabbnak tűnnek. Ha nincsenek nagyon specifikus adataid, a becslésednek valószínűleg tágabbnak kell lennie, mint ahogy eredetileg gondoltad.