Mennyire becslünk jól?
$(document).ready(function() { $("#show_correct_data").click(function() { $("#correct_data").show(); return false; }); });
Steve McConnell a Software Estimation: Demystifying the Black Art című — egyébként olvasásra ajánlott — könyvének elején egy tesztet tár az olvasó elé, ami a becslési képességünket hivatott mérni. Mivel érdekes a dolog, megosztom veletek is, illetve a McConnell által levont tanulságokat is összefoglalom a végén.
A feladat alsó és felső határokat becsülni az alábbi adatokra úgy, hogy 90 százalékos eséllyel a megadott intervallumban legyen a jó válasz. Ne legyenek az intervallumok túl szélesek, de vegyük figyelembe a 90 százalékos konfidenciaszintet. Minden kérdésre választ kell adni (nyilván internetes utánajárás nélkül), a kvízre pedig ne szánjunk 10 percnél több időt. Íme az adatok, amiket meg kell becsülni:
- A Nap felszínének hőmérséklete (Celsius)
- A szélességi fok, amelyen Sanghai fekszik
- Ázsia területe (km2)
- Nagy Sándor születésének éve
- Az összes forgalomban lévő készpénz USD értéke 2004-ben
- A Nagy-tavak összűrtartalma (liter)
- A Titanic c. film összbevétele dollárban az egész világra nézve
- A Csendes-óceán partjának teljes hossza (km)
- Az 1776 óta az USA-ban kiadott könyvek száma
- A valaha talált legnehezebb kék bálna súlya (kg)
Ha megvannak a válaszaid az alsó és felső határokra, nézd meg a helyes megoldásokat.
- A Nap felszínének hőmérséklete (Celsius): 6 000
- A szélességi fok, amelyen Sanghai fekszik: északi szélesség 31
- Ázsia területe (km2): 44,4 millió
- Nagy Sándor születésének éve: i. e. 356
- Az összes forgalomban lévő készpénz USD értéke 2004-ben: 719.9 milliárd
- A Nagy-tavak összűrtartalma (liter): 6,8 x 1023
- A Titanic c. film összbevétele dollárban az egész világra nézve: 1,835 milliárd
- A Csendes-óceán partjának teljes hossza (km): 135 663
- Az 1776 óta az USA-ban kiadott könyvek száma: 22 millió
- A valaha talált legnehezebb kék bálna súlya (kg): 170 000
Akármilyen érdekes is a játék, joggal merül fel benned a kérdés, mi köze ennek az egésznek az IT-hoz, a szoftveriparhoz. Nyilván egy szoftver tervezése során nem gyakran kérdezik meg tőlünk, mekkora a Nap felszínének hőmérséklete, vagy azt, hogy mikor született Nagy Sándor. Vagy elvárható-e, hogy csak megközelítőleg megbecsüld a forgalomban lévő USD készpénz összértékét (főleg Magyarországról)?
A szoftverfejlesztők azonban nagyon gyakran szembesülnek olyan feladatokkal, ahol jó becsléseket kell adniuk ismeretlen üzleti körülmények között; olyan projektekre, amik új technológiákkal lesznek megvalósítva; új programozási eszközök hatására a produktivitást illetően; még ismeretlen munkatársak hatékonyságára, sebességére; satöbbisatöbbi.
A fenti kvíz előre meghatározott célja az volt, hogy a becsült intervallummal 90 százalékos biztonságot érj el. Mivel a kérdéssor tíz kérdésből áll, joggal várható el ez alapján, hogy 9 kérdésre helyesen válaszoltál.
McConnell az előadásain minden résztvevővel eljátssza ezt a játékot, amiből most már elég jelentős minta gyűlt össze. Ez alapján érdekes adatokhoz juthatunk. Az egész sokaságon a helyes válaszok átlagos száma 2,8, és csak a válaszadók két százaléka adott nyolc vagy több helyes választ — tíz még egyszer sem fordult elő. "Ez alapján azt a következtetést vontam le, hogy amikor valaki azt állítja, hogy 90%-ban biztos a becslésében, a valóságban ez sokkal közelebb lesz a 30%-hoz." — írja McConnell.
Ezen túlmenően pedig további érdekesség, hogy azok a válaszadók, akik magas (7-8) találati aránnyal rendelkeztek, általában úgy érzik, valamit rosszul csináltak. Amikor megkérdezték őket arról, hogyan értek el ilyen jó eredményt, a legtöbben azt válaszolták, hogy nagyon tágra vették az intervallumokat. A szerző szerint ez az intuíció azonban rossz, sőt mi több: az intervallumok még mindig túl szűkek voltak, hiszen nem tartalmazták a helyes választ minden esetben!
Hajlamosak vagyunk azt hinni, hogy a szűk intervallummal meghatározott becslések pontosabbak, mint a tág intervallummal meghatározottak. Úgy gondoljuk, a tág intervallumok csak az inkompetenciánkra világítanak rá. Ennek valójában az ellenkezője igaz.
Mi ebből az egészből a tanulság? Elsőként az, hogy ha valaki egy becslést "90%-os biztonsággal" emleget, ne is kettővel osszuk el amit mond, ahogy azt a mondás tartja, hanem inkább hárommal. Másrészt pedig az, hogy az emberek nem szeretnek túl tág becsléseket adni (még akkor sem, ha a megkövetelt konfidenciaszint ezt diktálná), mert úgy érzik, a szűkre vett becslések pontosabbnak tűnnek. Ha nincsenek nagyon specifikus adataid, a becslésednek valószínűleg tágabbnak kell lennie, mint ahogy eredetileg gondoltad.