Precision inom datavetenskap är ett mått på detaljer, vanligtvis mätt i bitar , men ibland i decimalsiffror . Detta är relaterat till signifikanta siffror i matematik , vilket är antalet siffror som används för värdet av ett numeriskt uttryck.
Några av standardprecisionsformaten är:
Av dessa används fortfarande sällan oktalprecisionsformatet. Enkel- och dubbelprecisionsformaten är de mest använda och stöds på nästan alla plattformar. Användningen av halvprecisionsformatet ökar, särskilt inom området maskininlärning , eftersom många maskininlärningsalgoritmer är feltoleranta. [ett]
![]() |
---|