ЭВМ – это машина с конечной памятью, состоящей из слов конечной длины. Возникает проблема представления бесконечного множества чисел конечным множеством чисел, представимых в ЭВМ.
Обозначим через F конечное подмножество вещественных чисел, с которыми оперирует ЭВМ. То есть элементы множества F – это вещественные числа, которые точно представимы в ЭВМ. Если f1, f2 – элементы множества F, ближайшие друг к другу, и x Î [f1,f2], где x – это число, не представимое точно в ЭВМ, то x равняется либо f1, либо f2.
Разность между истинным значением числа и его приближением на ЭВМ (т.е. элементом множества F) называется ошибкой округления на ЭВМ.
Если f1, f2 принадлежат F, то сумма этих чисел, разность, произведение и частное могут не принадлежать F.
Следует помнить, что многие числа не представимы точно в ЭВМ. Например, число 0.1 не представимо точно на любой ЭВМ, у которой основание системы счисления является степенью 2.
Точность вычислений с вещественными числами на ЭВМ можно оценить с помощью машинного e.
Машинным e называется наименьшее положительное вещественное число, такое что 1Å e >1, где Å – сложение на ЭВМ.
Если для представления вещественного числа в памяти ЭВМ отводится 32 бита, то машинное e приближенно равно 2×10-8 . То есть в этом случае .
При сложении и вычитании на ЭВМ вещественных чисел, сильно отличающихся друг от друга по модулю, происходит потеря верных значащих цифр. При вычитании чисел одинакового знака и близких по модулю также происходит потеря верных значащих цифр. В плохо продуманных вычислительных алгоритмах за счет этого возможна катастрофическая потеря верных цифр.