Orden de operaciones, algoritmos numéricos

He leido eso

(1) Las operaciones mal condicionadas deben realizarse antes que las bien condicionadas.

Como ejemplo, uno debe calcular $xz-yz$ como $(x-y)z$ ya que la resta está mal condicionada mientras que la multiplicación no.

Sin embargo, un análisis de error de primer orden de ambos algoritmos revela que difieren solo por un factor de tres (*), y no veo por qué uno puede generalizar esto a la declaración (1), ni entiendo intuitivamente la importancia de Orden de operaciones. ¿Crees que la declaración es (1) es una regla aceptada, y tienes otras explicaciones para ello?

*: más específicamente, la primera versión tiene un error relativo delimitado por

eps + 3 \frac{El | X El | + El | y El |}{El | X El | - El | y El |} eps

$\text{eps}+3\frac{|x|+|y|}{|x|-|y|}\text{eps}$ mientras que el error relativo de la segunda versión está delimitado por

3 eps + \frac{El | X El | + El | y El |}{El | X El | - El | y El |} eps

$3\text{eps}+\frac{|x|+|y|}{|x|-|y|}\text{eps}$

donde $\text{eps}$ es la precisión de la máquina.

Este análisis se basa en la suposición de que el $i$ -ésimo resultado intermedio se multiplica por $(1+\varepsilon_i)$ (debido a errores de redondeo), donde $\varepsilon_i$ es iid variables aleatorias limitadas por $\text{eps}$ . "Primer orden" significa que los términos de orden superior, como $\epsilon_i\epsilon_jx$ , se descuidan.

stability floating-point

— Bananach
fuente

¿Dónde leíste eso?

— David Ketcheson

en mis apuntes

— Bananach

Denotemos por (era flojo tratando de obtener una versión en círculo del operador de división) los análogos de coma flotante de multiplicación exacta ( ), suma ( ) y resta ( ), respectivamente. Asumiremos (IEEE-754) que para todos ellos $\otimes,\oplus,\ominus$ $\times$ $+$ $-$ donde es la máquina épsilon que da un límite superior al error relativo debido al redondeo. También usaremos el siguiente lema (suponiendo que todos , no es demasiado grande) que se puede probar fácilmente:

[X \oplus y] = (X + y) (1 + δ_{\oplus}), El | δ_{\oplus} El | \leq ϵ_{metro una C h},

$[x\oplus y]=(x+ y)(1+\delta_\oplus),\quad |\delta_\oplus|\le\epsilon_\mathrm{mach},$

ϵ_{m a c h}

$\epsilon_\mathrm{mach}$

| δ_{i} | \leq ϵ_{m a c h}

$|\delta_i|\le\epsilon_\mathrm{mach}$

m

$m$

\prod_{yo = 1}^{metro} (1 + δ_{yo}) = 1 + θ (metro), El | θ (metro) El | \leq \frac{metro ϵ_{metro una C h}}{1 - metro ϵ_{metro una C h}}

$\prod\limits_{i=1}^{m}(1+\delta_i)=1+\theta(m),\quad |\theta(m)|\le\frac{m\epsilon_\mathrm{mach}}{1-m\epsilon_\mathrm{mach}}$

Definamos la verdadera función que opera en números reales como $f$ $x,y,z$

F (X, y, z) = (X \times z) - (y \times z)

$f(x,y,z)=(x\times z)-(y\times z)$

y dos versiones de la implementación de la función en aritmética de coma flotante compatible con IEEE como y que operan en representaciones de coma flotante , como sigue: $\tilde{f_1}$ $\tilde{f_2}$ $\tilde{x}=x(1+\delta_x),\tilde{y},\tilde{z}$

\tilde{F_{1}} (\tilde{X}, \tilde{y}, \tilde{z}) = (\tilde{X} \otimes \tilde{z}) ⊖ (\tilde{y} \otimes \tilde{z}),

$\tilde{f_1}(\tilde{x},\tilde{y},\tilde{z})=(\tilde{x}\otimes\tilde{z})\ominus(\tilde{y}\otimes\tilde{z}),$

\tilde{F_{2}} (\tilde{X}, \tilde{y}, \tilde{z}) = (\tilde{X} ⊖ \tilde{y}) \otimes \tilde{z} .

$\tilde{f_2}(\tilde{x},\tilde{y},\tilde{z})=(\tilde{x}\ominus\tilde{y})\otimes\tilde{z}.$

Análisis de error para : $\tilde{f_1}$

\begin{aligned} \tilde{F_{1}} & = (\underset{(\tilde{X} \otimes \tilde{z})}{\underset{⏟}{(X (1 + δ_{X}) \times z (1 + δ_{z})) (1 + δ_{\otimes_{X z}})}} - \underset{(\tilde{y} \otimes \tilde{z})}{\underset{⏟}{(y (1 + δ_{y}) \times z (1 + δ_{z})) (1 + δ_{\otimes_{y z}})}}) (1 + δ_{⊖}) \\ = X z (1 + δ_{X}) (1 + δ_{z}) (1 + δ_{\otimes_{X z}}) (1 + δ_{⊖}) - y z (1 + δ_{y}) (1 + δ_{z}) (1 + δ_{\otimes_{y z}}) (1 + δ_{⊖}) \\ = X z (1 + θ_{X z, 1}) - y z (1 + θ_{y z, 1}) . \end{aligned}

$\begin{aligned} \tilde{f_1}&=\Big(\underbrace{\big(x(1+\delta_x)\times z(1+\delta_z)\big)\big(1+\delta_{\otimes_{xz}}\big)}_{(\tilde{x}\otimes\tilde{z})}-\underbrace{\big(y(1+\delta_y)\times z(1+\delta_z)\big)\big(1+\delta_{\otimes_{yz}}\big)}_{(\tilde{y}\otimes\tilde{z})}\Big)\Big(1+\delta_{\ominus}\Big)\\ &=xz(1+\delta_x)(1+\delta_z)(1+\delta_{\otimes_{xz}})(1+\delta_\ominus)-yz(1+\delta_y)(1+\delta_z)(1+\delta_{\otimes_{yz}})(1+\delta_\ominus)\\ &=xz(1+\theta_{xz,1})-yz(1+\theta_{yz,1}). \end{aligned}$

| θ_{x z, 1} |, | θ_{y z, 1} | \leq \frac{4 ϵ_{m a c h}}{1 - 4 ϵ_{m a c h}}

$|\theta_{xz,1}|,|\theta_{yz,1}|\le\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}$

$\tilde{f_2}$

\begin{aligned} \tilde{F_{2}} & = (((X (1 + δ_{X}) - y (1 + δ_{y}) (1 + δ_{⊖_{X y}})) \times (z (1 + δ_{z}))) (1 + δ_{\otimes}) \\ = X z (1 + δ_{X}) (1 + δ_{z}) (1 + δ_{⊖_{X y}}) (1 + δ_{\otimes}) - y z (1 + δ_{y}) (1 + δ_{z}) (1 + δ_{⊖_{X y}}) (1 + δ_{\otimes}) \\ = X z (1 + θ_{X, 2}) - y z (1 + θ_{y, 2}) . \end{aligned}

$\begin{aligned} \tilde{f_2}&=\Bigg(\Big(\big( x(1+\delta_x)-y(1+\delta_y \big)\big(1+\delta_{\ominus_{xy}}\big)\Big)\times \Big(z(1+\delta_z)\Big)\Bigg)\Bigg(1+\delta_{\otimes}\Bigg)\\ &=xz(1+\delta_x)(1+\delta_z)(1+\delta_{\ominus_{xy}})(1+\delta_\otimes)-yz(1+\delta_y)(1+\delta_z)(1+\delta_{\ominus_{xy}})(1+\delta_\otimes)\\ &=xz(1+\theta_{x,2})-yz(1+\theta_{y,2}). \end{aligned}$

| θ_{x, 2} |, | θ_{y, 2} | \leq \frac{4 ϵ_{m a c h}}{1 - 4 ϵ_{m a c h}}

$|\theta_{x,2}|,|\theta_{y,2}|\le\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}$

$\tilde{f_1}$ $\tilde{f_2}$ $\tilde{f_2}$ $\tilde{f_1}$

$x$ $y$

\begin{aligned} \frac{El | \tilde{F_{1}} - F El |}{El | F El |} & = \frac{El | X z + X z θ_{X z, 1} - y z - y z θ_{y z, 1} - (X z - y z) El |}{El | X z - y z El |} = \frac{El | X θ_{X z, 1} - y θ_{y z, 1} El |}{El | X - y El |} \\ \leq \frac{El | X El | + El | y El |}{El | X - y El |} \frac{4 4 ϵ_{metro una C h}}{1 - 4 4 ϵ_{metro una C h}}, \end{aligned}

$\begin{aligned} \frac{|\tilde{f_1}-f|}{|f|}&=\frac{|xz+xz\theta_{xz,1}-yz-yz\theta_{yz,1}-(xz-yz)|}{|xz-yz|}=\frac{|x\theta_{xz,1}-y\theta_{yz,1}|}{|x-y|}\\ &\le\frac{|x|+|y|}{|x-y|}\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}, \end{aligned}$

\begin{aligned} \frac{El | \tilde{F_{2}} - F El |}{El | F El |} & = \frac{El | X z + X z θ_{X, 2} - y z - y z θ_{y, 2} - (X z - y z) El |}{El | X z - y z El |} = \frac{El | X θ_{X, 2} - y θ_{y, 2} El |}{El | X - y El |} \\ \leq \frac{El | X El | + El | y El |}{El | X - y El |} \frac{4 4 ϵ_{metro una C h}}{1 - 4 4 ϵ_{metro una C h}} . \end{aligned}

$\begin{aligned} \frac{|\tilde{f_2}-f|}{|f|}&=\frac{|xz+xz\theta_{x,2}-yz-yz\theta_{y,2}-(xz-yz)|}{|xz-yz|}=\frac{|x\theta_{x,2}-y\theta_{y,2}|}{|x-y|}\\ &\le\frac{|x|+|y|}{|x-y|}\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}. \end{aligned}$

$\theta$ $x,y,z$ $(x-y)$ $x$ $y$

$x,y,z,f(x,y,z)\in\mathbb F_0$ $\mathbb F_0$

— Anton Menshov
fuente