10-8 ?灏忓钩?规??勬帹灏?

セ竊盢痻皚笲衡よΑㄓ崩旧程キよ猭パ痻皚笲衡ボ猭讽虏间┮崩旧ㄓ程キよ猭讽谋来

秈タ肈ぇ玡и﹚竡碭盽ノ计厩笲衡ㄏノ痻皚ㄓボ硂ㄇ笲衡Α

痻皚锣竚Transpose骸ì单Α $$ (AB)^T=B^TA^T $$

痻皚は痻皚Inverse笲衡骸ì单Α $$ (AB)^{1}=B^{-1}A^{-1} $$

秖ㄧ计 $f(\mathbf{x})$ 辫Gradient单ㄧ计癸–跑计熬稬だ┮Θ秖 $$ \nabla f(\mathbf{x}) = \left[ \begin{matrix} \partial f(\mathbf{x})/\partial x_1 \\ \vdots \\ \partial f(\mathbf{x})/\partial x_n \\ \end{matrix} \right], ㄤい \mathbf{x}=\left[\begin{matrix} x_1\\ \vdots \\ x_n \\ \end{matrix}\right] $$

秖跑计 $\mathbf{x}$ ΩΑQuodratic Formボ $$ \mathbf{x}^TA\mathbf{x} = \sum_{i=1}^n a_{ii}x_i^2 + \sum_{i=1}^n \sum_{j=1, j \neq i}^n a_{ij} x_i x_j, $$ ㄤいи安砞 $A$ 琌癸嘿痻皚狦 $A$ ぃ癸嘿иㄏノ $(A+A^T)/2$ ㄓぇτぃ穦э跑ㄓΩΑ $$ \mathbf{x}^TA\mathbf{x} = \mathbf{x}^T \left(\frac{A+A^T}{2} \right)\mathbf{x} $$

ΩΑ $\mathbf{x}^TA\mathbf{x}$ 辫ボ $$ \nabla (\mathbf{x}^TA\mathbf{x}) = \left(\frac{A+A^T}{2}\right) \mathbf{x} $$

侯玡计厩﹚竡и眔碭单Α安砞┮Τ辫А琌癸 $\mathbf{x}$ ㄓ秈︽安砞 $A$ 癸嘿痻皚

Τ玡硂ㄇ单Αи碞盢ㄤノ程キよ猭崩旧安砞и璶秆拜肈琌 $$ A\mathbf{\theta}=\mathbf{y} $$ ㄤい $A$ 琌 $m \times n$ 痻皚$\mathbf{y}$ 琌 $m \times 1$ 秖τ $\mathbf{\theta}$ 玥琌 $n \times 1$ ゼ秖и安砞 $m>n$薄猵よ祘Α计ゼ计计Α礚弘絋秆饼ㄏΑΘミ斗粇畉秖 $\mathbf{e}$ $$ A\mathbf{\theta}=\mathbf{y}+\mathbf{e} $$ キよ粇畉玥糶Θ

$$ E(\mathbf{\theta})=\|\mathbf{e}\|^2=\mathbf{e}^T\mathbf{e}= (A\mathbf{\theta}-\mathbf{y})^T(A\mathbf{\theta}-\mathbf{y}) $$

パ弘絋秆ぃи癶τ―ㄤΩэ碝―ㄏキよ粇畉 $E(\mathbf{\theta})$ 程 $\mathbf{\theta}$ パ $E(\mathbf{\theta})$ 琌 $\mathbf{\theta}$ Ωよ祘Αи钡癸 $E(\mathbf{\theta})$ 秈︽熬稬だㄤ单箂眔舱 $n$ じΩ絬┦羛ミよ祘Αㄓ秆程ㄎ $\mathbf{\theta}$ 传杠弧и璸衡 $E(\mathbf{\theta})$ 辫 $$ \begin{array}{rcl} \nabla E(\mathbf{\theta}) & = & \nabla ( (A\mathbf{\theta}-\mathbf{y})^T(A\mathbf{\theta}-\mathbf{y}) )\\ & = & \nabla ( (\mathbf{\theta}^TA^T-\mathbf{y}^T)(A\mathbf{\theta}-\mathbf{y}) )\\ & = & \nabla ( \mathbf{\theta}^TA^TA\mathbf{\theta}-\mathbf{\theta}^TA^T\mathbf{y} - \mathbf{y}^TA\mathbf{\theta} + \mathbf{y}^T\mathbf{y} )\\ & = & \nabla ( \mathbf{\theta}^TA^TA\mathbf{\theta} - 2\mathbf{\theta}^TA^T\mathbf{y} + \mathbf{y}^T\mathbf{y} )\\ & = & \nabla (\mathbf{\theta}^TA^TA\mathbf{\theta}) - 2\nabla(\mathbf{\theta}^TA^T\mathbf{y}) + \nabla(\mathbf{y}^T\mathbf{y}) \\ & = & 2A^TA\mathbf{\theta}-2A^T\mathbf{y} \end{array} $$

Α辫单箂眔 $\mathbf{\theta}$ 程ㄎ $$ \hat{\mathbf{\theta}} = (A^TA)^{-1}A^T\mathbf{y} $$

Hint
饼程キよ猭贺闽┦借把σ掸帝NeuroFuzzy and Soft ComputingPrentice Hall1997


MATLAB祘Α砞璸秈顶絞