2020/12/22 3

수학적 개념 이해 - 주요 Matrix 미분 결과 정리

* Matrix 미분 - 주요 미분 결과 정리 (numerator layout) -- 회귀분석 과정들을 증명할 때 쓰임 -- 쉽게 기억하려면 일반적인 미분으로 생각할수 있다. $(ax^2)' = 2ax $ 인것처럼 $x^T(A+A^T) = 2X^TA$ 이라고 생각하면 되는데 왜냐하면 통계에서는 대부분의 경우 symmetric 행렬을 다루기 때문에 $A = A^T$ 이기 때문이다. - 주요 미분 결과 간편 활용 방법 -- 내적형태 --- 미분하면 a꼴이 나올 것. 스칼라 - 벡터의 미분 -> 분모 차원의 반대. 1xp 만들어주기 -- Matrix vector 곱 형태(Linear form) --- 미분하면 A꼴이 나올 것. 벡터-벡터의 미분 -> 분자의 차원 유지. A의 행차원과 같이 만들어주기 --제곱형..

카테고리 없음 2020.12.22

수학적 개념이해 - Matrix 미분 기초

* Matrix 미분 - 미분 표기법의 종류 -- Numerator layout* (많이 쓰임) 미분 당하는 변수(혹은 함수)를 기준으로 결과의 형태를 표기 -- Denumerator layout 미분을 하는 변수(혹은 함수)를 기준으로 결과의 형태를 표기 -- 핵심은, 의도한 미분을 수행했을 때 결과값의 차원 -- 표기법때문에 헷갈림 - Numerator와 Denumeraotr는 서로 transpose 관계이다. - Scalar를 vector로 미분 - Vector를 scalar로 미분 - Scalar를 matrix로 미분 - Matrix를 scalar로 미분 - Vector를 vector로 미분**(많이 쓰임) - (예시) $a^Tx$ 의 미분(Numerator layout) -- $a^Tx$는 스칼..

카테고리 없음 2020.12.22