* Matrix 미분
- 미분 표기법의 종류
-- Numerator layout* (많이 쓰임)
미분 당하는 변수(혹은 함수)를 기준으로 결과의 형태를 표기
-- Denumerator layout
미분을 하는 변수(혹은 함수)를 기준으로 결과의 형태를 표기
-- 핵심은, 의도한 미분을 수행했을 때 결과값의 차원
-- 표기법때문에 헷갈림
- Numerator와 Denumeraotr는 서로 transpose 관계이다.
- Scalar를 vector로 미분
- Vector를 scalar로 미분
- Scalar를 matrix로 미분
- Matrix를 scalar로 미분
- Vector를 vector로 미분**(많이 쓰임)
- (예시) $a^Tx$ 의 미분(Numerator layout)
-- $a^Tx$는 스칼라이므로, column 벡터로 미분한 결과값은 row 벡터일 것.
- 잘기억하는 팁 $a$를 미분했을때 $x$를 그냥 두면 $a^T$가 남고 $x^T$면 $a$가 남는다
- (예시) Ax의 미분(A: nxp, x: px1, numerator layout)
-- Ax(nx1이 된다.)
-- Numeroator layout이므로, 미분한 결과의 행의 수는 n개여야 한다. 결과값은 nxp일 것
(분자의 원소가 바뀜에 따라서 결과값의 행이 결정된다.)
