커뮤니티2

Embedding Dimension  = 12

논문의  k = 5 

따라서 Input의 크기는 [b, s, d] 인 [2, 5, 12]의 크기를 가지는 텐서이다.

[1] 학습에 따라 값이 변하는 Parameter를 초기화 해준다.

해당 파라미터는 학습에 진행되는 {2*최대 단어길이 + 1}이며, 5개의 단어를 정해놓았다면, 

11개로, 이는 논문에서 얘기하는 2k+1을 따랐다.

초기화된 파라미터는 (2s+1, d)의 크기를 가진다 [11, 12]

[2] Distance Matrix를 생성한다.

행벡터와 열벡터의 연산으로 Distance Matrix를 구할수 있다.

이후 논문 3.2에서 얘기한 clip(x, k)를 진행한다.

만약 K가 4보다 작다면, 4보다 큰 값은 최대 값으로 고정된다.

예를 들면 

k를 3으로 하였을때 -4, 4는 사라지고, 3과 -3으로 변경되었다

[3] Clamp된 Distance Matrix를 구했다면, 해당 값을 음수가 아닌 양수로 바꿔준다.

따라서 Distance Matrix에 K를 더해준다.

아래 예제에서는 k=5를 사용한것을 기본으로 한다

[4] Distance Matrix는 거리에 따른 임베딩값의 Index에 대한 값을 가진 행렬임으로, 

[1]에서 초기화 하였던 Embedding Table에서 Distance Matrix의 인덱스에 해당하는 임베딩을 가져온다.

[5] Positional Embedding을 추출했다면, 논문에서 제안한  e_ij에 대한 연산을 진행해보자.

xW{Q}는 [b, s, d]의 크기를 가진 텐서이고,

xW{K}도 [b, s, d]의 크기를 가졌다.

두 텐서의 Dot Product를 위해 xW{K}의 Transpose를 진행하면 [b, s, s]의 크기를 가진 텐서가 나온다.

xW{Q}와 Embedding의 연산은 바로 되지 않기에

xW{Q}[b, s, d]와 Embedding [s, s, d]를 조금 변경해준다.

xW{Q}는 [b, s, 1, d]로 변경해주고, Embedding은 Transpose를 취해준다 [s, d, s]

두 텐서의 Dot Product는 [b, s, 1, s]로 나타나고, 추가했던 2번째 디멘션을 제거한다.

예시를 위해 wq와 emb는 random값으로 초기화 하여 연산의 가능성만 확인하였다.

아래 구현에서는 MultiHead를 포함한 구현 예시이다.

다른 구현은 여기에서 볼수 있다.

https://github.com/evelinehong/Transformer_Relative_Position_PyTorch/blob/master/relative_position.py

이렇게 해서 Relative Postional Embedding을 통한 Multi Head Attention을 사용할수 있다.

그러나, 2018 12월에 Huang의 논문에서 이러한 방식의 구현이 GPU 메모리에 과도한 점유율을 보여주는점을 시작으로, RPR을 개선하는 논문을 발표했다.

Shaw의 논문은 2018 4월에 발표되었고, Huang의 논문은 2018 12월에 발표 되었다.

Music Transformer (https://arxiv.org/abs/1809.04281)

Huang은 Skewing Mechanism으로 GPU 메모리를 더 효율적으로 사용하는 Relative Positional Attention을 소개하였다. 가장 중요한 핵심은, Distance Matrix에서 임베딩을 가져오는 부분이다.

우선 위에서 했듯이 우리는 (2s+1, d)의 임베딩 테이블을 초기화 했으나, 정작 사용하는 임베딩은 (2s-1)개 이다.

5개의 단어로 예를 들면 앞으로 4개, 뒤로 4개, 자신 1개 (총 9개)를 사용한다.

따라서 임베딩 테이블을 (2s-1, d)로 초기화를 해준다.

그 다음, scaled dot product연산을 진행한다.

q_emb는 [b, s, 2s-1]의 값을 가지고 있다.

예시의 값은 [2, 5, 9]이며, 

모든 RPR을 생각해보면, 아래 그림을 그려볼수 있다.

왼쪽의 테이블처럼, 첫번째 단어는 [4,5,6,7,8]의 인덱스,

두번째 단어는 [3,4,5,6,7]의 인덱스를 가진다.

조금더 크게 확장해보면, 행렬에서 아래와 같은 위치를 가진다.

빗금친 행렬의 요소를 추출하기 위해서 for문을 돌리기보다는, Huang이 소개한 Skewing을 통해서 추출할수 있다.

자세한 방법은 다음과 같다.

실제로 그림을 그려서 어떻게 가능한지에 대해서 확인해보면, 아래와 같다.

이렇게 Skewing을 통해서 RPR을 구하는데 더욱 효과적으로 메모리를 관리 할 수 있다.

Skewing을 사용하여 RPR과 MHA를 구현해보면 이를 이해하는데 더욱 도움이 될 것 같다.

다음 글은 Llama2에 적용된 Rotary Embedding에 대해서 설명해보고자 한다.