🤖 어텐션 8단계 시뮬레이션_Made By Yangphago(with Copilot)

🎮 실험 제어판

예시 문단 선택:

📊 진행 상황

단계별 시뮬레이션을 시작하세요!

🔢 1단계: 인코더-디코더 구조

🔢 인코더 (Encoder)

한글 입력 대기 중...

➡️

🎯 디코더 (Decoder)

영어 출력 대기 중...

📍 2단계: 포지셔널 인코딩

일반 워드 임베딩 (위치 정보 없음)

포지셔널 인코딩 추가 (위치 정보 포함)

🎯 3-0단계: 멀티헤드 어텐션 시뮬

🔄 3-1단계: 인코더 멀티헤드 셀프 어텐션 (문장 내부 연관도)

Input

Score 1

Score 2

입력 단어를 클릭하면, 두 헤드(Score 1/2)의 가장 강한 연결 2개만 선으로 표시됩니다.

🎭 3-2단계: 디코더 멀티헤드 마스크드 셀프 어텐션

입력 시퀀스는 [START]로 시작합니다. 디코더 마스크는 현재 시점과 미래 시점(j ≥ i)의 위치에 -∞(계산상 매우 큰 음수)를 적용하여 softmax 후 확률이 0이 되도록 합니다. 이로써 [START] 행 전체와 대각선(자기 자신), 그리고 미래 토큰을 모두 볼 수 없게 만듭니다.

설명: "그러나 디코더는 출력 시퀀스를 입력으로 한 번에 받기 때문에, 현재 시점의 단어를 예측하고자 할 때 입력 시퀀스 행렬로부터 미래 시점의 단어까지도 참고할 수 있는 현상이 발생한다. 이를 방지하기 위해 디코더는 예측해야 하는 것의 정답을 알면 안 되도록 설계해야 한다."

👁️ 3-3단계: 인코더-디코더 크로스 멀티헤드 어텐션

🎓 4단계: 학습 전·후 인코더의 멀티헤드 셀프 어텐션 패턴 변화

중요: 학습으로 직접 바뀌는 것은 Attention Heatmap이 아니라 Q/K/V를 생성하는 가중치 행렬(Wq, Wk, Wv)입니다.

Attention(Q,K,V) = softmax(QK^T/√d_k)V, 여기서 Q= XWq, K= XWk, V= XWv

학습 전: Hidden State · a(가중치) · 각 항의 가중합 → C(context vector)

학습 대기 중...

손실: -

🧩 5단계: 학습 후 디코더 출력 (Cross Attention)

학습 이후, 인코더-디코더 크로스 어텐션이 정렬처럼 강화되어 각 한국어(인코더) 토큰과 대응하는 영어(디코더) 토큰의 값이 가장 크게 나타납니다. 시각화는 흑백(Grayscale) 히트맵으로 표현하며, 밝을수록 강한 연결입니다.

💡 현재 단계 설명

단계별 시뮬레이션을 시작하면 각 단계의 상세한 설명이 여기에 표시됩니다.

👍어텐션 8단계 시뮬레이션_Made By Yangphago(with Copilot)

인코더·디코더 → 포지셔널 인코딩 → 어텐션 → 셀프 어텐션 → 멀티헤드 → 최종 결과 → 학습 과정