목록2024/08/14 (1)

파이톨치

[BoostCamp AI Tech] RNN & LSTM & Attention

RNNRNN이라고 하는 것은 순환 신경망을 의미한다. 이것은 자기 자신을 순회하며 학습을 한다. 위의 그림과 비슷하게 이해하면 될 것이다. RNN의 이러한 성질 때문에, 이전 입력의 정보를 사용할 수 있다. 정보가 매번 들어오고 동일한 모델을 순회하기 때문이다. RNN은 이전 정보를 사용할 수 있다는 장점 때문에, 시계열 데이터를 활용하기 유리했다.  우리는 개발자니까, 좀 더 구체적으로 보자면 다음과 같다. 아래와 같은 구조를 n번 반복하는 것이다. 동일한 구조를 계속해서 사용하기 때문에 입력이 많아져도 모델의 크기가 증가하지 않는다. 입력으로는 문장이 들어올 수 있다. 각 입력 단어들이 x 값으로 들어간다.  하지만, RNN의 모양을 생각해보면 GPU의 장점을 사용할 수 없다. 앞에서 나온 출력 결과..
AI&ML/BoostCamp AI Tech 2024. 8. 14. 15:50
이전 Prev 1 Next 다음