파이톨치

Diffusion 모델Diffusion 모델은 수식이 좀 나온다. 사실, 이론은 재미 없다. 하지만 알아야 한다. 하지만 이론부터 배우기엔 내 뇌는 참을성이 없다. 그러니 결과부터 보자. 대박이다. 진짜. 그림을 좋아하는 입장에서 저런 고퀄리티의 그림을 빠른 시간에 뽑아낼 수 있는 기술은 놀랍다. 단순히 텍스트만 넣어주면 고퀄리티의 그림이 나오는 것이다. 사실 사용만 하는 입장에서는 몰라도 되는 것이다. 하지만, 원리를 알면 더 재밌지 않을까? (아니 사실 원리 노잼이다.)  Denoising Diffusion Probabilistic ModelsDiffusion은 확산을 의미한다. 여기서 확산은 노이즈가 추가되는 것을 의미하는 모양이다.이미지가 노이즈에서 시작해서 원래 이미지로 복구된다. 그 과정에서 ..

CLIPMulti Modal Model 최근 LLM에 이어서 LMM이 유행이다. 이것은 Large Multimodal Model의 약자이다. 하지만, 사람들은 아직 LMM에 대해 잘 알지 못한다.  멀티 모달이라고 하는 것은 하나의 인지분야만 사용하는 것이 아니다. 예를 들어, 시각, 청각, text에 대한 이해는 모두 하나에 대한 모달리티이다. 우리의 목적은 이것들을 여러개 사용하겠다는 것이다.  이러한 적용은 대표적으로 text to image 모델들이 있다. 텍스트를 넣으면 그에 맞는 이미지가 나오는 디퓨전 모델이다.  이러한 멀티 모달 분야에는 Maching, Translating, Referencing 방식의 학습이 있다.CLIP 모델의 경우 Matching 형태로 학습이 된다. (플라밍고 모델..