파이톨치

R-CNN (Regions with Convolutional Neural Networks)OverviewR-CNN은 객체 검출(Object Detection) 문제를 해결하기 위해 등장한 초기 모델입니다. 이미지를 탐지할 때, 먼저 잠재적인 객체 영역을 제안하는 방식을 사용하여 후보 영역에서 특징을 추출하고, 해당 영역이 특정 객체 클래스에 속하는지 분류합니다.PipelineSelective Search: 먼저 Selective Search 알고리즘을 사용하여 이미지를 여러 개의 후보 영역(Region Proposals)으로 분할합니다. (시간이 오래 걸린다는 단점이 있다) CNN 적용: 각 후보 영역을 고정된 크기로 조정한 후, 사전 학습된 CNN(Convolutional Neural Network)에..

모델 학습이 완료되었으면 이제 검증 데이터로 성능을 평가하여 그 결과를 확인할 차례입니다. 여러 실험을 통해 만들어진 모델 중 어떤 것이 가장 적절하게 문제를 해결하는지 확인하는 것이 중요합니다. 모델의 성능을 검증하는 지표는 다음과 같습니다.1. Classification Metrics모델 개발 및 테스트에 있어서 방향을 제시해주는 나침반 같은 역할을 하는 것이 분류 지표입니다. 또한, 다른 모델과의 성능을 비교할 기준이 되며, 문제 정의에 따라 올바른 지표를 선택하는 것이 중요합니다. 대표적인 지표로는 True Positive (TP), True Negative (TN), False Positive (FP), False Negative (FN) 등이 있습니다.Precision & Recall이 두 가..

1. 데이터 캐싱이란?데이터 캐싱은 반복적으로 사용되는 데이터를 미리 처리해 저장하거나 메모리에 일시적으로 보관해두어 재사용하는 기술입니다. 이를 통해 데이터 처리 속도를 높이고 학습에 필요한 데이터를 빠르게 불러올 수 있습니다. 2. 캐싱의 필요성반복적인 데이터 로딩 시간을 줄이고 I/O 병목 현상을 해소해 전체 학습 시간을 단축합니다.3. 캐싱이 필요한 부분반복적인 처리 과정을 찾아내고, 매번 에폭마다 동일한 이미지 파일을 벡터화하는 과정을 미리 진행해두는 것이 중요합니다.예를 들어, 1장의 이미지를 처리하는 시간이 8ms라면, 전체 이미지 수와 에폭 수에 비례하여 처리 시간이 증가합니다.4. 캐싱 적용 방법전체 이미지를 미리 벡터화 후 .npy 파일로 저장: 모든 이미지를 벡터화해 .npy 파일로 ..

2D 이미지를 이용해서 3D 형태를 만들 수 있을까? 이 질문에서 시작되는 분야라고 생각된다. 사진 한번 찍고, 90도 돌아가서 한번 더 찍으면 될거 같다. 우리가 세상을 인식하는 방식도 사실 비슷하다. 명암을 보고, 이리저리 둘러보고 사물을 파악한다. 우리의 머리 속에 세상을 이해하는 모델이 있고, 그 모델대로 세상을 이해한다. 그렇기에 사람마다 세상을 이해하는 방식이 제각각 다르다. 컴퓨터도 동일하다. 하지만 인간과의 차이점은 융통성이 없다는 점이다. 그래서 수식적으로 세상을 계산한다. Structure from Motion(SfM)이라고 하는 방식인 모양인데, 잘 모르겠으니 chatgpt한테 물어보자.  Structure from Motion (SfM)은 컴퓨터 비전과 포토그래메트리 분야에서 사용되..

CLIPMulti Modal Model 최근 LLM에 이어서 LMM이 유행이다. 이것은 Large Multimodal Model의 약자이다. 하지만, 사람들은 아직 LMM에 대해 잘 알지 못한다.  멀티 모달이라고 하는 것은 하나의 인지분야만 사용하는 것이 아니다. 예를 들어, 시각, 청각, text에 대한 이해는 모두 하나에 대한 모달리티이다. 우리의 목적은 이것들을 여러개 사용하겠다는 것이다.  이러한 적용은 대표적으로 text to image 모델들이 있다. 텍스트를 넣으면 그에 맞는 이미지가 나오는 디퓨전 모델이다.  이러한 멀티 모달 분야에는 Maching, Translating, Referencing 방식의 학습이 있다.CLIP 모델의 경우 Matching 형태로 학습이 된다. (플라밍고 모델..

최근 Grad-CAM에 대해 공부하면서 의문점이 생긴 것이 있어 정리한다. CNN 같은 경우에 역전파가 어떻게 진행되는지이다. 생각해보면 cnn의 경우 가중치를 공유하는 형태가 될 것이다. 스트라이드가 진행되면서 커널을 공유한다. 그렇다면 학습은 어떻게 할까? PyTorch의 CNN(Convolutional Neural Network)에서 커널(kernel)도 학습 가능한 파라미터입니다.커널의 값은 네트워크의 학습 과정에서 업데이트되는 가중치로 간주됩니다. 따라서 커널 자체가 학습의 대상입니다. 커널과 연결된 "가중치"만 학습되는 것이 아니라, 커널의 값(필터 값)도 학습을 통해 최적화됩니다.CNN에서 커널의 역할커널(필터): CNN에서 커널은 필터로도 불리며, 이미지나 입력 데이터의 특정한 패턴을 감지..

지난 글과 바로 이어지는 내용이다. 참고하도록 하자. https://jung0228.tistory.com/205 [BoostCamp AI Tech] Computer Vison OverviewComputer Visoncv (computer vison)은 가장 수요가 높은 분야 중 하나이다. 네이버 부스트캠프에서도 인원이 가장 많다. 또 응용할 수 있는 부분이 많다. (채용 공고도 많은 거 같다.)그렇기 때문에, 여기jung0228.tistory.com 지난 글에서는 CNN에 대해 다루었다. 이번 시간에는 신경망을 시각화하는 방법에 대해 다루려 한다. 파라미터를 분석하는 필터 시각화, 특징을 분석하는 t-SNE, GradCAM, DeepLIFT 등이 있다. 이러한 방법론은 모델에 대해 잘 이해하기 위한 것이..

Computer Visoncv (computer vison)은 가장 수요가 높은 분야 중 하나이다. 네이버 부스트캠프에서도 인원이 가장 많다. 또 응용할 수 있는 부분이 많다. (채용 공고도 많은 거 같다.)그렇기 때문에, 여기부터는 조금 힘을 주어 정리해보려고 한다. 나에게 필요한 내용도 많고 재밌는 내용도 많다. 이번엔 Overview인 만큼, 코드를 빼고 간단하게 보자. 신경망 구조 바로, 본론으로 들어가보자. 현대의 인공지능은 신경망 구조를 통해 돌아간다. 이미지를 숫자로 해석하고 이를 행렬곱 연산한다. 이렇게 보면 굉장히 간단한 수학이다. 하지만 그 결과는 간단하지 않고 오히려 위대하다.  한가지 재밌는 점은 저러한 가중치 또한 하나의 이미지 형태를 뛰기도 한다는 점이다. 아래는 각각의 클래스에..