파이톨치

2D 이미지를 이용해서 3D 형태를 만들 수 있을까? 이 질문에서 시작되는 분야라고 생각된다. 사진 한번 찍고, 90도 돌아가서 한번 더 찍으면 될거 같다. 우리가 세상을 인식하는 방식도 사실 비슷하다. 명암을 보고, 이리저리 둘러보고 사물을 파악한다. 우리의 머리 속에 세상을 이해하는 모델이 있고, 그 모델대로 세상을 이해한다. 그렇기에 사람마다 세상을 이해하는 방식이 제각각 다르다. 컴퓨터도 동일하다. 하지만 인간과의 차이점은 융통성이 없다는 점이다. 그래서 수식적으로 세상을 계산한다. Structure from Motion(SfM)이라고 하는 방식인 모양인데, 잘 모르겠으니 chatgpt한테 물어보자.  Structure from Motion (SfM)은 컴퓨터 비전과 포토그래메트리 분야에서 사용되..

CLIPMulti Modal Model 최근 LLM에 이어서 LMM이 유행이다. 이것은 Large Multimodal Model의 약자이다. 하지만, 사람들은 아직 LMM에 대해 잘 알지 못한다.  멀티 모달이라고 하는 것은 하나의 인지분야만 사용하는 것이 아니다. 예를 들어, 시각, 청각, text에 대한 이해는 모두 하나에 대한 모달리티이다. 우리의 목적은 이것들을 여러개 사용하겠다는 것이다.  이러한 적용은 대표적으로 text to image 모델들이 있다. 텍스트를 넣으면 그에 맞는 이미지가 나오는 디퓨전 모델이다.  이러한 멀티 모달 분야에는 Maching, Translating, Referencing 방식의 학습이 있다.CLIP 모델의 경우 Matching 형태로 학습이 된다. (플라밍고 모델..

최근 Grad-CAM에 대해 공부하면서 의문점이 생긴 것이 있어 정리한다. CNN 같은 경우에 역전파가 어떻게 진행되는지이다. 생각해보면 cnn의 경우 가중치를 공유하는 형태가 될 것이다. 스트라이드가 진행되면서 커널을 공유한다. 그렇다면 학습은 어떻게 할까? PyTorch의 CNN(Convolutional Neural Network)에서 커널(kernel)도 학습 가능한 파라미터입니다.커널의 값은 네트워크의 학습 과정에서 업데이트되는 가중치로 간주됩니다. 따라서 커널 자체가 학습의 대상입니다. 커널과 연결된 "가중치"만 학습되는 것이 아니라, 커널의 값(필터 값)도 학습을 통해 최적화됩니다.CNN에서 커널의 역할커널(필터): CNN에서 커널은 필터로도 불리며, 이미지나 입력 데이터의 특정한 패턴을 감지..

지난 글과 바로 이어지는 내용이다. 참고하도록 하자. https://jung0228.tistory.com/205 [BoostCamp AI Tech] Computer Vison OverviewComputer Visoncv (computer vison)은 가장 수요가 높은 분야 중 하나이다. 네이버 부스트캠프에서도 인원이 가장 많다. 또 응용할 수 있는 부분이 많다. (채용 공고도 많은 거 같다.)그렇기 때문에, 여기jung0228.tistory.com 지난 글에서는 CNN에 대해 다루었다. 이번 시간에는 신경망을 시각화하는 방법에 대해 다루려 한다. 파라미터를 분석하는 필터 시각화, 특징을 분석하는 t-SNE, GradCAM, DeepLIFT 등이 있다. 이러한 방법론은 모델에 대해 잘 이해하기 위한 것이..

Computer Visoncv (computer vison)은 가장 수요가 높은 분야 중 하나이다. 네이버 부스트캠프에서도 인원이 가장 많다. 또 응용할 수 있는 부분이 많다. (채용 공고도 많은 거 같다.)그렇기 때문에, 여기부터는 조금 힘을 주어 정리해보려고 한다. 나에게 필요한 내용도 많고 재밌는 내용도 많다. 이번엔 Overview인 만큼, 코드를 빼고 간단하게 보자. 신경망 구조 바로, 본론으로 들어가보자. 현대의 인공지능은 신경망 구조를 통해 돌아간다. 이미지를 숫자로 해석하고 이를 행렬곱 연산한다. 이렇게 보면 굉장히 간단한 수학이다. 하지만 그 결과는 간단하지 않고 오히려 위대하다.  한가지 재밌는 점은 저러한 가중치 또한 하나의 이미지 형태를 뛰기도 한다는 점이다. 아래는 각각의 클래스에..

# Polar 이건 포켓몬스터에서 많이 나오는 지표이다.  대충 내 지표로 보자면 다음과 같다.  fig = plt.figure(figsize=(4, 4))ax = fig.add_subplot(111, projection='polar')values = [8, 9, 10, 7, 10, 9]# values.append(values[0])stats = ["IQ", "GPA", "passion", "Coding", "Creativity", "Communication"]theta = np.linspace(0, 2*np.pi, 6, endpoint=False)ax.plot(theta, values, color='forestgreen')ax.fill(theta, values, color='forestgreen', a..

# 이미지 데이터 이미지 데이터를 통해 데이터 분석 및 모델링에서 중요함. Domain은 의료, 교통, 패션, 만화 등이 있다. 의료 분야가 시장에 가장 크다고 생각된다. (그럼 뭐 의학까지 배워야 하나?)  예시로 캐글에서 현재 진행 중인 척추 문제 분류가 있다. https://www.kaggle.com/competitions/rsna-2024-lumbar-spine-degenerative-classification RSNA 2024 Lumbar Spine Degenerative Classification | Kaggle www.kaggle.com # EDA 0번 과정: 문제 정의와 도메인에 대한 지식을 습득 한다.  저 문제를 풀기 위해서는 문제에 대해 이해를 하고 척추에 문제가 생기면 어떻게 되는지..

데이터 분석# 고전 통계과거 통계적 데이터 분석의 핵심은 추론이었다. 표본 데이터(수집된 데이터)를 통해서 모집단(전체 데이터)의 특징을 아는 것이었다. 예를 들어, 대푯값, 분포와 밀도, 상관관계, 가설 검정 등이 있다.  현대에서는 데이터에 대해 해석, 의사 결정, 예측이 필요하다.의사 결정의 보조 지표로 활용하기도 한다.  다양한 장애물들이 있는데,명확한 목적이 없고, 잘못된 목적이 있을 수 있고,데이터와 리소스의 부재가 있고,데이터에  # 데이터 문해력데이터 문해력이 중요하다. 이는 데이터를 건전한 목적과 윤리적인 방법으로 사용한다는 전제 하에,현실 세상의 문제에 대한 끊임없는 탐구를 통해 질문하고 답하는 능력이다.  1. 좋은 질문을 할 수 있는 역량 (나는 이게 굉장히 중요하지만, 어렵다고 생..