파이톨치

데이터의 표현 이해데이터는 모델이나 관점에 따라 처리할 수 있는 형태로 변환되며, 어떤 관점에서 데이터를 바라보느냐에 따라 기대하는 표현 방식(Representation)이 달라집니다. (모델이 데이터를 어떻게 바라보는가를 loss 식 등을 통해서 학습하는 것이다)  단 하나의 의미만 가진 개체가 있을까?같은 이미지라도 해석하는 관점이나 관심 있게 보는 영역에 따라 그 의미는 다양해질 수 있습니다. 따라서 어떤 개체를 표현하는 방법 역시 다양해질 수 있습니다. 지도 학습의 한계모든 새로운 작업에 대해 주석(Annotation)을 추가해야 하는데, 이 과정은 시간과 비용이 많이 소모됩니다. 특히 바운딩 박스나 마스크와 같은 복잡한 주석은 더욱 비용이 높습니다. 따라서 적은 주석으로도 학습할 수 있는 모델은..

모델이 복잡한 데이터를 이해하고 처리하는 방식은 여러 가지가 있습니다.모델은 일반적으로 객체, 사람, 또는 시스템에 대한 정보적인 표현을 제공합니다.CNNCNN(합성곱 신경망)은 다음과 같은 방식으로 데이터를 처리합니다:Locality & Translation Invariance: 이미지의 어느 위치에서나 나타나는 지역 패턴에 집중하여 이미지의 특정 부분에서만 동작하지 않고 전체 이미지에 걸쳐 패턴을 학습합니다.Hierarchical Feature Learning: 단순한 특징에서 시작하여 점점 더 복잡한 특징을 학습합니다. 이는 이미지의 낮은 레벨에서 높은 레벨의 정보를 추출하는 것을 의미합니다.Weight Sharing: 동일한 필터를 이미지 전체에 사용하여 연산 효율성을 높이고 학습을 개선합니다.T..

현재 대회를 진행하면서 감을 못 잡겠는 부분 중 하나이다. 현재는 단순히 모델만을 사용했고 전처리를 건들지도 못했다. 어떻게 해야 모델을 성능을 높일 수 있을지 생각해보면 이미지 전처리를 해야 한다. 하지만 아직 잘 못하고 있다는 생각이 든다. 어떻게 해야할지 내용정리를 하면서 감을 잡아보려고 한다.  이미지 처리(Image Processing)는 컴퓨터 비전 파이프라인에서 중요한 단계이다. 이 과정은 모델의 성능과 일반화에 직접적인 영향을 미치며, 이미지로부터 의미 있는 특징(feature)과 표현(representation)을 추출하는 데 도움을 준다. 따라서 효과적인 이미지 처리를 통해 더 나은 모델 성능을 기대할 수 있다. Geometric Transformation은 이미지 처리에서 중요한 역할..

파이썬 환경 설정과 디버깅1. 파이썬 환경 설정1.1 파이썬의 버저닝파이썬을 설치할 때, 다양한 버전 중 적합한 버전을 선택하는 것이 중요합니다.파이썬 공식 홈페이지에는 여러 버전이 제공되는데, 각 버전 번호는 중요한 의미를 가지고 있습니다. 예를 들어, 3.8, 3.9, 3.10 등 버전 번호는 파이썬의 기능 추가, 성능 개선, 그리고 보안 업데이트 등을 나타냅니다.사용하려는 라이브러리가 특정 파이썬 버전과 호환되는지 확인하는 것이 매우 중요하며, 이 정보는 PyPI(Python Package Index)에서 라이브러리를 검색하여 확인할 수 있습니다. 파이썬을 설치하는 방법에는 여러 가지가 있습니다:파이썬 공식 홈페이지에서 설치 파일을 다운로드하여 설치conda를 사용해 설치Docker를 이용해 파이썬..

소프트웨어 엔지니어링전통적인 소프트웨어 엔지니어링은 소프트웨어 개발 과정에서 체계적이고 효율적인 방법을 사용하여 소프트웨어의 품질과 유지 보수성을 보장하는 학문이다. AI 역시 소프트웨어의 일종이며, 집중하는 문제가 다를 뿐 본질적으로는 소프트웨어 개발의 원칙에서 크게 벗어나지 않는다.좋은 소프트웨어는 모듈화가 잘 되어 있어야 하며, 코드 간의 의존성이 낮아야 한다. 각 기능이 독립적으로 동작해야 하며, 필요에 따라 쉽게 재사용될 수 있어야 한다. 코드를 레고 블록에 비유할 수 있는데, 각 블록을 잘 조립하면 멋진 결과물이 나오듯, 소프트웨어도 잘 설계된 모듈을 적절히 조합할 때 완성도가 높아진다. 또한, 소프트웨어는 철저히 테스트되어야 한다. 실제 환경에서 코드가 문제없이 작동하는지, 예기치 않은 변수..

2D 이미지를 이용해서 3D 형태를 만들 수 있을까? 이 질문에서 시작되는 분야라고 생각된다. 사진 한번 찍고, 90도 돌아가서 한번 더 찍으면 될거 같다. 우리가 세상을 인식하는 방식도 사실 비슷하다. 명암을 보고, 이리저리 둘러보고 사물을 파악한다. 우리의 머리 속에 세상을 이해하는 모델이 있고, 그 모델대로 세상을 이해한다. 그렇기에 사람마다 세상을 이해하는 방식이 제각각 다르다. 컴퓨터도 동일하다. 하지만 인간과의 차이점은 융통성이 없다는 점이다. 그래서 수식적으로 세상을 계산한다. Structure from Motion(SfM)이라고 하는 방식인 모양인데, 잘 모르겠으니 chatgpt한테 물어보자.  Structure from Motion (SfM)은 컴퓨터 비전과 포토그래메트리 분야에서 사용되..

Diffusion 모델Diffusion 모델은 수식이 좀 나온다. 사실, 이론은 재미 없다. 하지만 알아야 한다. 하지만 이론부터 배우기엔 내 뇌는 참을성이 없다. 그러니 결과부터 보자. 대박이다. 진짜. 그림을 좋아하는 입장에서 저런 고퀄리티의 그림을 빠른 시간에 뽑아낼 수 있는 기술은 놀랍다. 단순히 텍스트만 넣어주면 고퀄리티의 그림이 나오는 것이다. 사실 사용만 하는 입장에서는 몰라도 되는 것이다. 하지만, 원리를 알면 더 재밌지 않을까? (아니 사실 원리 노잼이다.)  Denoising Diffusion Probabilistic ModelsDiffusion은 확산을 의미한다. 여기서 확산은 노이즈가 추가되는 것을 의미하는 모양이다.이미지가 노이즈에서 시작해서 원래 이미지로 복구된다. 그 과정에서 ..

CLIPMulti Modal Model 최근 LLM에 이어서 LMM이 유행이다. 이것은 Large Multimodal Model의 약자이다. 하지만, 사람들은 아직 LMM에 대해 잘 알지 못한다.  멀티 모달이라고 하는 것은 하나의 인지분야만 사용하는 것이 아니다. 예를 들어, 시각, 청각, text에 대한 이해는 모두 하나에 대한 모달리티이다. 우리의 목적은 이것들을 여러개 사용하겠다는 것이다.  이러한 적용은 대표적으로 text to image 모델들이 있다. 텍스트를 넣으면 그에 맞는 이미지가 나오는 디퓨전 모델이다.  이러한 멀티 모달 분야에는 Maching, Translating, Referencing 방식의 학습이 있다.CLIP 모델의 경우 Matching 형태로 학습이 된다. (플라밍고 모델..