파이톨치

2D 이미지를 이용해서 3D 형태를 만들 수 있을까? 이 질문에서 시작되는 분야라고 생각된다. 사진 한번 찍고, 90도 돌아가서 한번 더 찍으면 될거 같다. 우리가 세상을 인식하는 방식도 사실 비슷하다. 명암을 보고, 이리저리 둘러보고 사물을 파악한다. 우리의 머리 속에 세상을 이해하는 모델이 있고, 그 모델대로 세상을 이해한다. 그렇기에 사람마다 세상을 이해하는 방식이 제각각 다르다. 컴퓨터도 동일하다. 하지만 인간과의 차이점은 융통성이 없다는 점이다. 그래서 수식적으로 세상을 계산한다. Structure from Motion(SfM)이라고 하는 방식인 모양인데, 잘 모르겠으니 chatgpt한테 물어보자.  Structure from Motion (SfM)은 컴퓨터 비전과 포토그래메트리 분야에서 사용되..

CLIPMulti Modal Model 최근 LLM에 이어서 LMM이 유행이다. 이것은 Large Multimodal Model의 약자이다. 하지만, 사람들은 아직 LMM에 대해 잘 알지 못한다.  멀티 모달이라고 하는 것은 하나의 인지분야만 사용하는 것이 아니다. 예를 들어, 시각, 청각, text에 대한 이해는 모두 하나에 대한 모달리티이다. 우리의 목적은 이것들을 여러개 사용하겠다는 것이다.  이러한 적용은 대표적으로 text to image 모델들이 있다. 텍스트를 넣으면 그에 맞는 이미지가 나오는 디퓨전 모델이다.  이러한 멀티 모달 분야에는 Maching, Translating, Referencing 방식의 학습이 있다.CLIP 모델의 경우 Matching 형태로 학습이 된다. (플라밍고 모델..

최근 Grad-CAM에 대해 공부하면서 의문점이 생긴 것이 있어 정리한다. CNN 같은 경우에 역전파가 어떻게 진행되는지이다. 생각해보면 cnn의 경우 가중치를 공유하는 형태가 될 것이다. 스트라이드가 진행되면서 커널을 공유한다. 그렇다면 학습은 어떻게 할까? PyTorch의 CNN(Convolutional Neural Network)에서 커널(kernel)도 학습 가능한 파라미터입니다.커널의 값은 네트워크의 학습 과정에서 업데이트되는 가중치로 간주됩니다. 따라서 커널 자체가 학습의 대상입니다. 커널과 연결된 "가중치"만 학습되는 것이 아니라, 커널의 값(필터 값)도 학습을 통해 최적화됩니다.CNN에서 커널의 역할커널(필터): CNN에서 커널은 필터로도 불리며, 이미지나 입력 데이터의 특정한 패턴을 감지..

지난 글과 바로 이어지는 내용이다. 참고하도록 하자. https://jung0228.tistory.com/205 [BoostCamp AI Tech] Computer Vison OverviewComputer Visoncv (computer vison)은 가장 수요가 높은 분야 중 하나이다. 네이버 부스트캠프에서도 인원이 가장 많다. 또 응용할 수 있는 부분이 많다. (채용 공고도 많은 거 같다.)그렇기 때문에, 여기jung0228.tistory.com 지난 글에서는 CNN에 대해 다루었다. 이번 시간에는 신경망을 시각화하는 방법에 대해 다루려 한다. 파라미터를 분석하는 필터 시각화, 특징을 분석하는 t-SNE, GradCAM, DeepLIFT 등이 있다. 이러한 방법론은 모델에 대해 잘 이해하기 위한 것이..

Computer Visoncv (computer vison)은 가장 수요가 높은 분야 중 하나이다. 네이버 부스트캠프에서도 인원이 가장 많다. 또 응용할 수 있는 부분이 많다. (채용 공고도 많은 거 같다.)그렇기 때문에, 여기부터는 조금 힘을 주어 정리해보려고 한다. 나에게 필요한 내용도 많고 재밌는 내용도 많다. 이번엔 Overview인 만큼, 코드를 빼고 간단하게 보자. 신경망 구조 바로, 본론으로 들어가보자. 현대의 인공지능은 신경망 구조를 통해 돌아간다. 이미지를 숫자로 해석하고 이를 행렬곱 연산한다. 이렇게 보면 굉장히 간단한 수학이다. 하지만 그 결과는 간단하지 않고 오히려 위대하다.  한가지 재밌는 점은 저러한 가중치 또한 하나의 이미지 형태를 뛰기도 한다는 점이다. 아래는 각각의 클래스에..

https://www.youtube.com/watch?v=V9ztoMuSX8w&t=3007s  위 영상에 나오는 코드들과 개념들을 정리한 글입니다.코드들을 사용하려면 돈을 내야하길래 직접 작성했습니다.  정리된 코드는 깃허브에 올렸습니다. https://github.com/jung0228/ros/tree/main/2_wheel_bot ros/2_wheel_bot at main · jung0228/rosContribute to jung0228/ros development by creating an account on GitHub.github.com 이 프로젝트는 가제보와 ros가 연동되어 돌아갑니다.  Gazebo File (robot.gazebo) ... 전체적으로 위와 같은 구조를 가지고 있습니다. ..

It is ubuntu, i did not install korean. haha... so, let's start in english!  i watched this tutorial and i will just write commend lines.i love this video but it need to pay some money to vedio maker. i have complain this, so i made this page.  https://www.youtube.com/watch?v=PRs48cRHiG8&t=573s # install ROS2 iron  first, it need ubuntu 22.04. plz check your version. lsb_release -a https://docs...

# Polar 이건 포켓몬스터에서 많이 나오는 지표이다.  대충 내 지표로 보자면 다음과 같다.  fig = plt.figure(figsize=(4, 4))ax = fig.add_subplot(111, projection='polar')values = [8, 9, 10, 7, 10, 9]# values.append(values[0])stats = ["IQ", "GPA", "passion", "Coding", "Creativity", "Communication"]theta = np.linspace(0, 2*np.pi, 6, endpoint=False)ax.plot(theta, values, color='forestgreen')ax.fill(theta, values, color='forestgreen', a..