파이톨치

RNNRNN이라고 하는 것은 순환 신경망을 의미한다. 이것은 자기 자신을 순회하며 학습을 한다. 위의 그림과 비슷하게 이해하면 될 것이다. RNN의 이러한 성질 때문에, 이전 입력의 정보를 사용할 수 있다. 정보가 매번 들어오고 동일한 모델을 순회하기 때문이다. RNN은 이전 정보를 사용할 수 있다는 장점 때문에, 시계열 데이터를 활용하기 유리했다.  우리는 개발자니까, 좀 더 구체적으로 보자면 다음과 같다. 아래와 같은 구조를 n번 반복하는 것이다. 동일한 구조를 계속해서 사용하기 때문에 입력이 많아져도 모델의 크기가 증가하지 않는다. 입력으로는 문장이 들어올 수 있다. 각 입력 단어들이 x 값으로 들어간다.  하지만, RNN의 모양을 생각해보면 GPU의 장점을 사용할 수 없다. 앞에서 나온 출력 결과..

머신러닝머신러닝은 어떠한 작업에 대해 경험과 함께 성능을 향상시키는 것이라고 한다. 우리도 학교를 다니며, 공부를 하고 지식을 알게 되고, 시험 성적을 받는다. 인간이 동작하는 방식과 유사하다.모델 평가 지표 모델에게 있어서 시험 성적은 무엇일까? 대표적으로 MAE와 MSE가 있다. Mean Absolute Error와 Mean Square Error의 약자이다.  MAE는 정답값과 예측값 사이의 절대값을 모두 더하고 평균을 내는 것이고, MSE는 정값값과 예측값 사이의 제곱을 한 후 평균을 내는 것이다. 아래 코드는 이미지에 대해서 거리를 계산하는 알고리즘이다. 한 행만 비교하는게 사실 잘 이해가 안 간다. import numpy as np class NearestNeighbor: def __init_..

선형 회귀란선형 회귀란 다음을 목표로 한다.1. 트레이닝 데이터 사용2. 특징 변수와 목표 변수 사이의 선형 관계 분석3. 이를 바탕으로 모델 학습4. 새로운 데이터 예측 집 값을 예측하는 데이터 파일이 csv 파일로 존재한다면 아래와 같이 불러온다. import pandas as pd# csv 파일은 기본적으로 ,를 기준으로 데이터를 구분한다.data = pd.read_csv('Boston-house-price-data.csv', sep=',') 이 데이터를 x와 t (target)으로 나누어 준다. x = data.iloc[:, 1].valuest = data.iloc[:, 2].values 선형 회귀 모델에서 입력층은 특징 변수를 포함한다. 학습 과정에서 가중치와 바이어스가 학습된다. 출력층은 예측..

텐서 생성과 조작t = torch.tensor([[1, 2, 3], [4, 5, 6]) 위와 같이 안에 list를 넣어주면 텐서가 생성된다. torch.from_numpy(n_arr).float() 넘파이로부터 tensor를 생성할 수도 있다. float() 매서드를 통해서 실수형으로 바꾸어 준다.  t.reshape(1, -1) 텐서 모양을 바꿀 수 있다. -1은 가능한 모양으로 알아서 맞춰달라는 뜻으로, 모양이 2x3 텐서 => 1x6이 될 것이다.  t.dtypet.shape 텐서의 모양과 텐서 내부의 타입을 확인할  수 있다.  stack과 cat에 대해stack과 cat은 유사한 동작을 하지만 다르다. cat 은 차원을 늘려주지 않고, 동일한 차원에서 확장하는 느낌이고, stack은 차원을 늘려..

An Imgae Is Worth 16x16 Words:Transformers For Image Recongnition At Scale  https://arxiv.org/abs/2010.11929 An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleWhile the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction wi..

문제 설명카카오배 양궁대회가 열렸습니다.라이언은 저번 카카오배 양궁대회 우승자이고 이번 대회에도 결승전까지 올라왔습니다. 결승전 상대는 어피치입니다.카카오배 양궁대회 운영위원회는 한 선수의 연속 우승보다는 다양한 선수들이 양궁대회에서 우승하기를 원합니다. 따라서, 양궁대회 운영위원회는 결승전 규칙을 전 대회 우승자인 라이언에게 불리하게 다음과 같이 정했습니다.어피치가 화살 n발을 다 쏜 후에 라이언이 화살 n발을 쏩니다.점수를 계산합니다.과녁판은 아래 사진처럼 생겼으며 가장 작은 원의 과녁 점수는 10점이고 가장 큰 원의 바깥쪽은 과녁 점수가 0점입니다.2.  만약, k(k는 1~10사이의 자연수)점을 어피치가 a발을 맞혔고 라이언이 b발을 맞혔을 경우 더 많은 화살을 k점에 맞힌 선수가 k 점을 가져갑..

부스트캠프에 대한 내 생각 부스트캠프에서 다루는 내용의 범위가 생각보다 방대했다.  컴퓨터를 전공한 사람이 보기에도 내용이 많다. 선형대수부터, 트랜스포머까지 다루며, 최적화는 물론 GPU를 어떻게 효율적으로 쓰는지에 대해서도 나온다. 전공을 배우는 과정에서도 이렇게 깊게 다루진 않는다.  문과분들에겐 미안하지만, 문과분들은 시작부터 빡센 이 내용을 따라가기 힘들 것이라는 생각이 들었다. 컴퓨터를 전공하면서, 인공지능에 진심으로 도전하려는 이들에게 적합한 내용이라는 생각이 들었다. 내 입장에서는 대학원에 가서 열심히 구르기 전에 여기서 굴러보는 것이 좋을 것이라는 확신이 들었다.  때문에 만약 합격을 하게 된다면, 여기서 알려주는 내용을 모두 흡수하고 이 집단에서 1등하는 것을 목표로 할 것이다. 단순히..

WandB Weights & Biases (WandB)는 머신러닝 실험을 추적하고 관리하는데 도움을 주는 도구입니다. 모델의 학습 과정을 시각화하고, 하이퍼파라미터를 조정하며, 팀원들과 결과를 공유할 수 있게 해줍니다. 이 도구는 주로 연구자들과 데이터 과학자들이 사용하는데, 머신러닝 모델의 성능을 향상시키고 실험을 체계적으로 관리할 수 있게 해줍니다. 다음은 WandB를 사용하는 예시입니다:# Define a callback to log metrics to WandBclass WandbCallback(tf.keras.callbacks.Callback): def on_epoch_end(self, epoch, logs=None): wandb.log(logs) # Define ..