파이톨치

데이터 분석# 고전 통계과거 통계적 데이터 분석의 핵심은 추론이었다. 표본 데이터(수집된 데이터)를 통해서 모집단(전체 데이터)의 특징을 아는 것이었다. 예를 들어, 대푯값, 분포와 밀도, 상관관계, 가설 검정 등이 있다.  현대에서는 데이터에 대해 해석, 의사 결정, 예측이 필요하다.의사 결정의 보조 지표로 활용하기도 한다.  다양한 장애물들이 있는데,명확한 목적이 없고, 잘못된 목적이 있을 수 있고,데이터와 리소스의 부재가 있고,데이터에  # 데이터 문해력데이터 문해력이 중요하다. 이는 데이터를 건전한 목적과 윤리적인 방법으로 사용한다는 전제 하에,현실 세상의 문제에 대한 끊임없는 탐구를 통해 질문하고 답하는 능력이다.  1. 좋은 질문을 할 수 있는 역량 (나는 이게 굉장히 중요하지만, 어렵다고 생..

Attention 복습 과거에는 LSTM과 같은 순환 신경망(RNN) 구조를 사용할 때 입력 시퀀스의 정보를 처리하는 데 한계가 있었습니다. LSTM은 입력 시퀀스를 하나의 요약 벡터로 압축한 뒤, 그 정보를 디코더가 활용해 출력을 생성했습니다. 그러나 이 방식은 정보의 양을 압축하는 과정에서 손실이 발생할 수 있으며, 시퀀스의 길이가 길어질수록 유용한 정보를 충분히 전달하기 어려웠습니다. 이는 모델이 한 번에 처리할 수 있는 정보의 "창"이 매우 제한적이었음을 의미합니다.하지만 어텐션 메커니즘을 사용하면, 입력 시퀀스의 모든 요소에 언제든 접근할 수 있습니다. 즉, 정보를 제한된 요약 벡터에 압축할 필요 없이, 입력 시퀀스의 각 부분에서 필요한 정보를 직접 가져올 수 있습니다. 이로 인해 정보 창이 사..

RNNRNN이라고 하는 것은 순환 신경망을 의미한다. 이것은 자기 자신을 순회하며 학습을 한다. 위의 그림과 비슷하게 이해하면 될 것이다. RNN의 이러한 성질 때문에, 이전 입력의 정보를 사용할 수 있다. 정보가 매번 들어오고 동일한 모델을 순회하기 때문이다. RNN은 이전 정보를 사용할 수 있다는 장점 때문에, 시계열 데이터를 활용하기 유리했다.  우리는 개발자니까, 좀 더 구체적으로 보자면 다음과 같다. 아래와 같은 구조를 n번 반복하는 것이다. 동일한 구조를 계속해서 사용하기 때문에 입력이 많아져도 모델의 크기가 증가하지 않는다. 입력으로는 문장이 들어올 수 있다. 각 입력 단어들이 x 값으로 들어간다.  하지만, RNN의 모양을 생각해보면 GPU의 장점을 사용할 수 없다. 앞에서 나온 출력 결과..

머신러닝머신러닝은 어떠한 작업에 대해 경험과 함께 성능을 향상시키는 것이라고 한다. 우리도 학교를 다니며, 공부를 하고 지식을 알게 되고, 시험 성적을 받는다. 인간이 동작하는 방식과 유사하다.모델 평가 지표 모델에게 있어서 시험 성적은 무엇일까? 대표적으로 MAE와 MSE가 있다. Mean Absolute Error와 Mean Square Error의 약자이다.  MAE는 정답값과 예측값 사이의 절대값을 모두 더하고 평균을 내는 것이고, MSE는 정값값과 예측값 사이의 제곱을 한 후 평균을 내는 것이다. 아래 코드는 이미지에 대해서 거리를 계산하는 알고리즘이다. 한 행만 비교하는게 사실 잘 이해가 안 간다. import numpy as np class NearestNeighbor: def __init_..

선형 회귀란선형 회귀란 다음을 목표로 한다.1. 트레이닝 데이터 사용2. 특징 변수와 목표 변수 사이의 선형 관계 분석3. 이를 바탕으로 모델 학습4. 새로운 데이터 예측 집 값을 예측하는 데이터 파일이 csv 파일로 존재한다면 아래와 같이 불러온다. import pandas as pd# csv 파일은 기본적으로 ,를 기준으로 데이터를 구분한다.data = pd.read_csv('Boston-house-price-data.csv', sep=',') 이 데이터를 x와 t (target)으로 나누어 준다. x = data.iloc[:, 1].valuest = data.iloc[:, 2].values 선형 회귀 모델에서 입력층은 특징 변수를 포함한다. 학습 과정에서 가중치와 바이어스가 학습된다. 출력층은 예측..

텐서 생성과 조작t = torch.tensor([[1, 2, 3], [4, 5, 6]) 위와 같이 안에 list를 넣어주면 텐서가 생성된다. torch.from_numpy(n_arr).float() 넘파이로부터 tensor를 생성할 수도 있다. float() 매서드를 통해서 실수형으로 바꾸어 준다.  t.reshape(1, -1) 텐서 모양을 바꿀 수 있다. -1은 가능한 모양으로 알아서 맞춰달라는 뜻으로, 모양이 2x3 텐서 => 1x6이 될 것이다.  t.dtypet.shape 텐서의 모양과 텐서 내부의 타입을 확인할  수 있다.  stack과 cat에 대해stack과 cat은 유사한 동작을 하지만 다르다. cat 은 차원을 늘려주지 않고, 동일한 차원에서 확장하는 느낌이고, stack은 차원을 늘려..

An Imgae Is Worth 16x16 Words:Transformers For Image Recongnition At Scale  https://arxiv.org/abs/2010.11929 An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleWhile the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction wi..