[부스트캠프] 인공지능 기초 다지기 - 딥러닝 - Layer

파이토치를 통한 Layer 분석

딥러닝은 현대 인공지능의 핵심 기술로, 그 기반에는 다양한 종류의 레이어가 있습니다. 이러한 레이어들은 신경망의 구조를 형성하며, 입력 데이터로부터 원하는 출력을 생성하는 데 중요한 역할을 합니다. 특히 파이토치(PyTorch)는 그 유연성과 사용자 친화적인 인터페이스로 많은 연구자와 개발자들 사이에서 사랑받고 있습니다.

 

이 포스트에서는 파이토치를 사용하여 딥러닝에서 사용되는 다양한 레이어들을 깊이 있게 살펴보고자 합니다. 각 레이어의 역할과 구현 방법을 이해함으로써, 딥러닝 모델을 설계하고 최적화하는 데 도움이 될 것입니다. 또한, 실제 코드 예제를 통해 이론적인 내용을 실질적으로 어떻게 구현할 수 있는지를 보여드릴 예정입니다.

 

시작하기에 앞서, 파이토치의 기본적인 개념과 함께 주요 레이어들이 어떻게 작동하는지에 대해 간단히 개요하겠습니다. 그 후에는 각 레이어의 특성과 예제를 통해 실습해 보겠습니다. 함께 딥러닝의 핵심을 파헤쳐보시죠!

 

딥러닝 레이어 깊이 알아보기: nn.Parameter

딥러닝 모델에서 학습 가능한 매개변수를 관리하고 다루는 것은 중요한 과제입니다. 파이토치(PyTorch)에서는 이를 효과적으로 처리하기 위해 nn.Parameter 클래스를 제공합니다.

이 클래스는 모델 내에서 학습 가능한 텐서를 감싸고, 자동 미분(autograd)을 통해 역전파 과정에서 경사하강법을 적용할 수 있게 해줍니다.

 

딥러닝 모델을 구성하는 많은 레이어들은 가중치(weight)와 편향(bias) 행렬로 이루어져 있습니다. 이들은 학습 과정에서 조정되어 입력 데이터에 대한 최적의 표현을 학습하는 데 중요한 역할을 합니다. nn.Parameter는 이러한 가중치와 편향을 표현하며, 파이토치 모델에서 간편하게 관리할 수 있게 해줍니다.

 

nn.Parameter의 주요 특징

1. 자동 미분 지원: nn.Parameter는 자동 미분 기능을 활용하여 모델 학습 시 역전파 알고리즘을 자동으로 적용할 수 있습니다. 이는 모델을 학습하는 과정에서 매우 중요한 기능입니다.
2. 텐서 래핑: 기존의 텐서를 nn.Parameter로 감싸면, 해당 텐서는 모델의 매개변수로서 식별되어 학습 가능한 상태로 유지됩니다.
3. 모듈 내 통합: 파이토치의 모듈(nn.Module) 클래스와 함께 사용될 때, nn.Parameter는 모듈 내의 학습 가능한 매개변수로 쉽게 관리될 수 있습니다.

Backward의 원리와 의미

딥러닝에서 역전파는 신경망의 가중치를 학습하기 위한 주요 알고리즘입니다. 이 과정은 손실 함수를 최소화하기 위해 각 가중치에 대한 기울기(gradient)를 계산하고, 이를 기반으로 경사하강법(gradient descent)을 사용하여 가중치를 조정하는 것을 목표로 합니다. 파이토치(PyTorch)에서는 자동 미분(automatic differentiation)을 통해 역전파를 지원합니다.

 

역전파의 핵심 개념

1. 기본 개념: 역전파는 신경망의 출력과 정답 간의 차이를 나타내는 손실 함수의 값으로부터 시작됩니다. 이 손실 함수는 주어진 입력 데이터와 실제 출력 사이의 오차를 측정합니다.
2. 미분 계산: 손실 함수를 각 파라미터로 미분하여 각 파라미터에 대한 기울기(gradient)를 계산합니다. 이 기울기는 해당 파라미터가 손실 함수에 얼마나 영향을 미치는지를 나타냅니다.
3. 역전파 알고리즘: 계산 그래프(computational graph)를 통해 역순으로 미분을 수행하여 각 노드(파라미터)에서의 기울기를 구합니다. 이는 chain rule을 활용하여 쉽게 계산할 수 있습니다.

역전파는 딥러닝 모델을 학습하기 위한 필수적인 과정으로, 파이토치의 자동 미분 기능을 활용하여 간편하게 구현할 수 있습니다. 이를 이해하고 실제 코드에서 적용하는 과정은 딥러닝 모델 개발에서 중요한 부분을 차지합니다. 

 

Linear Layer

Linear Layer는 딥러닝 모델에서 가장 기본적인 레이어 중 하나로, 입력과 출력 사이의 선형 변환을 수행합니다.

이는 일반적으로 행렬 곱셈과 편향(bias)의 덧셈으로 구성됩니다.

 

학습을 위해서는 nn.Parameter로 감싸야 한다. 

class CustomLinear(nn.Module):
    def __init__(self, input_features, output_features, bias=True):
        super(CustomLinear, self).__init__()
        self.input_features = input_features
        self.output_features = output_features
        self.bias = bias

        # 학습 가능한 매개변수 정의
        self.weight = nn.Parameter(torch.Tensor(output_features, input_features))
        if self.bias:
            self.bias = nn.Parameter(torch.Tensor(output_features))
        else:
            self.register_parameter('bias', None)

dot과 @의 차이점 

1. dot 연산 (torch.dot()): torch.dot() 함수는 두 개의 1차원 텐서(벡터)의 내적(dot product)을 계산합니다. 내적은 두 벡터의 대응하는 원소를 곱한 후 그 결과들을 모두 더한 값입니다.

 

2. @ 연산자 (행렬 곱셈): @ 연산자는 행렬 곱셈을 수행합니다. 이 연산은 두 텐서가 2차원 이상인 경우에 사용됩니다. 행렬 곱셈은 첫 번째 행렬의 열과 두 번째 행렬의 행을 내적하여 새로운 행렬을 생성하는 연산입니다.

 

데이터셋 클래스

데이터셋 클래스는 일반적으로 머신러닝 및 딥러닝 모델 학습에 사용되는 데이터를 적절히 관리하고 제공하는 역할을 합니다.

PyTorch에서는 torch.utils.data.Dataset 클래스를 상속받아 사용자 정의 데이터셋을 구현할 수 있습니다.

이 클래스를 상속받아 구현할 때는 반드시 __len__ 메서드와 __getitem__ 메서드를 오버라이딩해야 합니다.

 

import torch
from torch.utils.data import Dataset

class CustomDataset(Dataset):
    def __init__(self, data, targets):
        self.data = data
        self.targets = targets
        
    def __len__(self):
        return len(self.data)
    
    def __getitem__(self, index):
        data_sample = self.data[index]
        target = self.targets[index]
        return data_sample, target

 

데이터로더

DataLoader는 PyTorch에서 제공하는 유틸리티 클래스로, 데이터셋을 배치(batch) 단위로 불러와 모델에 공급하는 역할을 합니다.

하지만 몇 가지 중요한 점을 기억해야 합니다:

 

 

• 파라미터 최적화: DataLoader는 파라미터 최적화를 자동으로 수행하지 않습니다. 이 역할은 optimizer가 담당합니다. DataLoader는 주어진 데이터셋에서 배치를 생성하여 제공할 뿐, 모델 학습 과정에서 발생하는 파라미터 업데이트는 optimizer를 통해 이루어집니다.
• CPU와 GPU 전송: DataLoader는 CPU에서 계산된 데이터를 GPU 메모리로 자동으로 전송하지 않습니다. 이는 사용자가 직접 to(device) 메서드를 사용하여 데이터를 GPU로 전송해야 합니다. 따라서 device 설정은 사용자가 명시적으로 해주어야 합니다.
• 데이터베이스 관리: DataLoader는 데이터를 데이터베이스에 저장하거나 관리하지 않습니다. 일반적으로 DataLoader는 메모리 상에서 데이터를 로딩하여 모델에 공급하는 역할을 수행합니다. 따라서 데이터의 관리와 저장은 사용자가 별도로 처리해야 합니다.
• 데이터 전처리: DataLoader는 데이터 전처리를 자동으로 수행하지 않습니다. 일반적으로 데이터 전처리는 Dataset 클래스에서 수행되거나 별도의 전처리 파이프라인을 통해 이루어집니다. 예를 들어, 데이터셋 클래스에서 __getitem__ 메서드를 오버라이딩하여 데이터를 가져올 때 전처리를 적용할 수 있습니다. 이후 DataLoader는 전처리된 데이터를 배치 단위로 모델에 제공합니다.

 

따라서 DataLoader는 데이터를 효율적으로 로딩하고 배치 단위로 제공하는 역할을 수행하지만, 데이터의 전처리, GPU 전송 등의 추가적인 처리는 사용자가 수동으로 설정하고 관리해주어야 합니다.

 

모델 저장과 불러오기

 

모델을 저장하는 것은 딥러닝에서 중요한 작업 중 하나입니다. PyTorch에서는 모델을 저장하고 불러오는 기능을 제공합니다. 모델을 저장하는 과정은 다음과 같습니다:

 

모델 저장 방법

1. 모델 저장: 모델을 저장할 때는 모델의 상태(가중치 및 기타 매개변수)를 저장합니다.
   • model.state_dict(): 모델의 상태 사전을 반환합니다. 이 사전은 각 레이어의 가중치 및 편향을 포함하고 있습니다.
   • 'model.pth': 저장할 파일 경로를 지정합니다. 일반적으로 확장자 .pth를 사용합니다.
   • torch.save(model.state_dict(), 'model.pth')
2. 전체 모델 저장: 모델 아키텍처와 함께 상태를 저장할 수도 있습니다.
   • 이 방법은 모델의 구조와 모든 상태를 직렬화하여 저장합니다. 나중에 불러올 때 모델 클래스가 반드시 정의되어 있어야 합니다.
      
   • torch.save(model, 'model.pth')

모델 불러오기

모델을 불러올 때는 저장된 파일에서 상태를 불러와 모델에 적용합니다.

1. 모델 상태 불러오기:
   • 저장된 상태를 불러온 후 모델에 적용합니다. 모델 클래스는 먼저 정의되어 있어야 하며, load_state_dict를 사용하여 상태를 불러옵니다.
      
   • model = YourModelClass(*args, **kwargs) # 모델 클래스 정의
   • model.load_state_dict(torch.load('model.pth'))
2. 전체 모델 불러오기:
   • 저장된 전체 모델을 불러옵니다. 이 경우 모델 클래스가 미리 정의되어 있어야 하며, 불러온 모델은 바로 사용할 수 있습니다.
   • model = torch.load('model.pth')