파이톨치

1. 데이터 캐싱이란?데이터 캐싱은 반복적으로 사용되는 데이터를 미리 처리해 저장하거나 메모리에 일시적으로 보관해두어 재사용하는 기술입니다. 이를 통해 데이터 처리 속도를 높이고 학습에 필요한 데이터를 빠르게 불러올 수 있습니다. 2. 캐싱의 필요성반복적인 데이터 로딩 시간을 줄이고 I/O 병목 현상을 해소해 전체 학습 시간을 단축합니다.3. 캐싱이 필요한 부분반복적인 처리 과정을 찾아내고, 매번 에폭마다 동일한 이미지 파일을 벡터화하는 과정을 미리 진행해두는 것이 중요합니다.예를 들어, 1장의 이미지를 처리하는 시간이 8ms라면, 전체 이미지 수와 에폭 수에 비례하여 처리 시간이 증가합니다.4. 캐싱 적용 방법전체 이미지를 미리 벡터화 후 .npy 파일로 저장: 모든 이미지를 벡터화해 .npy 파일로 ..

학습 파이프라인의 전체적인 개요는 데이터 준비부터 모델 학습까지 일련의 단계를 효율적으로 연결하는 것을 목적으로 한다. 각각의 단계는 학습 과정에서 중요한 역할을 담당한다.학습 반복 루프 (전체)먼저, 어떤 작업(Task)을 수행할지 결정해야 한다. 이 작업에 적합한 데이터를 구성하고, Dataset 클래스와 DataLoader를 선언하여 모델을 학습시킬 준비를 한다. 이후 모델을 선택하고 학습을 진행하는 전체적인 과정을 반복하게 된다.Dataset과 DataLoader학습 과정에서 데이터를 처리하고 모델 학습에 사용하는 핵심 클래스이다. Dataset과 DataLoader를 활용하면 데이터를 불러오고 전처리하며 배치(Batch)로 나누어 학습에 적합한 형태로 제공할 수 있다.왜 사용하는가?데이터를 단순..