파이톨치

파이토치를 통한 Layer 분석딥러닝은 현대 인공지능의 핵심 기술로, 그 기반에는 다양한 종류의 레이어가 있습니다. 이러한 레이어들은 신경망의 구조를 형성하며, 입력 데이터로부터 원하는 출력을 생성하는 데 중요한 역할을 합니다. 특히 파이토치(PyTorch)는 그 유연성과 사용자 친화적인 인터페이스로 많은 연구자와 개발자들 사이에서 사랑받고 있습니다. 이 포스트에서는 파이토치를 사용하여 딥러닝에서 사용되는 다양한 레이어들을 깊이 있게 살펴보고자 합니다. 각 레이어의 역할과 구현 방법을 이해함으로써, 딥러닝 모델을 설계하고 최적화하는 데 도움이 될 것입니다. 또한, 실제 코드 예제를 통해 이론적인 내용을 실질적으로 어떻게 구현할 수 있는지를 보여드릴 예정입니다. 시작하기에 앞서, 파이토치의 기본적인 개념과..

딥러닝딥러닝은 인공신경망(artificial neural networks)을 기반으로 한 머신러닝의 한 분야로, 데이터에서 패턴을 학습하여 의미 있는 정보를 추출하거나 예측하는 기술입니다. 이 기술은 특히 복잡한 데이터 구조나 대규모 데이터셋에서 뛰어난 성능을 발휘합니다. 딥러닝의 핵심은 이러한 인공신경망을 훈련시키는 과정입니다. 데이터와 해당 데이터의 정답을 기반으로 네트워크의 가중치를 최적화하며 학습합니다. 이 과정에서 역전파(backpropagation) 알고리즘이 사용되어 네트워크의 오차를 줄이기 위해 각 층의 가중치를 조정합니다. 딥러닝 프레임워크 딥러닝 프레임워크는 딥러닝 모델을 구축하고 훈련시키기 위한 도구들의 집합을 말합니다. 각 프레임워크마다 특성과 장단점이 있으며, 주요한 몇 가지를 ..

확률론인공지능 분야에서 확률론과 딥러닝의 관계는 여러 가지 이유로 중요합니다: 불확실성 모델링: 현실 세계에서 데이터와 문제는 종종 불확실성을 내포하고 있습니다. 확률론은 이러한 불확실성을 효과적으로 모델링하고 다룰 수 있는 수학적 도구를 제공합니다. 딥러닝 모델 역시 확률적으로 출력을 내는 경우가 많고, 이를 통해 모델의 불확실성을 추정하거나 관리할 수 있습니다. 통계적 학습 이론: 확률론은 통계적 학습 이론의 기초를 제공합니다. 학습 데이터로부터 모델을 학습시킬 때, 데이터가 표본일 뿐인데 이를 바탕으로 일반화된 패턴이나 결정을 내리기 위해 확률론적 접근이 필요합니다. 특히, 작은 데이터셋이나 노이즈가 많은 데이터에서 모델을 효과적으로 학습시키기 위해 확률론적 방법이 중요합니다. 베이지안 추론: 베이..

네이버 부스트 캠프를 지원하려고 봤더니, 프리코드 라는 것이 있어서 정리해보려 한다. 학부 과정에서 봤던 내용들이 새록새록 기억 난다. 봤는데 기억 나지 않는 내용도 있고, 처음 본 내용도 있다.  하지만, 나는 장기 기억력이 그렇게 좋은 편은 아니기에 나중에 다시 보기 위해 정리하려 한다.  다루는 내용의 범위가 너무나 방대하여 시험이 있는 3일 뒤까지 정리해보려 한다.  기초 수학 우선, 기초적인 선형대수와 확률에 대해 다루려 한다. AI가 학습하는데 있어서 가장 중요한 것은 벡터일 것이다. 때문에 벡터에 대한 수학을 이해하는 것은 기초이다.  벡터와 노름 (Norm)AI의 학습에서 벡터는 데이터를 표현하는 기본 단위입니다. 벡터를 이해하고 다루는 능력은 머신 러닝과 딥 러닝 모델을 구축하는 데 필수..

# Interplay between routing, forwarding 어떤 라우터든지, 각 라우터는 네트워크 코어에 있는shortest path를 알아야 한다.  모든 라우터 쌍에 대해서 알아야 한다. single source 에서 all destination 로 가는 대해 모든 path의 shortest paht를 알아야 한다. 중요한 것은 routing algorithm을 돌리면 end-end path가 정해지고, forwarding table이 local forwarding을 결정한다. 요약하면, 라우팅 알고리즘은 전체 네트워크 경로를 결정하고, 포워딩 테이블은 각 라우터에서 로컬 포워딩 방식을 결정합니다. # 그래프 추상화  각 vertex는 라우터이고, 연결은 엣지이다. 엣지의 cost는 ba..

Principles of congestion control flow control 과 다르게, core network의 문제를 추측해야 한다. core network의 혼잡이 발생하지 않게 해서, retransmit 을 줄이는게 목적이다. 그러기 위해서는 보내는 쪽이 천천히 보내야 한다.  troughput을 보장하기 위해서 slice window 기법을 사용하고, 클수록 좋긴하지만 congestion이 발생할 확률도 올라간다. 들어가는 throughput을 람다 in 으로 하고, 나가는 것을 lambda out으로 한다. 중간 코어 네트워크에 문제가 생기면 보낸 애를 또 보내는 retransmition이 생긴다.drop, time-out등의 이유로, retrasmit 발생한다. 이게 많을 수록, 원래 ..

transport layer 전송 프로토콜은 종단 시스템(End System)에서 실행. Process 간의 논리적인(Logical) 소통이다. 송신 측: 애플리케이션 메시지를 세그먼트로 나누어 네트워크 계층으로 전달수신 측: 세그먼트를 다시 메시지로 재조립하여 애플리케이션 계층으로 전달 신뢰성 있는 통신, in-order 통신이 필요한 경우 TCP를 사용한다.혼잡 제어, 흐르 제어, 연결 설정 (hand-shaking) 등을 한다. unreliable, unordered 통신인 경우 UDP를 사용한다.이는 "최선의 노력" (best-effort) 방식으로 동작하는 IP의 단순한 확장다음과 같은 서비스는 제공되지 않습니다:지연 보장 (delay guarantees)대역폭 보장 (bandwidth guar..

TCP 개요포인트 투 포인트 연결소켓과 소켓 사이의 연결을 보장합니다. 송신자와 수신자가 1:1로 연결되어 통신합니다.신뢰성 있고, 순서대로 통신하며, 경계가 없음TCP는 데이터의 신뢰성을 보장하며, 데이터가 전송된 순서대로 도착하도록 합니다. 또한, 메시지 경계를 구분하지 않기 때문에 스트림으로 데이터를 전송합니다.슬라이딩 윈도우를 사용한 파이프라인 통신TCP는 슬라이딩 윈도우 방식을 사용하여 데이터를 파이프라인으로 전송합니다. 한 번에 보내는 데이터의 양은 네트워크와 버퍼의 상태에 따라 달라집니다.예: 네트워크가 혼잡할 경우, 혼잡 제어를 통해 전송하는 데이터 양을 줄입니다. 플로우 제어와 혼잡 제어 메커니즘에 따라 데이터 전송량이 조절됩니다.양방향 통신 및 MSSTCP는 양방향 통신을 지원하며, 대..