딥러닝2 [INSIGHT] 딥러닝에서 Tensor로 연산 효율 개선하기 2025.01.04 딥러닝을 위한 모델의 코드에서 시간 및 메모리 효율을 높이기 위해 주로 Tensor 연산을 사용한다. 인공지능 모델의 코드를 Tensor 연산을 제대로 고려하지 않은 채, 평소에 프로그래밍 언어를 배우던 방식으로 코드를 작성하였다.그러다 보니, Tensor 연산의 이점을 간과하고 상당히 비효율적인 for문을 사용하였다. 이를 개선하였더니, 기존의 모델과 비교하여 70% 가량의 실행 시간을 단축할 수 있었다. 왜 딥러닝에서 Tensor 연산을 사용할까?1. 연산 동시 수행 및 병렬 처리 : 텐서 연산은 GPU에서 벡터화 연산으로 처리되기에 여러 연산이 동시에 수행2. 메모리 효율 : 불필요한 데이터 복사 및 추가적인 메모리 사용 최소화 Tensor 연산화 과정Cross Attention.. 2025. 3. 15. 원-핫 인코딩 (One-Hot Encoding) 원-핫 인코딩 (One- Hot Encoding) 1. 인코딩이란? 어떠한 정보를 다른 형태로 바꾸는 행위를 인코딩이라 한다. 인공지능에 데이터를 넣어줄 때 컴퓨터가 이해할 수 있는 방식의 데이터로 변환해야 하므로 중요한 개념 중 하나이다. 2. 원-핫 인코딩 자연어 처리에서 단어를 숫자로 표현하는 가장 기본적인 방식이다. 1단계. 단어 집합에 속한 모든 단어에 고유한 정수를 각각 부여 2단계. 표현하고자 하는 단어에 해당하는 정수를 인덱스로 하는 위치에 1 부여, 나머지 0 부여 * 단어 집합 : 서로 다른 단어들의 집합 (500개의 단어가 존재하면 단어 집합의 크기도 500이다) 3. 과정 "나는 오늘 아침부터 학교를 간다"라는 문장을 기준으로 원-핫 인코딩을 통해 수행한다고 하자. [1단계] 문장의.. 2024. 2. 25. 이전 1 다음
