예바의 LAB20 [INSIGHT] 딥러닝에서 Tensor로 연산 효율 개선하기 2025.01.04 딥러닝을 위한 모델의 코드에서 시간 및 메모리 효율을 높이기 위해 주로 Tensor 연산을 사용한다. 인공지능 모델의 코드를 Tensor 연산을 제대로 고려하지 않은 채, 평소에 프로그래밍 언어를 배우던 방식으로 코드를 작성하였다.그러다 보니, Tensor 연산의 이점을 간과하고 상당히 비효율적인 for문을 사용하였다. 이를 개선하였더니, 기존의 모델과 비교하여 70% 가량의 실행 시간을 단축할 수 있었다. 왜 딥러닝에서 Tensor 연산을 사용할까?1. 연산 동시 수행 및 병렬 처리 : 텐서 연산은 GPU에서 벡터화 연산으로 처리되기에 여러 연산이 동시에 수행2. 메모리 효율 : 불필요한 데이터 복사 및 추가적인 메모리 사용 최소화 Tensor 연산화 과정Cross Attention.. 2025. 3. 15. [논문 발표] Differential Transformer 2024.11.15논문 "Differential Transformer"을 읽고 랩미팅 시간에 발표한 자료입니다. 2024. 11. 16. [프로젝트] Samsung AI Challenge: MLFF Fields 2024 Samsung AI Challenge: Machine Learning Force Fields 2024 회고록 (2024.08.05 ~ 2024.09.13)Dream 챌린지에 이어 바로 시작하게 된 Samsung AI Challenge: Machine Learning Force Fields이다. 이 챌린지에서 요구하는 Task는 입력된 원자 구조로부터 시스템의 에너지 및 힘을 예측하면서 예측값에 대한 uncertainty를 모두 출력하는 것이다. 우리에게 원자 구조에 대한 정보를 xyz 파일 포맷으로 주어졌으며 모델을 처음부터 설계하기보다는 기존의 MLFF 모델을 변형하는 방향으로 챌린지를 진행하였다. 프로젝트 내의 역할#1. MLFF(Machine Learning Force Fields) 모델과 데이터셋.. 2024. 9. 18. [프로젝트] Dream Olfactory Challenge 2024 Dream Olfactory Challenge 2024 회고록 (2024.05.01 ~ 2024.08.02)나의 첫 인공지능 프로젝트로, Synapse에서 진행하는 Dream Olfactory Challenge이다. 해당 챌린지에서 요구한 Task는 2개의 분자 혼합물 간의 냄새 유사도 예측이다. 우리에게 주어진 데이터로는, Mixture의 구성 요소인 CID 리스트와, 2개의 Mixture 쌍과 유사도 수치가 있다. 최종적으로 제출한 모델의 아키텍처는 아래와 같다. 프로젝트 내의 역할초기에 전체적인 모델의 아키텍처를 구상할 때, 화학 분자와 후각 수용체 단백질로 2가지 컴포넌트로 이루어져 있었다. 아무래도 후각을 예측하기 위해서 Mixture를 구성하는 화학 성분도 중요하지만, 이에 반응하는 사람의 후.. 2024. 9. 1. 이전 1 2 3 4 5 다음
