예바의 LAB23 [INSIGHT] 서버 내의 폴더 압축하여 rsync로 전송하기 연구를 진행하면서 서버에 있는 대용량 폴더를 다른 서버로 옮겨야 할 일이 자주 생기게 된다. 매번 폴더 압축하고 rsync로 전송하는 명령어를 찾아보는게 번거로워 글을 작성하여 정리해보고자 한다. 1. tar로 폴더 압축하기대용량의 폴더를 더 원할하게 전송하기 위해서 tar 명령어로 압축을 진행한다.tar -czvf FOLDER_NAME.tar.gz FOLDER_NAME/-c: 새로운 tar 파일 생성-z: gzip 압축 적용-v: (옵션) 압축 진행 상황 출력-f: 출력 파일 이름 지정2. rsync로 다른 서버에 전송하기rsync는 파일 전송 및 동기화에 사용되는 명령어로 다른 서버에 파일을 전송하는데 사용한다. scp도 비슷한 용도로 사용되지만, 개인적으로 scp는 파일이 손상되는 경우도 있어서 r.. 2025. 5. 5. [INSIGHT] RECOMB 2025 (국제 컴퓨터생물학회) 포스터 발표 RECOMB 2025 (컴퓨터생물학회) 포스터 발표 회고록 (2025.04.26 ~ 2025.04.29)정말 운이 좋게도 우수 등급 국제 컴퓨터생물학회인 RECOMB 2025가 한국에서 개최되었다. 해외에서 열렸더라면 포스터 발표만으로 항공료, 숙박료 등을 연구비로 지원 받기 어려웠을텐데, 이번에 연세대학교에서 열려 비싸지만.. 가성비(?) 있게 좋은 기회를 얻을 수 있었다. RECOMB 포스터 신청RECOMB 2025 학회에 포스터를 제출하기 위해서 1월 27일 쯤에 저자 정보와 함께 초록을 작성하여 신청하였다. 관련 내용은 아직 연구가 완전히 마무리 된 것은 아니라, 혹시 몰라서 모자이크 처리해놓았다. 이 당시 학회에 처음 신청해보았던 것이라 여러 사진을 기록으로 남겼다. RECOMB 포스터 제작포스.. 2025. 4. 29. [INSIGHT] 딥러닝에서 Tensor로 연산 효율 개선하기 2025.01.04 딥러닝을 위한 모델의 코드에서 시간 및 메모리 효율을 높이기 위해 주로 Tensor 연산을 사용한다. 인공지능 모델의 코드를 Tensor 연산을 제대로 고려하지 않은 채, 평소에 프로그래밍 언어를 배우던 방식으로 코드를 작성하였다.그러다 보니, Tensor 연산의 이점을 간과하고 상당히 비효율적인 for문을 사용하였다. 이를 개선하였더니, 기존의 모델과 비교하여 70% 가량의 실행 시간을 단축할 수 있었다. 왜 딥러닝에서 Tensor 연산을 사용할까?1. 연산 동시 수행 및 병렬 처리 : 텐서 연산은 GPU에서 벡터화 연산으로 처리되기에 여러 연산이 동시에 수행2. 메모리 효율 : 불필요한 데이터 복사 및 추가적인 메모리 사용 최소화 Tensor 연산화 과정Cross Attention.. 2025. 3. 15. [INSIGHT] Pytorch Profiler로 모델의 메모리 연산 및 실행시간 분석하기 Pytorch ProfilerPyTorch에서 실행된 연산들의 성능을 분석하는 데 사용되는 도구로, CPU와 GPU(CUDA)에서 실행되는 연산의 실행 시간과 메모리 사용량을 측정하여 최적화 포인트를 찾는 데 유용하다.각 연산의 실행 시간 분석 : 연산별 CPU 시간, GPU 시간을 측정하여 병목 구간 파악 가능CUDA(GPU) 연산 분석 : use_cuda=True 옵션을 사용하면 GPU 연산 시간도 포함하여 분석 가능메모리 사용량 분석 : profile_memory=True를 설정하면 메모리 사용량까지 추적 가능Chrome 트레이스 파일(JSON) 저장 : 프로파일링 결과를 Chrome의 chrome://tracing/에서 시각화 가능연산 호출 스택 추적 : with_stack=True를 사용하면 연.. 2025. 2. 20. 이전 1 2 3 4 ··· 6 다음
