CPU/GPU 간 병목 관련
안녕하세요.
원래는 Azure에 VM을 호스팅 받아 사용하다가 최근에 안쓰는 컴퓨터로 우분투 서버를 구성하여 사용하고 있습니다.
서버 목적은 VS code-server를 통한 웹 관련 공부와 NAS 정도가 되겠습니다. 도커 컨테이너는 db들 포함해서 6개 정도 띄워져 있고 제 트래픽 밖에 없다보니 평소 하는 작업 내에서는 널널하게 잘 사용하고 있습니다. 서버 사양은
i5-4690 4C/4T, DDR3 16Gb,sata ssd 500Gb 정도입니다.
그런데 이번에 딥러닝 공부도 제 서버에서 시작해보고자 중고로 RTX3060 12Gb 모델을 구입했는데, 다른 컴포넌트들이 워낙에 구형이다보니깐 딥러닝 공부를 하며 병목이 생기지 않을까 걱정이 됩니다. 한편으로는 게임을 하는 것이 아니니 문제가 없을 것 같기도 하고요.
막 복잡한 작업을 하는건 아니고 당분간은 학부 수준 Image classification 플젝을 진행할 것 같습니다. 여러 가지 유명한 모델들에 대한 transfer learning이나, 여러 가지 종류의 pre-processing, augmentation 정도 할 것 같습니다.
10년된 cpu에 rtx 그래픽카드라니 좀 변태같은 조합이다 보니 서버포럼에 비슷한 분이 계실지는 모르겠으나 조언을 구하고자 게시글 올려 봅니다. 답변 미리 감사드립니다!
1등
akrsoTale 2024.05.20. 00:31
VRAM에 올려서 사용하는 모델 프로세스와 CPU에서 동작하는 Preprocessing이나 여러 복합벡터 연산이 하나의 코드 라인에 플로우차트가 올라가있다면, 그 둘만 분리해줘도 병목 현상은 없습니다.
Vision쪽은 특히나 Open3D때문에 CPU연산을 상당히 사용하는 편인데, 이 부분은 코드 내부적으로 따로 돌아가도록(멀티 프로세싱, 멀티 스레딩 등으로) 코딩하시면 되겠습니다.
Vision쪽은 특히나 Open3D때문에 CPU연산을 상당히 사용하는 편인데, 이 부분은 코드 내부적으로 따로 돌아가도록(멀티 프로세싱, 멀티 스레딩 등으로) 코딩하시면 되겠습니다.
2등
akrsoTale 2024.05.20. 00:34
저는 서버 아키텍처 설계자인데, 실무할 때 CPU연산은 모델 서빙할 만큼만 충분할 수 있을만큼의 적은 리소스를 가져다 줍니다. 오히려 메모리 클럭 레이트 체크를 해요
cmt alert
신고
"님의 댓글"
이 댓글을 신고하시겠습니까?
