[살찐용의 IT 삽질기]CUDA 못 써서 시작한 AMD ROCm 삽질기 (결론: 된다)
| 2026-01-27 15:53:14 |
|---|
LLM 기반 딥러닝을 취미로 계속 들여다보고 있었다.
AI를 알아갈수록
CPU, GPU 그리고 컴퓨팅 플랫폼의 중요성이 점점 실감났다.
하지만 현실적인 문제에 바로 부딪혔다.
내 재정 상태로는
CUDA 기반의 GPU 플랫폼을 접하기가 쉽지 않았다.
엔비디아 생태계가 사실상 표준인 건 알고 있었지만,
GPU 가격을 보는 순간 고민은 현실이 됐다.
그러던 중,
어느 날처럼 웹서핑을 하며 시간을 보내다
눈에 확 들어오는 제품 하나를 보게 된다.
AMD AI PRO R9700 32GB – 219만 원
엔비디아 GPU에서 32GB 메모리를 확보하려면
매물도 드물고, 가격은 최소 600만 원 이상.
사실상 꿈도 못 꿀 가격대다.
물론 CUDA가 점령한 생태계라는 건 잘 알고 있었다.
하지만 내 상황에서 200만 원 초반도 사실 무리수였고,
그럼에도 불구하고 AI를 더 알고 싶었고,
플랫폼을 직접 경험해보고 싶었다.
결국 선택지는 하나였다.
AMD
알고 있겠지만,
CUDA 기반 생태계에서 AMD GPU로 AI를 공부하는 건 쉽지 않다.
나 역시 구매 후
“이거 반품해야 하나…”
라는 생각을 몇 번이나 했다.
하지만 삽질 끝에
LLM 엔진을 실제로 돌릴 수 있는 환경을 만들었다.
AMD에는 ROCm이라는 컴퓨팅 플랫폼이 있다.
엔비디아의 CUDA와 같은 역할을 하는 플랫폼이다.
LLM 엔진을 돌리기 위한 필수 조건 중 하나는
PyTorch 기반의 딥러닝 환경이다.
문제는 여기서 시작된다.
PyTorch 공식 사이트에서
일반적인 Python pip 방식으로 라이브러리를 설치하면
기본적으로 CUDA 기반 PyTorch가 설치된다.
AMD GPU에서는
ROCm을 인식하지 못하고
결국 CPU로만 연산이 돌아가거나
아예 GPU를 못 잡는 상황이 발생한다.
나 역시 이 지점에서 꽤 오랫동안 삽질했다.
그러다 알게 된 사실 하나.
PyTorch 공식 사이트가 아니라,
AMD에서 직접 배포하는 ROCm 전용 레포지토리가 존재한다는 것.
https://repo.radeon.com/rocm/manylinux/rocm-rel-7.0/
이 경로에 들어가면
AI 환경에 필요한 주요 라이브러리들을
**ROCm 전용 wheel 형식(WHEEL)**으로 받을 수 있다.
PyTorch
TorchVision
TensorFlow
기타 ROCm 연동 라이브러리들
이 주소 하나 찾느라
인터넷으로 지구 한 바퀴는 돈 것 같다… ㅋㅋ
결과적으로
200만 원 초반의 비용으로
AI의 세계에 제대로 발을 들일 수 있게 됐다.
CUDA 생태계만큼 편하다고는 말 못 하겠지만,
“된다 / 안 된다”의 영역에서
된다 쪽으로 넘어온 것만으로도 충분히 의미가 있었다.
요즘은
이 선택에 꽤 만족하고 있다.
그리고 마음속으로
리사 수 누나에게 감사 인사도 한 번씩 하고 있다.
ㅋㅋ


