[AI/CS] SIMD와 병렬성: CPU와 GPU의 연산 방식 차이

SIMD란?

SIMD(Single Interaction Multiple Data)는 하나의 명령어로 여러개의 데이터를 처리하는 방식을 의미한다.

명령어와 데이터의 흐름 방식을 분류한 '플린의 분류(Flynn's Taxonomy)' 중 하나이다.

 

하드웨어 구조로 보는 CPU vs GPU

CPU와 GPU는 제어장치(Control), 연산장치(ALU), 캐시(Cache)가 차지하는 면적의 비율부터 다르게 구상되어 있다.

CPU와 GPU의 하드웨어 구조

• Control: CPU는 언제 들어올지 모르는 명령어의 순서를 바꿔서 실행하거나, 다음 명령어를 예측하는 복잡한 제어 로직을 처리해야한다.
• ALU: 복잡한 계산을 빠르게 처리할 수 있도록 설계되어 있다.
• Cache: 데이터가 느린 메모리에 가기 전에 저장할 수 있도록 하여 데이터 접근 시간을 최소화한다.

CPU는 Control과 Cache가 큰 면적을 차지하고 ALU가 적게 배치되어있다. 반면, GPU는 대부분의 면적을 ALU가 차지하고 있다.

 

<비교 정리표>

	CPU	GPU
코어 수	수십개	수천개
코어 구조	소수의 고성능 코어(직렬 처리)	다수의 작고 단순한 코어(병렬처리)
처리량	낮음	높음
연산 레이턴시(연산 처리 시간)	낮음	높음
메모리 공급 속도	~수십 GB/s	~수 TB/s
ALU(연산장치) 비율	ALU보다 캐시와 제어 크기가 큼	칩 면적의 대부분이 ALU

 

즉, CPU는 '천재 한 명이 복잡한 문제를 푸는 구조'라면, GPU는 '천재 여러 명이 단순 반복문제를 동시에 푸는 구조'이다.

 

그럼 왜 AI 딥러닝 연산에는 GPU가 압도적으로 유리할까?

딥러닝 모델의 본질은 결국 수억 개의 파라미터가 서로 곱하고 더하는 거대한 행렬 연산의 연속이다. 그렇기 때문에 여러 개의 코어가 한번에 거대한 연산을 처리하는 GPU가 CPU보다 유리하다.