CPU vs GPU vs TPU vs NPU vs LPU vs DPU — 2026년 6대 AI 칩 완전 가이드

서론: 칩 선택이 그 어느 때보다 중요한 이유

AI 하드웨어 지형은 조용히 여섯 가지 아키텍처 패밀리로 갈라졌습니다. 이는 마케팅 분류가 아닙니다——각 칩은 특정 조건에서 압도적으로 이기고, 다른 조건에서는 참담하게 실패하기 때문에 존재합니다.

AI 워크로드에 맞지 않는 칩을 고르면 10배 과금하거나, throughput을 병목에 걸거나, 필요 없는 전력을 태웁니다. AI 엔지니어, PM, 인프라 팀에게 이 여섯 프로세서를 이해하는 것은 2026년 이후 선택이 아니라 기초 지식입니다.

하나씩 살펴봅시다.

여섯 칩 패밀리, 여섯 가지 다른 역할——잘못 고르면 과금·병목·낭비 전력.

CPU — Central Processing Unit: 백본

한 줄: 범용. 유연. 모든 것의 오케스트레이터. 제조: Intel, AMD

CPU는 모든 컴퓨터의 두뇌입니다. latency 최적화 순차 처리를 위해 만들어져, 복잡한 로직, 분기, OS 수준 태스크, 오케스트레이션에 강합니다. 현대 CPU는 소수의 강력한 코어, 깊은 cache 계층, 정교한 branch predictor로 단일 스레드를 물리적으로 가능한 한 빠르게 돌리도록 설계됩니다.

하지만 CPU 아키텍처는 신경망이 요구하는 반복적·병렬 수학에 근본적으로 비효율적입니다. 1,024×1,024 행렬 곱은 약 20억 번의 산술 연산——CPU 순차 설계가 심각한 병목이 됩니다.

워크플로:

User Request → CPU Schedules → Routes to Processor → Manages I/O → Returns Result

장점

• 어떤 태스크든 처리——궁극의 generalist
• 모든 칩 중 최고 single-thread 성능
• OS 실행 및 다른 모든 프로세서 오케스트레이션

단점

• 병렬 수학 연산이 느림
• 대형 AI 모델을 효율적으로 train하기 어려움
• 전용 칩 대비 AI throughput 낮음

최적 용도

오케스트레이션, 데이터 전처리, 파이프라인, 복잡한 조건 분기 로직.

GPU — Graphics Processing Unit: 대규모 병렬성

한 줄: 수천 코어. AI training용. 현재의 왕. 제조: NVIDIA, AMD 핵심 기술: HBM3, CUDA 생태계, Tensor Core

GPU는 현대 AI의 workhorse입니다. 소수의 강력한 코어 대신, 수천 개의 작은 코어에 작업을 분산해 같은 instruction을 서로 다른 데이터에 동시 실행——SIMT(Single Instruction, Multiple Threads) 모델입니다. 신경망 산술에 transformative합니다.

NVIDIA H100 같은 현대 GPU는 행렬 곱-누적 전용 Tensor Core와 HBM3로 코어에 TB/s급 데이터를 공급합니다. CUDA 생태계는 최적화된 AI kernel 라이브러리로 NVIDIA 지배를 공고히 합니다.

워크플로:

Load Model → Distribute Across Cores → Matrix Multiply → Backpropagate → Update Weights

장점

• 대규모 병렬성——수천 코어 동시 작업
• training과 inference 모두에 강함
• 성숙한 tooling의 거대 CUDA 생태계

단점

• 매우 높은 전력(H100 최대 700W)
• 매우 비쌈(H100 ~$30,000+)
• 작거나 단순한 태스크에는 overkill

최적 용도

딥러닝 training, 대규모 inference, computer vision, LLM fine-tuning.

TPU — Tensor Processing Unit: Google 규모 tensor 처리

한 줄: Compiler 제어. Systolic array. Google scale용. 제조: Google 핵심 기술: Systolic array, 대형 TPU pod(최대 9,216 TPU)

Google TPU는 specialization을 한 단계 더 갑니다. 핵심은 systolic array——MAC 유닛 격자에서 데이터가 파도처럼 흐릅니다. weight는 한쪽, activation은 다른 쪽에서 들어오고, partial result는 매번 memory로 돌아가지 않고 전파——GPU를 괴롭히는 memory bottleneck을 제거합니다.

실행 전체가 compiler-controlled이며 hardware scheduling이 아니어서 매우 예측 가능하고 효율적입니다. TPU는 대규모 확장——단일 TPU pod에 최대 9,216 TPU가 lockstep으로 작동. Google은 내부 TPU로 GPU 의존에서 벗어났고, 이제 외부 hyperscaler에 TPU access를 판매한다고 전해집니다.

워크플로:

Load Model → Systolic Array Processing → Matrix Ops On-Chip → Pod Scales to 9,216 TPUs → Trained Model

장점

• 대형 tensor workload 비용 낮음
• GPU 대비 performance per watt 우수
• pod에서 확장성 뛰어남

단점

• 주로 Google Cloud에 묶임
• GPU보다 유연성 낮음
• framework 지원 제한(주로 JAX/TensorFlow)

최적 용도

Google scale tensor workload, Google Cloud 대형 model training, JAX 기반 ML pipeline.

NPU — Neural Processing Unit: 주머니 속 AI

한 줄: On-device. 초저전력. 설계상 프라이버시. 탑재: Apple Silicon, Qualcomm Snapdragon, Intel Core Ultra, MediaTek Dimensity 핵심 기술: INT8/INT4 quantized inference, on-chip SRAM, cloud 불필요

NPU는 스마트폰, 노트북, IoT에 내장된 edge 최적화 AI 칩입니다. Neural Compute Engine에 MAC array와 on-chip SRAM이 있지만, 전력 많이 쓰는 HBM 대신 low-power system memory를 씁니다. 목표: 한 자릿수 watt 예산에서 AI inference.

NPU는 INT8/INT4 quantized inference——약간의 정확도를 속도·전력 효율로 trade. 데이터가 기기를 떠나지 않아 on-device 음성 인식, face unlock, local LLM assistant 같은 프라이버시 민감 앱에 ideal.

워크플로:

User Input → On-Device NPU Activates → INT8/INT4 Quantized → Inference in Milliseconds → Instant Response

장점

• 매우 낮은 전력
• cloud latency 없음——즉각 응답
• 데이터 on-device 유지(강한 프라이버시)

단점

• inference만——model train 불가
• on-device memory로 model size 제한
• 대형 accelerator 대비 정확도·유연성 낮음

최적 용도

Edge/mobile AI inference, on-device assistant, wearable, IoT, privacy-first 앱.

LPU — Language Processing Unit: 빠르고 deterministic inference

한 줄: Cache miss zero. blazing token speed. LLM용. 제조: Groq 핵심 기술: On-chip SRAM, deterministic execution, compiler-scheduled

Groq(TPU를 만든 전 Google 엔지니어 설립)가 개척한 LPU는 AI 칩 경쟁의 최신 entrant입니다. 과감한 설계: off-chip memory 완전 제거. 모든 model weight가 on-chip SRAM에 있으며, DRAM/HBM보다 20–100배 빠른 접근. 실행은 fully deterministic·compiler-scheduled——cache miss zero, runtime scheduling overhead zero.

결과는 blazing fast token generation——Groq LPU token 속도는 GPU inference를 느리게 느끼게 합니다. tradeoff는 용량: SRAM은 부피·비용이 커서 chip당 memory 제한, 대형 model은 많은 chip 연결 필요.

워크플로:

Prompt Input → Weights Loaded from On-Chip SRAM → Deterministic Execution → High Tokens/Sec → Fast Response

장점

• 극도로 빠른 inference——가장 빠른 token generation
• cache-miss zero 설계
• fully deterministic execution

단점

• inference만——training 불가
• chip당 memory 제한
• 대형 model은 다수 chip 연결 필요

최적 용도

Real-time LLM serving, low-latency chatbot, high-throughput token generation.

DPU — Data Processing Unit: 보이지 않는 레이어

한 줄: Infrastructure offload. hardware-level security. unsung hero. 제조: NVIDIA (BlueField), AMD (Pensando), Intel (IPU E2100) 핵심 기술: SmartNIC, network offload, encryption, storage I/O routing

DPU는 AI 인프라에서 가장 overlooked 칩이지만, scale에서는 arguably 가장 critical합니다. SmartNIC/Infrastructure Processor로 network traffic을 가로채 encryption/firewall, storage I/O routing을 처리하고 CPU에서 offload——CPU를 AI workload에 완전히 해방.

DPU SmartNIC 시장은 2024년 11.1억 달러, 2034년 44.4억 달러(CAGR 15%) 전망. cloud provider 약 50%가 DPU에 의존. NVIDIA BlueField-3 DPU——220억 transistor——은 infrastructure service offload에서 300 CPU core 상당. AI cluster가 GPU 간 east-west traffic을 늘리면서, DPU는 CPU bottleneck이 GPU utilization을 질식시키는 것을 막는 essential.

워크플로:

Network Traffic → DPU Intercepts in Hardware → Encryption + Firewall → Storage I/O Routing → CPU Freed for AI Workloads

장점

• CPU를 AI 앱에 완전 해방
• hardware-level security(encryption, firewall, DDoS prevention)
• line rate 고속 networking

단점

• 일반 consumer/edge용 아님
• 설정·배포 복잡
• niche infrastructure use case

최적 용도

Data center infrastructure, AI cluster networking, cloud security offload, hyperscale deployment.

나란히 비교 (2026)

언제 무엇을? (빠른 참고)

황금률: latency, parallelism, power, cost, scale 기준으로 선택.

결론: "최고" 칩은 없다——일에 맞는 칩만 있다

2026 AI 하드웨어는 경쟁이 아니라 협업입니다. production AI 시스템은 다음을 함께 쓸 수 있습니다.

• CPU로 전처리·오케스트레이션
• GPU로 model train
• TPU로 대규모 cloud inference
• NPU로 on-device 실행
• LPU로 real-time 응답 serving
• DPU로 인프라를 안전하게 유지

잘못된 칩 선택은 조용히 성능과 돈을 태웁니다. 이 여섯 아키텍처를 익히는 것이 graceful scale과 layer마다 budget burn의 차이입니다.