AI PC 선택 기준, NPU TOPS보다 메모리를 먼저 봐야 하는 이유

노트북이나 미니 PC 상세 페이지마다 “AI PC”, “NPU 50TOPS”, “플랫폼 180TOPS” 같은 숫자가 붙어 있습니다. 그런데 AI PC 선택 기준을 찾는 사람이 정말 알고 싶은 것은 숫자 자체가 아니라 “내가 하려는 AI 작업에 이 숫자가 의미가 있는가”일 것입니다. 윈도우의 AI 기능을 쓰고 싶은 사람과, 내 컴퓨터에서 대형 AI 모델(LLM)을 직접 돌리고 싶은 사람은 봐야 할 스펙이 다릅니다.

이 글은 그 두 갈래를 나눠서 스펙표를 읽는 순서를 정리합니다. NPU 성능 단위인 TOPS가 어떻게 계산되는지 퀄컴의 설명에서 출발하고, 로컬 LLM에 필요한 메모리는 Hugging Face 문서의 계산법으로, 생성 속도의 상한은 NVIDIA 기술 블로그가 설명하는 디코딩 단계의 특성으로 계산했습니다. 칩별 수치는 인텔·AMD·애플·NVIDIA·Microsoft의 공식 자료를 2026.10 기준으로 확인했고, 계산은 모두 Python으로 실행해 공식과 가정을 공개합니다. AI 도구 활용 글은 AI 도구·활용 카테고리에 모아 두었습니다.

AI PC란 무엇이고, 스펙표에서 무엇을 봐야 하나

“AI PC”는 표준 용어가 아니라 업계가 쓰는 마케팅 표현에 가깝습니다. 다만 윈도우 진영에는 기준선이 하나 있습니다. Microsoft는 Copilot+ PC 조건으로 40TOPS 이상을 처리하는 NPU를 갖춘 프로세서, 16GB DDR5/LPDDR5 메모리, 256GB SSD/UFS 저장장치를 요구합니다. 지원 프로세서로는 AMD 라이젠 AI 300·400 시리즈, 인텔 코어 울트라 200V·300V 시리즈, 스냅드래곤 X 시리즈를 안내합니다. Microsoft는 NPU가 충분해도 메모리나 저장장치가 이 조건에 못 미치면 Copilot+ PC가 아니라고 설명합니다.

즉 스펙표에서 볼 항목은 세 덩어리입니다.

1. NPU(신경망 처리 장치)와 TOPS: AI 연산 전용 회로와 그 이론 성능
2. 메모리 용량과 대역폭: AI 모델을 올려 둘 공간과, 그 데이터를 읽는 속도
3. GPU: 로컬 LLM 도구 대부분이 실제로 쓰는 연산 장치

어느 항목이 중요한지는 목적이 정합니다. 아래 표는 이 글 전체의 요약입니다.

NPU는 언제 일하나

NPU는 전력을 적게 쓰면서 정해진 AI 연산을 꾸준히 처리하도록 만든 회로입니다. Microsoft 문서는 윈도우 AI API(문자 인식, 이미지 설명, Phi Silica 대화 등)가 Copilot+ PC의 NPU를 필요로 한다고 설명합니다. 반면 같은 문서에서 Foundry Local은 NPU가 없는 기기라도 DirectX 12를 지원하는 GPU가 있으면 동작한다고 안내합니다. 다시 말해 NPU가 꼭 필요한 것은 운영체제와 일부 앱이 NPU 전용으로 만든 기능이고, 범용 AI 작업은 GPU로도 돌아갑니다. 내 PC에 NPU가 있는지는 작업 관리자의 성능 탭에서 GPU·NPU 항목으로 확인할 수 있다고 Microsoft는 안내합니다.

TOPS 숫자 읽는 법: 계산식과 함정

TOPS(Tera Operations Per Second)는 1초에 처리하는 연산 수를 1조 단위로 나타낸 값입니다. 퀄컴은 이 값을 다음 공식으로 설명합니다.

TOPS = 2 × MAC 유닛 수 × 동작 주파수 ÷ 1조

MAC(곱셈-누산) 유닛은 한 클럭에 곱셈과 덧셈을 한 번씩 하므로 연산 2개로 셉니다. 퀄컴은 업계 표준이 INT8(8비트 정수) 정밀도 기준이라고 설명합니다. 이 공식을 거꾸로 쓰면 숫자의 감이 옵니다. 1GHz에서 40TOPS를 내려면 MAC 유닛이 2만 개 필요합니다(40×10¹² ÷ (2×10⁹) = 20,000). 결국 TOPS는 “회로를 얼마나 많이 넣고 얼마나 빨리 돌리느냐”의 곱이며, 최대 클럭에서 모든 유닛이 쉬지 않고 일한다고 가정한 이론 최대치입니다.

함정 1: NPU TOPS와 플랫폼 TOPS

제조사 발표에는 숫자가 두 종류 섞여 나옵니다. 인텔은 CES 2026에서 코어 울트라 시리즈 3 상위 제품이 CPU 코어 최대 16개, Xe 코어 12개, NPU 50TOPS를 갖췄다고 발표했습니다. 한편 The Register는 인텔이 CPU·GPU·NPU를 합쳐 플랫폼 180TOPS를 내세웠고, 이 성능을 동시에 모두 끌어 쓸 수는 없다고 지적했습니다. 180 중 NPU 몫은 약 27.8%입니다. AMD 라이젠 AI 맥스+ 395도 Notebookcheck 사양표에 NPU 50 INT8 TOPS와 칩 전체 126 INT8 TOPS가 함께 적혀 있습니다.

비교할 때는 NPU끼리, 같은 정밀도끼리 놓아야 합니다. 한 제품의 플랫폼 TOPS와 다른 제품의 NPU TOPS를 나란히 놓으면 두세 배 차이가 착시로 생깁니다.

함정 2: TOPS가 실제 속도를 보장하지 않는다

퀄컴 스스로 높은 TOPS 숫자만으로 최적의 AI 성능이 보장되지 않는다고 쓰고, 메모리 대역폭·소프트웨어 최적화·시스템 통합을 함께 꼽습니다. 특히 LLM은 아래에서 보듯 메모리를 읽는 속도에 묶이는 작업이라, 연산 회로를 늘려도 데이터가 제때 오지 않으면 회로가 놀게 됩니다.

함정 3: 내 프로그램이 NPU를 쓰는가

가장 실용적인 함정은 소프트웨어입니다. 2026.10 기준 Ollama의 공식 하드웨어 문서는 NVIDIA GPU(CUDA), AMD GPU(ROCm), Apple Metal, Vulkan을 지원 대상으로 들고, NPU는 언급하지 않습니다. AMD의 라이젠 AI 소프트웨어 문서를 보면 NPU 전용·하이브리드(NPU+내장 GPU) 실행은 라이젠 AI 300 계열에서 OGA·FastFlowLM 같은 전용 경로로 지원되고, 라이젠 AI 7000/8000 계열은 GPU·CPU 실행만 표시돼 있습니다. Microsoft Foundry Local은 하드웨어를 감지해 퀄컴 NPU, DirectX 12 GPU, NVIDIA CUDA, CPU 중 하나를 고릅니다. NPU를 LLM에 쓰려면 그 NPU를 지원하는 전용 도구와 전용 변환 모델이 필요하다는 뜻입니다.

로컬 LLM에 필요한 메모리 계산하기

로컬 LLM에서 가장 먼저 부딪히는 벽은 메모리입니다. 모델이 메모리에 다 올라가지 않으면 아예 실행되지 않거나 매우 느려집니다. Hugging Face 문서는 경험칙으로 “파라미터 X십억 개 모델의 가중치를 bfloat16으로 올리려면 약 2×X GB가 필요하다”고 제시합니다. NVIDIA 기술 블로그도 7B 모델을 16비트로 올리면 약 14GB라고 같은 계산을 보여 줍니다.

정밀도별 가중치 메모리

정밀도(파라미터 하나를 몇 바이트로 저장하는가)를 낮추는 것을 양자화라고 합니다. 16비트는 2바이트, 8비트는 1바이트, 4비트는 0.5바이트입니다. 다만 4비트 실행은 이론값보다 더 듭니다. Hugging Face 문서의 예시에서 155억 파라미터 모델(octocoder)을 4비트로 올렸을 때 측정된 최대 메모리는 약 9.54GB였는데, 이론값(15.5×0.5)은 7.75입니다. 비율로 약 1.23배라서, 아래 표의 마지막 열은 이 보정 계수를 곱한 추정치입니다. 모델·실행 도구마다 실제 값은 다릅니다.

Hugging Face 문서는 4비트 양자화가 8비트나 16비트와 다른 결과를 낼 수 있다고 함께 경고합니다. 메모리를 아끼는 대신 품질이 조금 달라질 수 있다는 점은 감안해야 합니다.

메모리 용량별로 올릴 수 있는 모델 크기

이제 거꾸로 계산해 봅니다. 운영체제와 브라우저 등 다른 프로그램이 쓸 메모리로 8GB를 남긴다고 가정하고(이 값은 사용 습관에 따라 크게 달라지는 가정입니다), 나머지를 4비트 모델에 쓴다고 보면 다음과 같습니다.

통합 메모리 구조라도 GPU가 전부를 쓰는 것은 아닙니다. AMD는 라이젠 AI 맥스+ 395 128GB 기기에서 가변 그래픽 메모리(VGM)로 최대 96GB를 GPU에 쓸 수 있다고 밝혔고, 드라이버 업그레이드로 윈도우의 Vulkan llama.cpp에서 최대 1,280억 파라미터 모델을 돌릴 수 있게 됐다고 발표했습니다. 96GB를 위 계산에 넣으면 4비트 기준 약 156B로, AMD 발표와 같은 범위입니다.

대화가 길어지면 늘어나는 KV 캐시

가중치만 계산하면 부족합니다. LLM은 앞선 대화 내용을 KV 캐시라는 형태로 메모리에 쌓아 둡니다. NVIDIA 블로그의 공식은 토큰당 2 × 층 수 × 은닉 크기 × 정밀도 바이트이고, Llama 2 7B(32층, 은닉 4096, 16비트)를 예로 4,096토큰에서 약 2GB라고 계산합니다. 같은 공식으로 늘려 보면 다음과 같습니다.

32,768토큰이면 KV 캐시만 16GB로, 7B 모델의 4비트 가중치보다 몇 배 큽니다. 최근 모델은 Hugging Face 문서가 설명하는 GQA(그룹 쿼리 어텐션) 같은 구조로 이 크기를 크게 줄이고, 실행 도구에서 KV 캐시를 8비트로 저장하는 옵션도 있습니다. 그래도 긴 문서를 통째로 넣는 용도라면 위 모델 크기표보다 한 단계 여유 있게 잡아야 합니다. AMD도 LM Studio의 기본 문맥 길이가 4,096토큰이라 MCP 같은 도구 호출 작업에서는 부족할 수 있다고 설명합니다.

메모리 대역폭으로 본 토큰 생성 속도

메모리 용량이 “돌아가느냐”를 정한다면, 메모리 대역폭은 “얼마나 빠르냐”를 정합니다. NVIDIA 기술 블로그는 LLM 추론을 입력을 한꺼번에 처리하는 프리필 단계와, 출력 토큰을 하나씩 만드는 디코딩 단계로 나누고, 디코딩은 메모리에 묶인(memory-bound) 작업이라고 설명합니다. 토큰 하나를 만들 때마다 모델 가중치를 메모리에서 읽어 와야 하기 때문입니다.

그래서 단순한 상한 공식이 나옵니다.

초당 토큰 수 상한 ≈ 메모리 대역폭(GB/s) ÷ 토큰당 읽는 가중치(GB)

칩별 대역폭과 메모리 상한

Framework는 라이젠 AI 맥스가 256비트 메모리 버스로 256GB/s 대역폭을 내며, 이 때문에 LPDDR5x를 납땜했다고 설명합니다. 256비트 × 8,000MT/s ÷ 8로 계산해도 256GB/s가 나와 Notebookcheck의 LPDDR5x-8000 표기와 맞습니다. 인텔 칩은 메모리 종류와 속도는 공개됐지만 노트북마다 구성이 달라 대역폭을 하나로 적지 않았습니다.

토큰 속도 상한 계산표

위 대역폭을 앞의 4비트 추정 메모리(8B 4.9GB, 32B 19.7GB, 70B 43.0GB)로 나눈 값입니다. 이론상 상한이고, 실제로는 KV 캐시 읽기, 소프트웨어 효율, 발열에 따라 이보다 낮게 나옵니다.

(단위: 초당 토큰 수 상한. 70B 4비트 추정치 43.0GB는 32GB 메모리에 들어가지 않으므로 M5·M6 칸은 계산상 참고값입니다.)

이 표를 검증할 수 있는 공식 수치가 하나 있습니다. AMD는 라이젠 AI 맥스+ 395(128GB)에서 메타의 Llama 4 Scout(전체 109B, 활성 17B)가 초당 최대 15토큰을 낸다고 밝혔습니다. 이 모델은 전문가 혼합(MoE) 구조라 토큰마다 활성 파라미터만 읽으므로, 17B를 4비트 추정(×1.23)으로 바꾸면 약 10.5GB이고 256GB/s에서 상한은 약 24.5토큰입니다. AMD 발표치 15토큰은 이 상한의 약 61%로, 이론 상한과 실제 사이의 거리를 짐작하게 해 줍니다. 대신 AMD도 지적하듯 109B 전체를 메모리에 올려야 하므로(4비트 추정 약 67GB) 용량은 큰 모델과 똑같이 필요합니다.

칩 계열별로 정리한 AI PC 선택 기준

윈도우 노트북: 인텔·AMD·퀄컴

윈도우 노트북 대부분은 NPU 40TOPS 조건을 이미 넘습니다. 인텔 코어 울트라 시리즈 3는 NPU 50TOPS, 스냅드래곤 X2 엘리트 익스트림은 80TOPS를 내세웁니다. 이 차이는 Copilot+ 기능의 동작 여부를 가르지 않습니다(둘 다 40 이상). 그래서 이 계열에서는 메모리 16GB를 최소, 로컬 모델을 조금이라도 쓸 생각이면 32GB를 기준으로 삼고, 나머지는 배터리·무게·화면으로 고르는 편이 합리적입니다. 인텔 코어 울트라 시리즈 3는 The Register 보도 기준 DDR5 최대 128GB 또는 LPDDR5 최대 96GB를 지원하지만, 실제 상한은 노트북 제조사가 정한 구성에 따릅니다. 인텔이 발표한 LLM 성능 비교(최대 1.9배)는 각주상 엔비디아 젯슨 AGX 오린 64GB와의 첫 토큰 지연 비교라서 일반 노트북끼리의 비교로 읽으면 안 됩니다.

대용량 통합 메모리: 라이젠 AI 맥스+ 395와 DGX Spark

70B급 이상을 내 책상에서 돌리고 싶다면 선택지가 좁아집니다. 라이젠 AI 맥스+ 395는 최대 128GB 통합 메모리와 256GB/s 대역폭을 갖췄고, AMD는 이 칩을 쓰는 제품으로 ASUS ROG Flow Z13, HP ZBook Ultra G1a, HP Z2 Mini G1a, Framework Desktop 등을 들었습니다. NVIDIA DGX Spark는 128GB LPDDR5x와 273GB/s, FP4 기준 최대 1페타플롭을 내세우며 최대 2,000억 파라미터 모델의 추론을 지원한다고 안내합니다. 두 제품군은 용량은 크지만 대역폭은 300GB/s 아래라서, 위 계산표처럼 70B 모델은 초당 한 자릿수 토큰이 상한입니다. 큰 모델을 “돌릴 수 있는” 장비이지 “빠르게 돌리는” 장비는 아니라는 점을 알고 사야 합니다.

맥: M5·M6·M5 Pro·M5 Max

맥은 CPU·GPU·뉴럴 엔진이 메모리를 함께 쓰는 통합 메모리 구조입니다. 애플은 M5의 10코어 GPU 각 코어에 뉴럴 액셀러레이터를 넣었고, M4 대비 AI용 GPU 최대 연산 성능이 4배 이상이라고 밝혔습니다. 2026년 8월 발표된 맥 미니 M6는 기본 16GB에 최대 32GB, 메모리 대역폭 최대 170GB/s이고, M5 Pro 모델은 최대 64GB·307GB/s입니다. 애플은 M6 맥 미니가 LM Studio의 프롬프트 처리에서 M4 대비 최대 4.8배 빠르다고 발표했는데, 이는 자사 테스트(2026년 7월) 기준이며 프롬프트 처리(프리필) 속도라는 점에 주의해야 합니다. 토큰 생성 속도는 여전히 대역폭이 상한을 정합니다. 맥 미니에 외부 모니터를 연결한다면 4K 모니터 배율 설정 글에서 macOS의 배율 처리 방식도 함께 확인할 수 있습니다.

맥 미니 M6 (16GB·256GB) 쿠팡에서 가격 확인 →

맥북 프로 14 M5 (24GB·1TB) 쿠팡에서 가격 확인 →

흔한 오해와 반론

“NPU TOPS가 두 배면 AI가 두 배 빠르다.” NPU를 쓰는 작업에 한해, 그것도 소프트웨어가 NPU를 잘 활용할 때만 그 방향으로 움직입니다. 퀄컴의 설명대로 TOPS는 이론 최대치이고, LLM 생성 단계는 메모리 대역폭에 묶입니다. 대중적인 로컬 LLM 도구가 NPU를 쓰지 않는다면 NPU TOPS 차이는 체감 속도와 무관합니다.

“AI PC가 아니면 AI를 못 쓴다.” ChatGPT·Claude·Gemini 같은 웹 서비스는 연산을 클라우드 서버에서 합니다. 내 PC의 NPU는 쓰지 않습니다. Microsoft도 Foundry Local은 NPU 없는 기기에서도 DirectX 12 GPU로 동작한다고 안내합니다.

반대쪽 시각도 있습니다. NPU가 쓸모없다는 뜻은 아닙니다. AMD 문서가 NPU 전용 모드의 장점으로 “내장 GPU를 다른 작업에 남겨 둔다”는 점을 꼽듯이, GPU를 비워 둔 채 문자 인식·이미지 설명처럼 윈도우 AI API로 도는 기능을 처리하는 데에는 의미가 있습니다. 또 소프트웨어 지원은 빠르게 바뀌는 영역이라, 지금 NPU를 쓰지 않는 도구가 나중에 지원을 추가할 가능성도 있습니다. 다만 구매 시점에는 지금 쓸 수 있는 기능을 기준으로 판단하는 편이 안전합니다.

“통합 메모리 128GB면 128GB짜리 모델이 돌아간다.” 운영체제와 다른 앱이 쓰는 몫이 있고, 라이젠 AI 맥스+ 395처럼 GPU 할당 상한(96GB)이 따로 있는 경우도 있습니다. 여기에 KV 캐시까지 더하면 실제로 올릴 수 있는 모델은 총 용량보다 확실히 작습니다.

직접 계산해 보기

공식 세 개면 어떤 제품이든 스스로 판단할 수 있습니다.

1. 가중치 메모리(GB) = 파라미터 수(십억) × 정밀도 바이트(16비트 2, 8비트 1, 4비트 0.5) × 보정 계수(4비트 약 1.23)
2. 필요 총 메모리 = 가중치 메모리 + KV 캐시 + 운영체제·앱 몫(이 글에서는 8GB로 가정)
3. 토큰 생성 속도 상한 = 메모리 대역폭(GB/s) ÷ 토큰당 읽는 가중치(GB, MoE는 활성 파라미터 기준)

예시 1: 14B 모델로 코딩 보조를 쓰고 싶다

14B를 4비트로 올리면 14 × 0.5 × 1.23 ≈ 8.6GB입니다. 운영체제 몫 8GB를 더하면 16.6GB로, 16GB 기기는 빠듯하고 24GB 이상이 안전합니다. 대역폭 153GB/s(M5)라면 상한은 153 ÷ 8.6 ≈ 17.8토큰/초, 256GB/s라면 약 29.7토큰/초입니다. 문맥을 길게 쓰려면 KV 캐시 몫을 더해 32GB를 고려합니다.

예시 2: 70B 모델을 꼭 돌려야 한다

70B 4비트 추정치는 43.0GB입니다. 운영체제 몫 8GB를 더하면 약 51GB이므로 64GB 이상, 문맥 여유까지 보면 128GB급이 현실적입니다. 이 경우 256~273GB/s 장비의 상한은 초당 6토큰 안팎이고, 614GB/s(M5 Max 40코어 GPU)라면 약 14.3토큰입니다. 속도가 크게 떨어진다는 점을 감안해, 정말 70B가 필요한지 14B~32B로 충분한지를 먼저 따져 보는 것이 비용 면에서 중요합니다.

이런 사람은 비추합니다

• 웹 챗봇만 쓰는 사람이 AI PC라는 이름 때문에 상위 칩·고용량 모델을 고르는 것은 비추합니다. 그 돈은 화면, 배터리, 저장 용량에 쓰는 편이 체감이 큽니다.
• 로컬 LLM이 목적인데 16GB 노트북을 사는 것도 비추합니다. 8B급까지는 돌아가지만 운영체제와 브라우저를 같이 쓰면 여유가 거의 없고, 고대역폭 노트북 메모리는 대개 납땜이라 나중에 늘릴 수 없습니다.
• 70B급을 빠르게 쓰고 싶은 사람에게 대역폭 300GB/s 미만 장비는 비추합니다. 메모리에 올라가는 것과 쓸 만한 속도로 도는 것은 다른 문제입니다.
• NPU TOPS 숫자만 비교해서 사는 것은 비추합니다. 내가 쓸 프로그램이 그 NPU를 지원하는지 먼저 확인해야 합니다.

구매 전 체크리스트

1. 내 목적이 Copilot+ 기능인지, 로컬 LLM인지, 클라우드 AI인지 하나로 정한다
2. Copilot+ 목적이면 NPU 40TOPS 이상과 메모리 16GB 이상, 저장장치 256GB 이상을 확인한다
3. TOPS를 비교할 때 NPU 단독 수치인지 플랫폼 합산 수치인지, 정밀도(INT8 등)가 같은지 확인한다
4. 로컬 LLM이면 쓰려는 모델 크기를 정하고, 가중치 메모리 공식으로 필요 용량을 계산한다
5. 문맥을 길게 쓸 계획이면 KV 캐시 몫을 더해 한 단계 큰 메모리를 고른다
6. 메모리 대역폭(GB/s)을 확인하고, 대역폭 ÷ 모델 크기로 속도 상한을 계산한다
7. 쓰려는 실행 도구(Ollama, LM Studio, Foundry Local 등)가 그 칩의 GPU·NPU를 지원하는지 공식 문서에서 확인한다
8. 메모리가 납땜형인지 확인하고, 증설이 불가능하면 구매 시점에 여유 있게 고른다

정리: AI PC 선택은 목적에서 거꾸로

AI PC 선택의 출발점은 TOPS가 아니라 무엇을 내 컴퓨터에서 돌릴 것인가입니다. 윈도우의 AI 기능이 목적이면 Copilot+ 조건(NPU 40TOPS, 메모리 16GB)을 넘는 제품 중 평소 쓰기 좋은 것을 고르면 됩니다. 로컬 LLM이 목적이면 순서가 바뀝니다. 모델 크기로 메모리 용량을 정하고, 대역폭으로 속도 상한을 확인하고, 실행 도구가 그 하드웨어를 지원하는지 본 다음에야 NPU 숫자를 봅니다. 위의 공식 세 개와 계산표를 제품 상세 페이지의 스펙과 대조하면, “AI”라는 이름에 비용을 더 내는지 실제로 필요한 성능에 내는지 구분할 수 있습니다. 관련 글은 LLM 태그와 PC·주변기기 카테고리에서 이어서 볼 수 있습니다.