Topic · 2 posts
LLM
LLM 관련 글을 한곳에 모았습니다.
로컬 LLM VRAM 계산법, 모델 크기별로 그래픽카드 몇 GB가 필요할까
로컬 LLM VRAM을 직접 계산하는 방법을 정리합니다. 양자화별 가중치 크기, 대화 길이에 따라 늘어나는 KV 캐시, 8·12·16·24·32GB 그래픽카드별로 올릴 수 있는 모델, VRAM이 모자랄 때의 속도 손실까지 공식 자료와 계산표로 비교합니다.
AI PC 선택 기준, NPU TOPS보다 메모리를 먼저 봐야 하는 이유
AI PC 선택 기준을 스펙표 읽는 법으로 정리합니다. NPU TOPS의 계산 방식과 한계, 모델 크기별 필요 메모리, 메모리 대역폭으로 본 토큰 속도 상한, Copilot+ PC 조건까지 공식 자료와 계산표로 비교합니다.