Topic · 1 posts
GPU·그래픽카드
GPU·그래픽카드 관련 글을 한곳에 모았습니다.
로컬 LLM VRAM 계산법, 모델 크기별로 그래픽카드 몇 GB가 필요할까
로컬 LLM VRAM을 직접 계산하는 방법을 정리합니다. 양자화별 가중치 크기, 대화 길이에 따라 늘어나는 KV 캐시, 8·12·16·24·32GB 그래픽카드별로 올릴 수 있는 모델, VRAM이 모자랄 때의 속도 손실까지 공식 자료와 계산표로 비교합니다.
GPU·그래픽카드 관련 글을 한곳에 모았습니다.
로컬 LLM VRAM을 직접 계산하는 방법을 정리합니다. 양자화별 가중치 크기, 대화 길이에 따라 늘어나는 KV 캐시, 8·12·16·24·32GB 그래픽카드별로 올릴 수 있는 모델, VRAM이 모자랄 때의 속도 손실까지 공식 자료와 계산표로 비교합니다.