暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

40+岁大叔从零开始学AI大模型-买电脑篇

142

“不去想困难,干就完了,一步一步往前走”——任正非

学习AI从花钱开始买电脑开始

《荀子》有云,“耳闻之不如目见之,目见之不如足践之”。作为身经百战,参加过无数培训和认证考试的大叔,深知学习一门新的知识,比起理论学习,动手实践更加重要。买一台适合AI学习的电脑很重要。


对于AI大模型学习,朋友建议我买一台台式机PC,因为从屏幕,扩展性,CPU和内存,硬盘,显卡,散热,性价比等因素考量,台式机都优于笔记本。但是从兼顾携带和家用方便的角度出发,我还是决定买一台笔记本。(人做决策通常不一定完全理性,个人的执念有时候才是最重要那个因素)


对电脑硬件不通的我,买什么样的笔记本着实有些犯愁,还好有AI深度玩家的朋友给了些信息和建议,结合豆包和元宝等辅助才开始略微有些头绪开始摸着石头过河。


学习AI的电脑最重要的选择因素就是显卡(GPU)。显卡的衡量则显存容量优先,因为在AI模型部署中,显存容量是关键指标,直接影响模型运行能力,决定电脑能够支持的大模型。


显卡选择的相关知识


如何选显卡? 通过和豆包和元宝交互获取一些基础信息。


1 关键公式:


模型参数量 × 量化位数 ÷ 8(GB),用于估算显存需求。

公式核心来自“存储容量计算”的基本原理:

1.每个参数的存储大小 = 量化位数(bit),例如4bit量化下每个参数占4bit(0.5字节);

2.总存储需求 = 参数量 × 单参数存储大小,再通过 ÷(8×1024³) 换算为GB(1GB=8×1024³ bit)。


2 显存容量与模型规模的对应关系


基于主流量化方案(如4bit/8bit量化)和实际部署案例的经验总结:


  • 8GB显存:以Llama 2-7B为例,70亿参数在4bit量化下理论显存需求约7B×4bit÷8≈3.5GB,加上模型运行时的中间变量、缓存等开销,8GB是流畅推理的基本保障;

  • 12GB显存:130亿参数模型(如Llama 3-13B)微调时,除模型参数外,还需存储梯度、优化器状态等,4bit量化下总需求约13B×4bit÷8 + 额外开销≈7GB,12GB可满足轻量微调;

  • 16GB+显存:200亿参数以上模型(如GPT-J-6B衍生模型)或更复杂的量化方案(如混合精度)对显存要求更高,16GB以上可支持推理及基础微调。


关于RTX 5070,RTX 5070 Ti 和RTX 5080 笔记本显卡的总结:


参数
RTX 5070 笔记本
RTX 5070 Ti 笔记本
RTX 5080 笔记本
架构
Blackwell
Blackwell
Blackwell
CUDA核心数
4608
5888
7680
显存容量/类型
8GB GDDR7
12GB GDDR7
16GB GDDR7
显存位宽
128-bit
192-bit
256-bit
显存带宽
448 GB/s
672 GB/s
896 GB/s
TDP功耗
115W
140W
175W
FP16算力
22 TFLOPS
35 TFLOPS
83 TFLOPS
AI算力 (TOPS)
约 800
约 1,400
约 1,800

显然5070 ti和5080更胜一筹,但是5070对于大模型入门而言,似乎也够了。。。

未完待续。

今天先写到这里,有时间继续。。。


文章转载自SQL和数据库技术,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论