炼成一个ChatGPT需要哪些条件?
1人员储备
CEO:Altman
斯坦福大学肄业,曾从业于APP开发、创投、核能等领域
首席科学家:SutsKever
多伦多大学毕业,谷歌大脑前员工
员工共375名
- 资金储备
2015年由硅谷科技人士集资10亿美元
当前由微软注资约100亿美元
OpenAI、Microsoft
- 模型训练
训练参数1750亿个
训练数据45TB,包含4990亿个单词(token)
每天生产45亿字的内容
训练运算:需要355块NVIDIA高级显卡运行1年的运算量,耗费约460万美元
训练成本1200万美元
研发总费用可能高达2760万美元
- 产品运行
- GPU:需要同时使用11块配备32GB显存的NVIDIA显卡,耗费约9.9万美元
VRAM:需要使用配备超过400GB VRAM的显卡,耗费约1260万美元
其他硬件:耗费10-15万美元,不包括日常电力供给、冷却降温等费用
云服务器:AWS服务器(耗费至少8.7万美元/年)
配备8块NVIDIA32GB显存,768GB内存,96核CPU
微软云服务器(耗费金额暂未知)
配备28.5万核CPU和1万个高端GPU
本文链接:https://my.lmcjl.com/post/19050.html
展开阅读全文
4 评论