Gro调流阀 原理图q最快AI推理芯片成本推算高得离谱 运行LIama2得1171万美元

- 💰 以1171万美元的成本运行 LIama2,调流阀 原理图引发热议

- 💻 Groq 的芯片性能高,但成本也随之增加

- 🔍 分析师对 Groq 成本和效益进行评估,与英伟达 GPU 进行对比

站长之家(ChinaZ.com)2月21日 消息:最近,Groq 公司推出了一款号称性价比高达英伟达 GPU100倍的 AI 推理芯片,引起了广泛关注。然而,运行其最快 AI 推理芯片 LIama2所需的成本高达1171万美元,让业内人士开始对其效益进行热议。网友们通过粗略估算发现,为了运行 LIama2,需要大约购买568块芯片,调配罐的原理这一高昂的成本引发了许多讨论。

在成本问题上,与英伟达 GPU 进行对比也成为了焦点。据分析,为了运行单个 LLama70B 模型,需要购买约320张芯片,总成本约为1千万美元。相较之下,英伟达的 H100卡性能虽然一半于 Groq,但价格仅为30万美元,采购和运营成本更低。这些数据让人开始重新评估 Groq 芯片的性价比。

image.png

除了网友们的讨论,一些分析师也加入了对 Groq 芯片成本和效益的评估。根据其中一位分析师的计算,运行 LLaMA70b 模型需要572张芯片,每年电费将花费25.4万美元。相比之下,使用4张 H100卡可以实现 Groq 一半的性能,且采购和运营成本更低,这进一步凸显了 Groq 成本的挑战。

在这场关于 Groq 芯片成本和效益的讨论中,公司本身也积极参与。Groq 回应称,他们的目标客户不是单卡用户,且他们的芯片价格实惠高效,由于自主研发芯片到系统的整套流程,没有中间商。然而,对于 Groq 是否能撼动英伟达的地位,业内人士持观望态度,认为还需进一步观察。整体而言,Groq 推出的 AI 推理芯片在性能上取得了突破,但成本问题仍需解决。

项目入口:https://top.aibase.com/tool/groq

avatar

新程序已上线 管理员

刚刚发布了:1篇 新内容
查阅文章

三月七日,沙湖道中遇雨。雨具先去,同行皆狼狈,余独不觉。已而遂晴,故作此词。莫听穿林打叶声,何妨吟啸且徐行。竹杖芒鞋轻胜马,谁怕?一蓑烟雨任平生。料峭春风吹酒醒,微冷,山头斜照却相迎。回首向来萧瑟处,归去,也无风雨也无晴。

发布评论

验证码
评论列表 (有 4 条评论)
222 2019-07-18 1# 回复
测试

QQ交谈

在线咨询:QQ交谈

工作时间:每天9:00 - 18:00
若无特殊,节假日休息

电话联系

400-800-000

工作时间:每天9:00 - 18:00
若无特殊,节假日休息

我的微信