【说明】Groq:要挑战 NVIDIA GPU 吗?它是专门为 AI 加速器的 LPU,真的真的超快

SearchTechritual 香港科技电脑资讯网站

公告查询FacebookInstagramTwitterVimeoYoutubeTechritual 香港科技电脑资讯网站 NEWSThe Price 价钱 / 优惠手机 / 电讯 Mobile 流动手持 / 电讯HUAWEI nova 12s 香港推出,6000万自拍,卖 $2888Mobile 流动手持 / 电讯Infinix Note 40 系列公开,曲面 OLED 显示屏及 1.08亿相机Mobile 流动手持 / 电讯Realme Narzo 70 Pro 5G 公开,5000万像素 Sony IMX890 相机及 67W 充电Mobile 流动手持 / 电讯【2024 推介】8 款最佳 Smart Ring 推介:Samsung Ring 外还有其他选择Mobile 流动手持 / 电讯【说明】小米 Mix Fold 4 懒人包:8 Gen 3 处理器、16GB RAM、还有四镜头、售价与推出时间SIM Card AllSIM Card 储值卡评测比较年卡旅游 SIM 卡台湾电话卡日本电话卡泰国电话卡澳洲电话卡月卡SIM Card 储值卡评测比较【实测 2024】台湾电话卡 推介|4G/5G 上网卡 4 款比较|台北 淡水 全部都要实名先用得啦!SIM Card 储值卡评测比较【日本电话卡 2024】4 大五日电话卡选择推介,5G /4G 都有得拣,街头上网都有得买NEWS台湾旅行注意!台湾上网卡全部都要实名登记SIM Card 储值卡评测比较【实测 2024】日本电话卡 推介|4G/5G 上网卡 6 款比较|东京 大阪 褔冈 开箱 贪平会出事,有 5G 用啦!Wearable Wearable Technology【说明】Meta Quest 3 Lite 懒人包:低价版也有透视功能,但没有手劫追踪Mobile 流动手持 / 电讯【2024 推介】8 款最佳 Smart Ring 推介:Samsung Ring 外还有其他选择Wearable TechnologyFrame by Brilliant Labs 公开:融入 AI 功能的 AR 智能眼镜Wearable TechnologyQualcomm、应用材料与 Avegant 合作研发 无线 AI 智能眼镜Wearable TechnologyOPPO Air Glass 3 智能眼镜原型机公布,配 AndesGPT AI 助手,但中国限定AI AllAnthropic ClaudeGoogle Gemini AIMeta AIMicrosoft CopilotOpenAI ChatGPTAI – Artificial intelligence – 人工智能【说明】Google Gemma AI 懒人包:如何下载,在 PC 和 Mac 上运行AI – Artificial intelligence – 人工智能【教学】如何在 iPhone 上使用「Google Gemini」AI 聊天机器人NEWS【说明】OpenAI 的 Sora 是什麽?原理、限制、价钱,如何申请使用AI – Artificial intelligence – 人工智能Google Gemini 已经出现在 Gmail,帮你阅读与分析VPN VPN【整理】如何在 Apple TV 安装使用 VPN!Others【详解】VPN 是什麽?选择、推荐及「免费」服务介绍 2024VPN【教学说明】如何在 iPhone (iOS 17) 上设定 VPNVPN【详解】如何为 iPhone 选择 VPN?私隐、无日志政策、易用、速度,5 个 VPN 服务供应商推介NEWS保护人工智慧:VPN在人工智慧系统安全中的作用开箱评测 All充电器 开箱评价手机平板 开箱评价手机壳/保护贴 开箱评价Computer 电脑资讯【开箱】ASUS ROG Swift OLED PG34WCDM 电竞萤幕,800R 曲率加上 240HZ 更新频率开箱 / 评测【开箱】V-Color DDR5 5600MT/s 48GB x2 SO-DIMM 记忆体Computer 电脑资讯【开箱】Western Digital WD_BLACK SN770M 游戏机手机平板 开箱评价【开箱评测】Samsung A35 中阶手机:稳紮稳打的中阶机比较系列手机比较路由器比较IP Camera 比较知识 / 推介知识Router 路由器 101电子门锁 101网速测试Search

NEWSAI – Artificial intelligence – 人工智能Samsung S22 Ultra 有没有「无线充电」 Wireless Charge 呢?【说明】Groq:要挑战 NVIDIA GPU 吗?它是专门为 AI 加速器的 LPU,真的真的超快23/02/2024 十斗1608【有奬游戏】送「第 23 届香港家居潮流博览 2023 」入场赠券

在使用 ChatGPT 时,你一定会注意到模型对查询的反应速度很慢。由於 LLM 的高延迟,Google Gemini 等在手机上使用的 AI ChatBox 甚至更慢。但 Groq 强大的新型 LPU 想要改变这件事。

Groq 的 LPU 推理引擎在运行 7B 模型时每秒可以生成 500 个tokens。而在运行 70B 模型时,每秒约为 250 个tokens。这与 OpenAI 的 ChatGPT 相去甚远,ChatGPT 运行在由 GPU 驱动的 Nvidia 芯片上,每秒只能提供约 30 至 60 个 tokens。

Groq 由前 Google TPU 工程师建造

Groq 不是一个 AI 聊天机器人,而是一个 AI 推理芯片,它正在与像 Nvidia 这样的行业巨头在 AI 硬件领域竞争。它於 2016 年由 Jonathan Ross 共同创办,他在 Google 工作期间共同创办了建造 Google 首个用於机器学习的 TPU(Tensor Processing Unit)芯片的团队。後来,许多员工离开了 Google 的 TPU 团队,并创建了 Groq,为下一代计算建造硬件。

Groq 的 LPU 是什麽?

与 Nvidia 等成熟玩家相比,Groq 的 LPU 引擎之所以如此快速,是因为它完全建立在不同的方法上。

根据首席执行官 Jonathan Ross 的说法,Groq 首先创建了软件堆和编译器,然後设计了硅片。它采用软件优先的思维方式,使性能变得「确定性」,这是在 AI 推理中获得快速、准确和可预测结果的关键概念。

至於 Groq 的 LPU 架构,它类似於 ASIC 芯片(特定应用集成电路)的工作方式,并且是在 14nm 节点上开发的。它不是一个通用的芯片,用於各种复杂任务,而是专为处理大型语言模型中的数据序列而定制的。而 CPU 和 GPU 则可以做更多的事情,但也会导致性能延迟和增加延迟。

并且凭藉着精心设计的编译器,该编译器确切地知道指令周期在芯片中的运作方式,进一步减少了延迟。编译器将指令分配到正确的位置,进一步减少了延迟。别忘了,每个 Groq LPU 芯片都搭载了 230MB 的片上 SRAM,以提供高性能、低延迟和更好的效能。

至於 Groq 芯片是否可以用於训练 AI 模型,正如我上面所说,它是专为 AI 推理而建立的。它不具备任何用於训练和微调模型所需的高带宽记忆体(HBM)。

Groq 还指出,HBM 记忆体会导致整个系统的不确定性,这会增加延迟。所以不,你不能在 Groq 的 LPU 上训练 AI 模型。

Groq is a Radically Different kind of AI architecture

Among the new crop of AI chip startups, Groq stands out with a radically different approach centered around its compiler technology for optimizing a minimalist yet high-performance architecture. Groq s secret sauce is this… pic.twitter.com/Z70sihHNbx

Carlos E. Perez (@IntuitMachine) February 20, 2024 测试了 Groq 的 LPU 推理引擎

你可以前往 Groq 的网站(https://groq.com/)体验这种极快的性能,无需帐户或订阅。目前,它提供了两个 AI 模型,包括 Llama 70B 和 Mixtral-8x7B。

Groq 的 LPU 以每秒 527 个标记的速度生成了出色的输出,在 7B 模型上仅用 1.57 秒生成了 868 个标记(3846 个字符)。在 70B 模型上,速度降至每秒 275 个标记,但仍然远高於竞争对手。

与其他服务提供商相比,ray-project 进行了广泛的 LLMPerf 测试,发现 Groq 的性能远优於其他提供商。

Groq vs Nvidia:Groq 有何说法?

在一份报告中,Groq 表示其 LPUs 具有可扩展性,可以使用光学互连在 264 个芯片之间进行连接。它还可以使用交换机进一步扩展,但这会增加延迟。根据首席执行官 Jonathan Ross 的说法,该公司正在开发可以横跨 4,128 个芯片的集群,该集群将於 2025 年发布,并且它是在三星的 4nm 工艺节点上开发的。

在一项由 Groq 执行的基准测试中,使用 576 个 LPUs 的 70B Llama 2 模型进行 AI 推理,所花费的时间只有 Nvidia H100 GPU 集群的十分之一。

不仅如此,Nvidia GPU 在生成回应的标记时耗费了 10 焦耳至 30 焦耳的能量,而 Groq 只需 1 焦耳至 3 焦耳。总结来说,该公司表示,Groq 的 LPUs 在 AI 推理任务中提供了 10 倍更快的速度,而成本仅为 Nvidia GPU 的十分之一。

此文章发布於 TechRitual 香港
【开箱】ASUS ROG Swift OLED PG34WCDM 电竞萤幕,800R 曲率加上 240HZ 更新频率【开箱】V-Color DDR5 5600MT/s 48GB x2 SO-DIMM 记忆体【手机比较】小米 14 Ultra 与 Sony Xperia 1V:规格表、效能、摄影功能【开箱】Western Digital WD_BLACK SN770M 游戏机【售价】台湾 8日 4G 电话上网卡,Happy Telecom $88【开箱评测】小米 14 手机:今次影相有力打抵 Samsung S24【开箱评测】Samsung S24 旗舰手机:3倍光学变焦配 AI 实用吗?
电话卡储值卡评测年卡 香港月卡 香港旅游 SIM 卡日本电话卡台湾电话卡中国大陆 电话卡澳门电话卡泰国电话卡比较系列手机比较路由器比较更多Mobile 流动手持 / 电讯EV 电动车Computer DIYVPN报价 / 售价教学 101电子门锁 101Router 路由器 101推荐内容开箱评测评论分析科技知识关於我们关於 Techritual活动公告香港网速测试Techritual 香港River

小清新咖啡因

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
内联反馈
查看所有评论