本地使用Groq Llama 3 70B的逐步指南

---

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

译者 | 布加迪

审校 | 重楼

本文介绍了如何使用Groq LPU推理引擎在Jan AI和VSCode中生成超快速响应。

每个人都致力于构建更好的大语言模型（LLM），例如Groq专注于AI的基础设施方面。这些大模型的快速响应是确保这些大模型更快捷地响应的关键。

本教程将介绍Groq LPU解析引擎以及如何在笔记本电脑上使用API和Jan AI本地访问它。本文还将把它整合到VSCode中，以帮助我们生成代码、重构代码、输入文档并生成测试单元。本文将免费创建我们自己的人工智能编程助手。

Groq LPU推理引擎简介

Groq LPU(语言处理单元)推理引擎旨在为拥有顺序组件的计算密集型应用程序(比如LLM)生成快速响应。

与CPU和GPU相比，LPU拥有更强大的算力，这减少了预测单词所需的时间，大大加快了生成文本序列的速度。此外，与GPU相比，LPU还可以处理内存瓶颈，从而在LLM上提供更好的性能。

简而言之，Groq LPU技术使你的LLM超级快速，实现实时AI应用。不妨阅读Groq ISCA 2025论文(https://wow.groq.com/isca-2025-paper/)，以了解关于LPU架构的详细信息。

安装Jan AI

Jan AI是一个桌面应用程序，在本地运行开源和专有的大语言模型。它提供Linux、macOS和Windows版本供人下载。我们将下载Jan AI并安装在Windows中，为此进入到https://github.com/janhq/jan/releases，点击扩展名为“.exe”的文件。

如果你想在本地使用LLM以增强隐私，请阅读《在笔记本电脑上使用LLM的5种方法》博文(https://www.kdnuggets.com/5-ways-to-use-llms-on-your-laptop)，开始使用最先进的开源语言模型。

创建Groq Cloud API

要在Jan AI中使用Grog Llama 3，我们需要一个API。为此，我们将进入到https://console.groq.com/，创建一个Groq Cloud帐户。

如果你想要测试Groq提供的各种模型，无需任何设置就能做到这一点，只需进入到Playground选项卡，选择模型，并添加用户输入。

在本文这个例子中，它非常快，每秒生成310个token，这是我迄今见过的最快速度。连Azure AI或OpenAI也无法获得这种类型的结果。

要生成API密钥，点击左侧面板上的“API密钥”按钮，然后点击“创建API密钥”按钮，创建并复制API密钥。

在Jan AI中使用Groq

在下一步中，我们将把Groq Cloud API密钥粘贴到Jan AI应用程序中。

启动Jan AI应用程序，进入到设置，在扩展部分选择“Groq推理引擎”选项，并添加API密钥。

然后，返回到线程窗口。在模型部分，在“Remote”部分选择Groq Llama 370B，开始输入提示。

响应生成的速度太快了，我都跟不上了。

注意：该API的免费版本有一些限制。请访问https://console.groq.com/settings/limits，了解有关它们的更多信息。

在VSCode中使用Groq

接下来，我们将尝试将相同的API密钥粘贴到CodeGPT VSCode扩展中，并构建自己的免费AI编程助手。

在扩展选项卡中搜索CodeGPT扩展，安装它。

CodeGPT选项卡将出现，以便你选择模型提供方。

当你选择Groq作为模型提供方时，它将要求你提供API密钥。只需粘贴相同的API密钥，我们就可以开始了。你甚至可以为CodeGPT生成另一个API密钥。

现在我们将要求它为蛇游戏编写代码。生成并运行代码只花了10秒钟。

下面演示了我们的蛇游戏。

不妨了解五大AI编程助手(https://www.kdnuggets.com/top-5-ai-coding-assistants-you-must-try)，成为AI驱动的开发人员和数据科学家。记住，人工智能旨在帮助我们，而不是取代我们，所以不妨对它持开放的心态，用它来提高代码编写水平。

结论

我们在本教程中了解了Groq推理引擎以及如何使用Jan AI Windows应用程序在本地访问它。最后，我们通过使用CodeGPT VSCode扩展，将其整合到我们的工作流中，这真是太棒了。它实时生成响应，以获得更好的开发体验。

原文标题：Using Groq Llama 3 70B Locally: Step by Step Guide，作者：Abid Ali Awan

链接：https://www.kdnuggets.com/using-groq-llama-3-70b-locally-step-by-step-guide。

想了解更多AIGC的内容，请访问：

51CTO AI.x社区

https://www.51cto.com/aigc/

# https  # 我都  # 就能  # 还可以  # 是一个  # 开源  # 如何使用  # 只需  # 选项卡  # 自己的  # 应用程序  # llama  # AIGC  # 重构  # azure  # ai  # 人工智能  # windows  # github  # console  # 线程  # using  # Token  # try  # 架构  # 重构代码  # macos  # git  # vscode  # linux 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： Midjourney怎样加风格词调质感_Midjourney风格词技巧【指南】  百度输入法ai面板怎么关 百度输入法ai面板隐藏技巧  教你用AI帮你写一份完整的用户调研报告，从数据到结论全搞定  Claude怎么用新功能诗歌创作_Claude诗歌创作使用【方法】  智谱清言分析数据怎么用_智谱清言分析数据使用方法详细指南【教程】  使用Go语言构建图像识别系统：完整指南  AI在建筑行业的革命：提升效率与优化流程  如何用 ChatGPT 快速生成短视频分镜脚本  豆包AI能否用提示词调整回答深度_豆包AI深度控制提示词技巧【方法】  AI数据分析报告生成工具有哪些_一键生成可视化报告的AI工具推荐  千问如何生成预算执行总结_千问预算数据与执行对比分析【方法】  AI朋友圈文案生成工具有哪些_一键生成营销文案的AI工具推荐  文本分类与聚类：网络安全中的自然语言处理应用  Claude怎么用新功能代码调试_Claude代码调试使用【方法】  稿定设计AI抠图怎样处理复杂边缘_稿定设计AI复杂边缘细化技巧【技巧】  即梦ai怎样生成插画作品_即梦ai插画生成入口与风格选择【教程】  Jasper AI的Recipes是什么 Jasper AI配方功能使用【详解】  SnappaAI排版如何生成社交媒体图_SnappaAI排版社媒图尺寸与风格选择【技巧】  豆包AI的发现页面有什么功能_探索热门智能体与话题  Gemini手机端怎么开无障碍_Gemini无障碍设置方法【步骤】  Runway Gen-2怎么用 Runway视频生成AI使用教程  AI Sales Assistant：提升销售效率与客户互动的终极指南  AI在销售CRM软件中的角色：提升效率和客户互动  Universe：用 iPhone 在 5 分钟内打造网站的终极指南  lovemo官网直达链接 lovemo网页版在线  如何利用豆包 AI 快速查询当地生活服务资讯  斑马AI怎样设置专注模式_斑马AI专注时段与干扰屏蔽【指南】  2025年冷邮件营销：技巧、工具和成功案例分享  lumen5怎样从新闻稿生成社交视频_Lumen5新闻稿转社交视频步骤【社媒】  Gemini 与 Google Drive 结合的文件智能检索  Bluecap：加拿大AI会议助手，提升混合办公效率  智行ai抢票怎么设置抢票截止时间_智行ai抢票截止时间设置与确认【步骤】  AI猴子视频制作终极指南：从入门到网红，轻松上手！  Feelin聊天网页版地址 Feelin AI官方网站首页  使用 Claude 4 和 n8n 实现 AI 工作流自动化  美图秀秀AI抠图如何修复抠图误差_美图秀秀AI误差修复与手动涂抹【指南】  Gacha Club反应视频解析：探索热门角色和独特剧情  使用双端队列（deque）解决字母字符串问题  PandaDoc vs. SignEasy: 2025 eSignature 平台终极对比  AI驱动音频优化：提升音质的终极指南  Canva AI终极指南：释放AI力量，设计触手可及  AI视频工具：加速内容创作，提升效率的终极指南  宗教领袖影响力反思：警惕精神控制与信仰危机  AI聊天机器人会取代人类吗？深度剖析与未来展望  小米汽车OTA冬季大版本升级：新增和优化共计9项功能  tofai官网入口链接 tofai网页版在线登录  TopMedi AI：AI语音克隆和文本转语音终极指南  3步教你用AI将你的照片变成乐高积木风格  历史影像解密：唇语专家如何还原一战士兵对话？  千问怎么使用插件功能_千问插件调用与功能扩展【教程】 

 2024-06-05