ChatGPT 令人兴奋的新功能之一是代码解释器模式（最近更名为高级数据分析），它允许你分析数据集、创建可视化和转换文件。 它通过将自然语言指令转换为在 OpenAI 服务器上的沙盒环境中运行的 Python 代码来实现这一点。

　　上周，一个名为 Open Interpreter 的新开源项目启动了，该项目通过使用 GPT-4 和 Code Llama 将这一功能引入你的计算机，并提升到了一个新的水平。 Open Interpreter 在很多方面比 ChatGPT 更强大（也更可怕）：

　　它可以完全访问互联网。它可以完全访问你的计算机及其文件系统。它可以通过在计算机上安装新的库和模型来添加功能。文件大小或运行时间没有限制。

　　本文将提供你可以使用 Open Interpreter 完成的任务示例，解释它如何与 GPT-4 集成，并讨论如何将它与 Code Llama 一起使用。

　　NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包

　　注册 OpenAI 开发者帐户，获取 API 密钥，然后运行：

　　然后输入诸如“打印前 10 个斐波那契数”之类的提示。 默认情况下，Open Interpreter 会在你的计算机上运行任何代码之前要求确认，但如果你喜欢冒险，可以通过运行  来跳过确认。

　　让我们深入探讨一些可以使用 Open Interpreter 完成的任务。 你还可以使用此 Google Colab 笔记本在沙盒环境中运行所有这些示例。

　　2.1 可视化全球变暖趋势

　　我们将从 ChatGPT 的数据分析用例之一开始，要求 Open Interpreter 可视化 1961 年至 2022 年平均温度变化的数据集。

　　提示词：

　　Plot a heatmap of the global warming trends for each of the European Union countries using the dataset at https://opendata.arcgis.com/datasets/4063314923d74187be9596f10d034914_0.csv . Put countries on the y-axis and years on the x-axis.

　　由Open Interpreter使用 GPT-4执行：

　　使用curl下载CSV文件将 CSV 文件加载到 pandas DataFrame 中并读取前几行以了解文件的结构。使用 GPT-4 自己的知识将 DataFrame 过滤到仅欧盟国家旋转 DataFrame，将国家/地区作为行，将年份作为列。使用seaborn 库生成热图可视化。WPS office的官网的下载方法

　　请注意，我的计算机上已经安装了 pandas 和 seaborn，但如果 GPT-4 在导入库时遇到错误，它会使用 pip 来安装它们。

　　输出结果如下：

　　2.2 转录 NPR News Now 播客

　　接下来，我们将通过 RSS Feed 自动获取最新的 NPR News Now 播客，并将音频转录为文本。

　　提示词：

　　Transcribe the podcast at

　　https://feeds.npr.org/500005/podcast.xml

　　由Open Interpreter使用 GPT-4执行：

　　使用 requests 库下载 RSS feed使用 xml 库解析最新剧集的 URL使用requests库下载最新一集的 MP3使用 pydub 库将 MP3 转换为 WAV 格式使用speech_recognition库转录音频

　　与第一个示例不同，GPT-4 决定在使用 requests、xml、pydub 和 voice_recognition 库之前检查它们是否已安装。

　　输出结果如下：

　　2.3 教 GPT-4 如何使用稳定扩散

　　由于 GPT-4 不知道 2021 年 9 月训练截止后发生的任何事情，因此无法生成代码来使用稳定扩散（于 2022 年 8 月发布）创建图像。 但它不会承认它不知道如何使用稳定扩散，而是会产生非工作代码的幻觉。 在我的一次运行中，GPT-4 中文版wps下载的地址哪里有 尝试从 Github 下载预先训练的 DALL-E 模型，但失败了，因为 Open AI 从未开源 DALL-E 模型。

　　因此，我想知道是否可以通过将 Hugging Face Stable Diffusion 博客文章中的内容粘贴到我的提示中来教 GPT-4 如何使用稳定扩散。

　　提示词：

　　Use the information from the following guide to generate an image of a cat in space using Stable Diffusion. Save it as cat.png.

　　Guide:

　　Stable Diffusion wps中文最新版的下载网站哪里有 🎨

　　…using 🧨 Diffusers

　　<…>

　　In this post, we want to show how to use Stable Diffusion with the 🧨 Diffusers library, explain how the model works and finally dive a bit deeper into how diffusers allows one to customize the image generation pipeline

　　<Truncated for brevity…. See Google Colab notebook for complete prompt>

　　由Open Interpreter使用 GPT-4执行：

　　它成功地从博客文章中学习了如何使用 Hugging Face 的diffusers库！

　　安装diffusers、transformers、scipy、ftfy 和accelerate库创建一个 StableDiffusionPipeline，它从 Hugging Face 下载 CompVis/stable-diffusion-v1-4 模型。将管道移至 GPU使用提示“a cat in space”生成图像

　　输出结果如下：

　　虽然结果令人印象深刻，但 Open Interpreter 的实现实际上非常简单。 我们从这条系统消息开始，它告诉模型其功能（运行任何代码、安装包、访问互联网）并指示它首先编写计划，然后分多个步骤执行代码 - 这很重要，因为它允许模型查看错误并在必要时重写代码。 用户名、当前工作目录和操作系统附加在末尾：

　　Open Interpreter 利用 OpenAI 的函数调用 API，并定义了一个名为  的函数，GPT-4 可以使用该函数来指定它想要使用 Python、R、shell、Applescript、Javascript 或 HTML 运行代码。 每个请求都会发送以下函数架构：

　　Open Interpreter 为每种语言创建一个长时间运行的子进程。 当 GPT-4 返回包含  函数调用的完成时，它将代码通过管道传输到子进程，捕获代码的输出，然后创建一个对 GPT-4 的新请求，并将代码的输出附加为函数响应。 它会重复此操作，直到 GPT-4 在没有函数调用的情况下返回完成或用户中止。

　　让我们演练一下 API 调用一个简单的提示“显示当前日期”，其开头为：

　　GPT-4 在  中返回  的函数调用：

　　Open Interpreter然后将  通过管道注入到 Python 子进程并捕获输出

　　接下来，它构造一个新请求，将 GPT-4 的函数调用响应和代码输出附加到之前的消息中：

　　GPT-4 读取代码的输出并在  中返回最终响应

　　由于所有先前生成的代码片段以及运行代码片段的输出都包含在后续请求中，因此对于复杂任务，发送的token数量可能会相当高，因此应该监控你的 Open AI 帐户使用情况（在 Open AI 帐户上使用 Open Interpreter一个周末花了我 30 美元）。

　　Open Interpreter 有一个实验模式，可以使用由 HuggingFace.co/TheBloke 量化的 Code Llama 模型。 这为你的个人数据提供了更多隐私，因为这些模型完全使用 Llama.cpp 在你的计算机上运行 - 请参阅此处的安装说明。

　　以下是在 Apple Silicon (M1/M2) Mac 上运行此程序的方法：

　　Code Llama 模型比 GPT-4 更小，推理能力也更差，因此它们无法完成本文前面所示的任何示例任务。 特别是，它们无法自动从编码错误中恢复，而是会询问用户下一步该做什么的指导。

　　为了成功完成一项任务，我发现我必须将任务分解为多个提示，每个提示都要求 Code Llama 执行一个离散的操作。 这更像是一个编码副驾驶，而不是我们上面在 GPT-4 中看到的自主代理wps的官网下载的地方是什么。

　　创建全球变暖可视化所需的提示示例：

　　Prompt 1: Download https://opendata.arcgis.com/datasets/4063314923d74187be9596f10d034914_0.csv as heat_map.csv

　　Prompt 2: Load heat_map.csv into a pandas DataFrame

　　Prompt 3: Filter the DataFrame to only rows where Country is in the EU

　　Prompt 4: Set the index of the DataFrame to Country

　　Prompt 5: Remove all columns except for F2018, F2019, F2020, F2021, F2022

　　Prompt 6: Generate a heatmap visualization using seaborn

　　Prompt 7: Use matplotlib to show the seaborn heatmap

　　Open Interpreter和人工智能模型直接运行代码的能力为在个人计算机上自动执行任务开辟了令人兴奋的新可能性。 目前，GPT-4 等大型专有模型的功能和成本与 Code Llama 等小型本地模型的隐私优势之间存在权衡。 此外，在成为主流产品之前，还需要做更多的工作来提供沙箱和生成代码的安全性验证。

　　Open Interpreter 项目现在势头强劲，包括增加对 Falcon 180B 等大型开源模型的支持，我期待看到该项目如何发展。

　　原文链接：Open Interpreter教程 - BimAnt