金磊 发自 凹非寺
量子位 | 公众号 QbitAI
OpenAI出了个新功能，径直让ChatGPT输出的速率原地腾飞！
这个功能叫作念“瞻望输出”（Predicted Outputs），在它的加执之下，GPT-4o不错比原先快至多5倍。
以编程为例，来感受一下这个feel：
为啥会这样快？用一句话来转头等于：
跳过已知本色，无谓重新开动再行生成。
因此，“瞻望输出”就相配稳当底下这些任务：
在文档中更新博客著作迭代先前的反应重写现存文献中的代码而且与OpenAI协作设立这个功能的FactoryAI，也亮出了他们在编程任务上的数据：
从本质遵守来看，“瞻望输出”加执下的GPT-4o反应期间比之前快了2-4倍，同期保执高精度。
而且官方还暗示：
原先需要70秒完成的编程任务，咫尺只需要20秒。
值得属目标是，咫尺“瞻望输出”功能仅维持GPT-4o和GPT-4o mini两个模子，且所以API的花式。
关于设立者而言，这不错说是个利好音书了。
网友们在线实测音书一出，深远网友亦然坐不住了，反手等于实测一波。
举例Firecrawl独创东谈主Eric Ciarla就用“瞻望输出”体验了一把将博客著作转为SEO（搜索引擎优化）的本色，然后他暗示：
速率果真超等快。
它就像在API调用中添加一个瞻望参数同样肤浅。
另一位网友则是在已有的代码之上，“喂”了一句Prompt：
change the details to be random pieces of text.
将详慑服息改变为立时文本片断。来感受一下这个速率：
也有网友晒出了我方实测的数据：
一言以蔽之，快，是果真快。
若何作念到的？关于“瞻望输出”的技巧细节，OpenAI在官方文档中也有所先容。
OpenAI觉得，在某些情况下，LLM的大部分输出皆是提前知谈的。
要是你条目模子仅对某些文本或代码进行幽微修改，就不错通过“瞻望输出”，将现存本色算作瞻望输入，让延长彰着镌汰。
举例，假定你念念重构一段 C# 代码，将 Username 属性改变为 Email ：
/// <summary>/// Represents a user with a first name, last name, and username./// </summary>public class User{ /// <summary> /// Gets or sets the user's first name. /// </summary> public string FirstName { get; set; } /// <summary> /// Gets or sets the user's last name. /// </summary> public string LastName { get; set; } /// <summary> /// Gets or sets the user's username. /// </summary> public string Username { get; set; }}你不错合理地假定文献的大部安分容将不会被修改（举例类的文档字符串、一些现存的属性等）。
通过将现存的类文献算作瞻望文本传入，你不错更快地再行生成总共文献。
import OpenAI from "openai";const code = `/// <summary>/// Represents a user with a first name, last name, and username./// </summary>public class User{ /// <summary> /// Gets or sets the user's first name. /// </summary> public string FirstName { get; set; } /// <summary> /// Gets or sets the user's last name. /// </summary> public string LastName { get; set; } /// <summary> /// Gets or sets the user's username. /// </summary> public string Username { get; set; }}`;const openai = ew OpenAI();const completion = await openai.chat.completions.create({ model: "gpt-4o", messages: [ { role: "user", content: "Replace the Username property with an Email property. Respond only with code, and with no markdown formatting." }, { role: "user", content: code } ], prediction: { type: "content", content: code }});// Inspect returned dataconsole.log(completion);使用“瞻望输出”生成tokens会大大镌汰这些类型肯求的延长。
不外关于“瞻望输出”的使用，OpenAI官方也给出了几点属目事项。
当先等于咱们刚才提到的仅维持GPT-4o和GPT-4o-mini系列模子。
其次，以下API参数在使用瞻望输出时是不受维持的：
values greater than 1logprobspresence_penalty greater than 0frequency_penalty greater than 0audio optionsmodalities other than textmax_completion_tokenstools - function calling is not supported除此除外，在这份文档中，OpenAI还转头了除“瞻望输出”除外的几个延长优化的花式。
包括“加快责罚token”、“生成更少的token”、“使用更少的输入token”、“减少肯求”、“并行化”等等。
文档承接放在文末了，感兴味的小伙伴不错查阅哦~
One More Thing固然输出的速率变快了，但OpenAI还有一个属目事项激发了网友们的究诘：
When providing a prediction, any tokens provided that are not part of the final completion are charged at completion token rates.
在提供瞻望时，所提供的任何非最终完成部分的tokens皆按完成tokens费率收费。有网友也晒出了他的测试遵守：
未接收“瞻望输出”：5.2秒，0.1555好意思分接收了“瞻望输出”：3.3秒，0.2675好意思分
嗯，快了，也贵了。
OpenAI官方文档：
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs参考承接：
[1]https://x.com/OpenAIDevs/status/1853564730872607229[2]https://x.com/romainhuet/status/1853586848641433834[3]https://x.com/GregKamradt/status/1853620167655481411— 完 —
量子位 QbitAI · 头条号签约
眷注咱们，第一期间获知前沿科技动态
Powered by kaiyun(欧洲杯)app-kaiyun欧洲杯app(中国)官方网站-登录入口 @2013-2022 RSS地图 HTML地图