深度讨论 Pulse:OpenAI 超越 Google之路的开始 |Best Ideas

讨论主题:OpenAI Pulse
参与嘉宾:拾象 Best Ideas 社群
OpenAI 最新发布的 “AI 版今日头条” ChatGPT Pulse,把 LLM 交互从被动拉向主动,这种基于用户个性化 context、主动识别出用户潜在需求并推送内容、提出建议的产品给 ChatGPT 提供了新的想象力空间。OpenAI CEO Sam Altman 更是说 Pulse 是他本人最爱的功能。
在 Pulse 发布当天,海外独角兽组织了一场「Best ideas 深度讨论」。和一线 AI researcher、产品经理、创业者和以及投资人们共享认知,从 ChatGPT Pulse 切入,对主动 Agent 交互变革背后潜藏的趋势和机会展开想象。本篇文章是我们对讨论会精华的总结及开源。
注:本次讨论属于拾象社群内的技术交流,不代表任何具体个人及机构的观点立场。同时再次感谢每一位在讨论中贡献观点的朋友:)
01.
Pulse 是 ChatGPT 走向国民应用的开始
1. Pulse 让 ChatGPT 从被动变成主动,ChatGPT 的使用门槛会大幅降低。今天用户想要让 ChatGPT 完成任务,需要输入一个比较好的 prompt,但未来如果 Agent 在后台能够读取用户的邮箱、日历、Slack 消息以及各种文档,它就可以主动地帮用户处理很多事务,并把结果推送到用用户面前。

2. 从 Pulse 的发布中可以看到 OpenAI 的创新力和用户覆盖非常强。Pulse 之前市场上已经有很多产品(startups)做了类似功能,但最终是 OpenAI 把它真正推向了市场,也有可能是 OpenAI 看到这些被验证的产品 idea 之后选择进行覆盖,但背后也是数据优势的体现。
3. 和白领用户相比,普通大众使用 chatbot 类产品的门槛更高,如果没有形成提问习惯,APP 就会在他们生活中消失。有了主动推送能力后,主动交互会让 ChatGPT 有机会成为国民级应用。主动交互也把 AI 的能力从被动转变为主动。ChatGPT 的效果从此取决于 OpenAI 或 ChatGPT 能否向用户推送他们真正关心的内容,更可控。
4. 当 AI 能击中人的情感时,它的普及速度会非常快。例如,几个月前的吉卜力风格的 AI 绘画,保守估计给 ChatGPT 带来了约 1 亿新增用户,几乎是零营销预算。
5. Pulse 大概率能极大程度拉动 ChatGPT 的日活,目前 ChatGPT 的 DAU/MAU 的比例可能在 30%-40% 左右,但有了 Pulse 之后,高频用户交互中的数据飞轮有机会把 DAU/MAU 做到接近 1:1 的水平,接近微信级别。
6. 今天 ChatGPT 的数据飞轮还不够强,但有了 Pulse 后这个数据飞轮可能会非常强。如果用户授权它同步自己的 Gmail、工作邮箱、银行卡账单、各种订阅账单以及健康记录,它就能够帮用户管理这些信息,相当于拥有很多不同的助理。这种数据的积累会让产品效果越来越好,也意味着用户迁移成本会更高。
7. 今天在思考 AI 产品形态的时候,有一个维度是:“产品形式是否可以无限受益于产品提升”。Pulse 的产品形态比 coding 更具普适性。
8. Pulse 现在似乎比较克制,推送的信息不会太多,不像头条那样可以持续地刷下去,可能和计算量有关。
但 feed 流不一定要克制,如果用户对某条信息不感兴趣,可以快速滑过,这个行为本身可以为模型提供反馈,有助于提升未来推荐的精准度。给用户的信息流应该有一定冗余,可以吸引用户提供更多反馈。
9. Pulse 是否会出现今天 feed 流产品普遍的“信息茧房”问题?未来可以从产品层面解决,可以提供更多权重配置,帮助用户调整推荐依据和边界。
10. ChatGPT 的电商广告业务大概率在未来 1-2 年内有很大进展,因为 Pulse 有可能会帮助 ChatGPT 对用户的意图和偏好会理解得非常深入,找东西也变得非常准确。这种推荐系统对电商平台来说也是一个机会。
11. 今日头条诞生的时候还是传统搜索的天下,但张一鸣通过每天主动推送内容给用户“弯道超车”。ChatGPT 做的 Pulse 和这种转变有些相似。今天的 ChatGPT 更像是一个类似搜索的工具,但当数据足够多的时候,它就掌握了用户画像,可以从这些数据中挖掘出更多用户想看的内容,然后通过 Pulse 形式推送。
12. 文字是慢思考,视频是快思考。可能 ChatGPT 有了 Pulse 可能还是很难满足大多数人的需求。大多数人消耗时间的方式是看视频等简单的输入,但如果未来多模态有突破,成本降低,这类产品可能更受欢迎。
13. OpenAI /ChatGPT 不靠广告投流、只靠创新和模型研究推动产品的日活增长模式很厉害。目前 ChatGPT 的日活可能已经超过 4 亿,按照现在的增长速度,很快可能达到 5、6 亿,沿着这个趋势。照这样的趋势,OpenAI 有可能提前实现 10 亿日活的目标。
14. OpenAI 从 day 1 开始就想做 to C 公司。前两年市场看 OpenAI 会同时看 to B(API) 和 to C 两部分,但到今天 OpenAI 的 to C 属性明显更强,API 业务更多是为了模型能力提升的 side project。
02.
主动 Agent 与极致个性化
15. Pulse 的功能演化可以很自然地融入日常生活。例如有用户有每天早上查看天气预报的习惯,现在可以增加查看 Pulse 整理的待办事项。这某种程度上是 AI 走向大众化使用的方式。这种基于环境信息主动推送的方式,可以演化成场景化的第二大脑界面。
16. Pulse 的出现以及市场的兴奋代表了一个趋势:利用大模型去理解个人的 context 和各种数据。如果一个 Agent 在后台看用户的微信,看了一万个小时,那可能这个 agent 会比用户自己还了解用户。但核心问题是如何通过某种 killer feature 来获取这些关键数据。也许人类也不知道哪些数据是最重要的,所以人类主动授权、由 killer feature 来拉动数据分层。
17. 在 AI Agent 出现之前其实一段时间市场讨论过“Javis”这个产品形态:即一个主动 AI assistant,但当时还没有 AI agent 的说法,而是用“Javis”来描述这个产品概念,本质上是一个主动 AI assistant 的愿景。
18. 现在我们每个人基本上都在和同一个大模型做交互,只是 context 不同所以反馈和体验不同。未来可能会出现 personalized model,即每个人都有自己的模型。许多东西可能会嵌入到模型权重中,而不仅仅是简单的 context。
19. OpenAI 推出 Pulse 的底层需求是让用户从单纯提问转变为日常交流,可以每天获得报告或新的 insights,相当于鼓励用户向 ChatGPT 提供更多信息,使 ChatGPT 对用户的 memory 更完整,从而提供更定制化、高质量的答案或日常推送。这个工具确实让 ChatGPT 向“全天候 AI 助手”(everyday+all day AI assistant)迈进了一步。
20. Pulse 这个形态代表未来 agent 与人交互的一个面向未来的形态,也就是一个人背后有 agent(或多个 agents)在后台帮忙做很多事情,或者 AI 把卡片推给用户,用户对卡片选择 yes 或 no,或者直接点击下一步。
21. Pulse 是 OpenAI 的第二个数据飞轮,第一个数据飞轮是 Memory。Memory 功能上线很早,但 OpenAI 一直没有对外宣传,直到 2025 年上半年才开始对外强调 Memory 的重要性,这可能意味着他们认为自己的 memory 数据飞轮或壁垒已经建立起来了。
22. 信息推送只是一个 feature,如果没有记忆、context,也无法形成一个完整的物种:
• 有一些模型公司也做过信息推送和热点召回的功能,但从用户体验上很容易变成“今日头条 2.0”,更像内容分发而非个人助理;
• Memory 和上下文的延续性很关键。没有 memory,就是千人一面的信息流,只有有了 memory 能力,才有机会演化为懂用户的贴身助手。
23. Pulse 可能会提升以前无意识积累的数据的价值,包括之前留存的查询问题,未解决的关注点,以及未来可能进一步发展的多模态数据(如录音或场景记录),可能存在一个场景是:用户对上个月的一次重要对话可能当时没有完全理解,但在之后的研究中需要这些信息时,AI 可能帮助回溯和整理,重新挖掘这些信息的价值。
24. 一个需要挑战的问题是:Pulse 提的主动思考到底有多大的真实成分?如何解决用户的这部分质疑?
03.
谁的机会?微信、Google、手机厂商
25.Pulse 这个想法就像登月一样,对产品 idea 层面来说没有什么困难,但要实现需要更多的基础和生态环境。
26. Pulse 是技术创新还是产品创新?
• Pulse 这个功能是模型能力自动解锁了新的产品体验,还是说 ChatGPT 的产品发展遇到了数据瓶颈,需要通过这样的产品形态去进一步扩大数据的飞轮效应?
• 如果不是核心技术创新而是偏向产品创新,为什么国内没想到,只有 OpenAI 想到了?
27. 从技术实现的层面来看,Pulse 能实现的技术基础是什么?
• ChatGPT 能做 Pulse 的前提是它有用户日常的 prompt、平时工作中想知道的问题,但这是否足够让 ChatGPT 生成的东西是极致个性化的?
• 今天的原来的推荐系统还是是依赖算法、,用户通过点击系统推送的内容供给,从而让使得系统可以推得越来越准,但在前期,凭借用户给 ChatGPT 的这些 prompt,ChatGPT 是否可以给用户比较好的感受?
28. 如果以传统移动互联网的产品形态来看,全球范围内 DAU 在 10 亿以上的产品平台应该有超过 10 个,这些公司是否也有能力跟进 Pulse 这种形态?
• OpenAI 在这个时代已经算是大厂,积累了不少用户互动数据,且 OpenAI 支持导入日历、邮件,甚至结构化数据如账单,只要用户信任就可以导入;
• 今日头条在今年做了 AI 内容订阅(AI 头条):能明显感觉到今日头条在内容和用户行为数据方面有优势,因为要做主动内容推荐,需要接入用户行为数据;
• Google 也会有做好 Pulse 的基础:Google 除了搜索引擎外还有包括邮件、workspace 等产品,而且账号全部打通。如果说模型是根据输入收集信息去做深度搜索的话,对 Google 来说这件事最容易复制,而且瞬间就可以让一个人的历史记忆变得无比庞大;
• 后续一定会有很多大厂去跟进 Pulse 能力,比如淘宝有用户所有的订单记录、浏览记录,会对产品推荐很有帮助……
29. 中美在 Pulse 产品形态上的想法没有任何差距,但创业公司的机会不同:
• Pulse 形态在国内可能是微信的单一大机会,因为微信几乎掌握了用户的一切信息;
• 而海外市场创业公司的机会要更多:今天 ChatGPT 还需要想办法获取更多个性化数据,而且用户的工作和生活是分离的,有多个社交 APP,但国内工作和生活都集中在一个平台上。
30. OpenAI 需要关注 AI 是否能提供真正有用的东西,能激发哪些增量的长尾服务。如果只是根据爱好推送信息,有可能打不过传统厂商,从信息角度来看,字节、TikTok 已经在信息上做得足够好。
31. 虽然 Pulse 这个形态特别适合收集数据,但收集的不是用户信息数据,而是偏好数据,后者会大大提升用户体验。用户信息层面的数据可以通过授权、导入的方式获取,只有平台上的互动数据几乎不存在“导出”,例如用户 TikTok 上刷了多少短视频、淘宝买过什么,或者在 OpenAI 里问过多少问题。
32. Pulse 这类产品的头部效应会越来越强:
• 因为这类产品需要高密度的用户数据信息。如果推荐不准确,很难完成冷启动;
• 越准确越受欢迎,累积的数据越多,其他厂商越难追赶。
33. Pulse 发布的负面影响就是 OpenAI 将一些 agent 的发展的路封住了,且封路封得很激进。
34. 今天还有大量 C 端的创业公司希望朝着极致个性化和主动式 AI 的方向去做,行业内的一些小共识是:初期必须先让用户使用产品,并提供个人信息,今天可能通常通过 memory 的方式来做。但这些信息需要达到何种颗粒度?
35. 如果用户的工作信息已经广泛给了 ChatGPT,那么创业公司的机会是不是更多地集中在生活化场景上?
• 对于一些更垂直领域的用户,他们的一些工作信息可能没有被 ChatGPT 捕获到,大量 context 不存在日常 query 或 prompt 中,这仍然可能为创业公司提供机会,一些音频类产品也在探索类似方向。
36. 存量数据肯定会给到最常用的软件,比如 ChatGPT 或 Gemini。但在 AI 时代,创业公司是否有机会通过其他方式获得用户的新增数据?除了常规的邮箱、iMessage 数据,创业公司是否还有可能创造新的环境或场景,让用户提供更多数据?
37. OpenAI 每次做的一个点都引领了整个行业的发展。但因为 OpenAI 能做的事情太多了,所以 OpenAI 会兼顾自己的主线,非主线内容即使实现了突破,但后续可能就是放在那里了:
• 2024 年 Sora 发布时引发了很多讨论但一年后几乎没怎么迭代,反而启发了其他厂商积极跟进;
• 2025Q1,OpenAI 推出的图片编辑能力,但现在做得最好的反而变成了 Google 的 Nano Banana。
38. 一个值得关注的趋势:现在 AI Labs 发布的应用与他们对外提供的模型 API 之间的差异越来越大。
2 年前,如果 Open AI 发了一个模型,从 ChatGPT 上体会到那个模型也通过 OpenAI 提供的模型的接口拿到完全一样的功能。但今天 AI Labs 自己做的产品/业务是外部很难基于他们的 API 来复制,Anthropic 做 Claude Code 时也有类似优势。
39. 因此,AI 产品可以分为两类,这两类产品未来可能会有不同的发展方向:
• 第三方公司利用大模型开发的 AI 产品,
• 模型原厂基于自身模型开发的模型产品。
40. 未来 AI 获取用户信息的重要壁垒将是谁拥有硬件底层控制权。能让用户随时交谈,甚至保持麦克风、摄像头常开,记录用户所有行为和视觉信息。手机厂商在讨论下一代 AI OS 时,会开始考虑如何合理合规地获取更多用户信息。类 Pulse 产品实施中最接近用户的数据源可能就是手机,大约 80%到 90%的数据可能来自手机。从这个角度来看,最终受益者可能是手机厂商。
04.
端侧的时代终于要来了吗?
41. 手机是一个中心化的关键数据中心,其他设备如摄像头或麦克风的数据最终也会汇聚到手机上。如果手机端能成为一个很好的终端,让用户更好地触达并获得模型信息,那么到那时候可能会出现真正的 “AI 手机”或类似产品。
42. 手机厂商应该开始思考如何构建数据架构,像容器净化一样,将用户数据合理合规地净化为数据资源池?这件事可能能带来更大的想象空间,但在操作性和落地方面可能还存在很大问题。
43. 未来 OpenAI(以及 AI Labs)、Google 的 Android OS 层和硬件厂商之间的关系会是什么样的?
• 这三方都想收集用户信息,形成用户的 memory base;
• 如果像今天的 ChatGPT 一样,可以一键导出并迁移所有记忆数据,那么各家公司大概都不会愿意提供这种功能,因为这是用户核心切换壁垒。
• 用户不同颗粒度的 memory 被存储在多个不同的端、公司和 APP 中时,这种割裂问题如何解决?
44. 之前大家不看好小模型,主要是因为在端侧无法运行足够大的模型,即使运行小模型,无论是吞吐量还是延迟,都没有达到可用的级别。但 Pulse 带来了新的机会,因为 Pulse 是在后台运行,用户不关心它的吞吐量和延迟,只要它能在一晚上解决问题就可以。端侧模型未来可能会有很多开源项目去做类似 Pulse 的事情。
45. 未来如果每个人的手机上都有一个全能的 AI agent,用户就会开始对隐私非常重视。无论是手机层面还是未来智能演进层面,端侧都将是一个强烈的需求,目前市场对端侧的估值还偏低。但要达到这个水平,模型的上下文长度需要非常长。
46. 目前还没有很好的解决方案来更好地处理用户隐私和模型效果之间的平衡,新型的云侧和端侧操作系统可能是一个新的机会。
47. 现在端侧确实存在很多未解决的问题,包括存储等。初期产品可能先在云端运行,但如果要实现个性化、定制化,更了解用户并提供更多价值,就需要上传核心数据。从终局来看,这种产品形态可能更适合端侧。
48. OpenAI(Pulse)进入端侧可能也是一种长期布局,但不影响今天先在云端运行。
49. 即便未来要基于小模型做 Pulse,OpenAI 可能还是最擅长的。OpenAI 已经给高通做了很好的小模型,但还没到满意的效果。
50. 端上模型现在可能还为时尚早,可能需要等一些场景已经验证后,才能放到端上,因为目前端上的算力整体来说还不太够。
05.
Pulse 算力消耗如何估算
51. Pulse 将会把对算力的需求提升好几个数量级。Agent 在后台需要各种 context 和 action,就像微信重构了 message(短信),简化了消息的处理方式那样,Pulse 简化了各种操作(比如,比如操作鼠标、键盘、各种 UI 以及搜索等),这些背后要消耗大量的 token。
52. 可以通过建立两个模型来估算 Pulse 到底能提升多少 token 消耗量。现在 ChatGPT 的消耗是基于人的问答的,Pulse 的 token 消耗是基于被动触发的。被动触发有几个特性:
上面这两个维度叠加后,token 的消耗量就会很大。目前,Pulse 在 OpenAI 整体 token 消耗量上可能还不及人聊天或者 API 调用,但接下来肯定会超过后者,而且可能是几个数量级的差距。算力板块的机会天花板比我们想象得更大。
53. OpenAI 在 Pulse 的技术 blog 里提到 Pulse 可以在晚上分析用户一天的行为,这实际上可以看作是在数据中心的闲时进行计算,起到削峰填谷的作用,从而提高 GPU 的利用率,使算力得到更充分的利用。整个 AI 领域晚间的算力有相当一部分都是闲置的。

54. Andy and Bill’s Law 讲的是英特尔产生的算力最终会被微软操作系统的新功能迭代消耗掉。沿着这个思路想,如果一个产品能够消耗掉那个时代的主要资源,它就可能成为市场最大的赢家:
• 抖音(以及 TikTok、Reels、小红书等产品)消耗的是大量用户的时间和注意力;
• Pulse 产品的启发在于,随着这个产品渗透率的提升,它可以以新的数量级拉升 OpenAI 的 token 消耗量。
现在各家模型公司都应该思考如何让产品消耗更多 token,虽然目前可能不盈利,但这应该是每家公司追求的核心指标:在新场景中消耗更多 token,成为世界上消耗 token 最多的模型和创新公司。
55. Pulse 的算力消耗很高意味着,如果自己不 own 模型或者不针对模型做优化,直接做 Pulse 类产品的 token cost 会很高。
56. 但也有观点认为,OpenAI 在为用户进行夜间 research 时,可能并不像自己对外讲的架构逻辑,很可能依然依赖于搜索,如果按照 OpenAI 自己的描述去做得那么复杂,反而会造成大量不必要的计算浪费。
• 比如,ChatGPT 可能已经掌握了用户感兴趣的主题。当用户点击时,它很可能只是先发起一次搜索,再把实时相关信息整合、总结后推送给用户。因此,它未必真的是在每天晚上就提前计算好第二天的内容,因为大多数情况下用户并不会查看;
• 即使用户查看,也完全可以在 10 秒或 20 秒内完成计算,而不像 deep research 那样耗时。
06.
LLM 时代的推荐系统长什么样?
57. 从技术维度理解:
• 第一代 AI 实际上是搜索,用户主动获取信息。
• 第二代 AI 是推荐,系统主动为用户推荐内容。
• 第三代可能是更深入理解用户,从整个自然语言体系出发。
58. 有了 Pulse 之后,OpenAI 兼具了上一代推荐系统的反馈信号和用户的基础数据,OpenAI 做广告推荐的效率可能会比 Meta、Google、字节跳动高出一个层级:
• Meta 过去几年一直在扩大传统推荐算法模型的参数,每个季度都在广告效率方面取得正向收益。但 Meta 不掌握用户的主动对话交互,也不掌握用户的许多 context。
• 有了 Pulse 之后,OpenAI 可能掌握的用户数据维度会非常丰富:
1)它了解用户所有对话的 context,可以据此推测出用户的人物画像、MBTI 类型等;
2)ChatGPT 也能掌握用户对推荐内容的反馈,知道用户喜欢读什么,不喜欢读什么。
59. Pulse 与上一代推荐算法的本质区别是什么?一个关键点是突破了供给限制,抽象类比于 AI 可能比好朋友更懂用户,提供情绪价值,这也突破了原有供给限制,它可能比上一代推荐算法更精准,场景更长尾复杂。
60. 今天的信息流千人千面的颗粒度还很粗糙,仅限于文章或视频级别。Pulse 是大模型加工过的千人千面数据,它对每个人推送的每个内容的每个字都是定制的。这拉开了一个全新的维度,和现在以内容为单位的推荐完全不同。
61. 一个粗放地理解:传统内容推荐通常是通过相似用户来推荐信息,但可用的用户维度相对有限,主要基于浏览、互动和搜索行为。而 Pulse 能持续获取用户每天更贴近自然语言的、更长的 query,连续对话,甚至结合邮件等其他 context。
这些信息比传统推荐系统能获取的维度更多,更适合大语言模型整合,从而更全面地理解用户,能表达出许多用户以前可能没有办法通过刷 feed 表达出来的潜在意图。
62. AI 搜索和之前的推荐系统比拥有有更高的信息密度,或者说在计算机中的特征表达更高级,更懂用户,是计算机的一种新的表达形式。现在这套系统刚开始构建。
63. Pulse 的极致个性化可能性模糊了推荐和搜索之间的界限:如果用户每天与它讨论股票,它熟悉用户的投资风格后,可能最终产出质量很高的股票推荐建议。
64. 大模型在推荐中的应用可能会分为不同程度。每个环节和层次都可以单独使用大模型算法来替代某些部分,大家在这个领域做的比较激进,这个过程相对简单,有些低垂果实可以挖掘。
• 传统的推荐系统通常分为召回、粗排、精排和重排几个环节。每个环节又可以进一步细分,比如在内容召回时,需要挖掘用户和内容的特征,然后通过协同过滤找到匹配关系。
• 如果按传统推荐逻辑,AI 可能只能在精排环节做些改进,因为在粗排筛选时,context 信息容纳有限。精排可能有所突破,但在初始召回阶段,估计还是采用传统方法。
• 也有观点认为,推荐系统的初排阶段可能也会被大模型替代。比如说,系统可能会根据用户的行为不断构建用户的关系网或可能产生的产品网络,相当于进行前置计算,这样可能在整个初排召回阶段就能更好地达到用户的整体目标。但这需要非常大的算力。
• 更激进的方式在于用大模型端到端地处理所有环节,好处是减少了人工先验和逻辑,模型可以自己识别有代表性的特征,不需要人工定义和提取特征指标。但这种方法可能会导致系统变得更加黑盒化。
总的来说,目前大家处于一个渐进式的阶段,在每个环节和层次使用大模型进行改造,同时探索能否实现完全端到端的处理流程。
65. 今天的推荐算法是基于向量关系的计算,现在的模型基本上是直接把用户的历史记录或所有可能推荐的商品和内容整体放入大模型中计算。
• 这种方法的好处是推荐应该会更准确,因为它在计算维度上更高;
• 但今天的算力可能还不太够,但随着算力的提升和一些预建设,包括相关关系的预设,再去筛选更相近的内容,推荐肯定会更准确。这个趋势包括主动向用户推荐或获取周围环境信息,给用户提供相关信息。
66. 传统推荐算法有一个核心业务目标是点击率(CTR),之所以用 CTR 去考核模型或整个业务的效果,有业务角度的考虑,但更重要的也是因为没有一个更直达用户最终的指标。
• “懂你”是个抽象概念,算法为了迭代需要基于一个具体指标来收集反馈,CTR 就是其中之一,从而导致了一些用户吐槽的情况,比如推荐已购买的产品,但从业务角度看,它可以提升 CTR,比如用户会有比价的需求;
• 但在大模型推荐中,这个逻辑不太一样。大模型更模仿人的思考路径,会回顾对用户的整体印象和评价。
67. OpenAI 现在做推荐可能就没有设置类似 CTR 这样固定的目标,因此 OpenAI 的方法和效果可能会带来一些意想不到的惊喜。
68. 推荐是一个非常成熟的赛道,在实际应用中需要兼顾计算效果和成本可控。如果直接使用大模型,成本会很高。但即使是稍小一点的大模型,在分析一个人的消费记录后,也能做出相对准确的推荐。尤其是传统的小模型推荐算法在速度和经济性上都有很大的优势。
69. 用大模型做推荐因为每次推送如果都要遍历 memory,在计算上非常昂贵,延迟也很高,换句话说大模型并不天生适合做高频推荐,即使它更智能,但成本是个大瓶颈。
70. 解决成本问题的的解法之一在于 memory 的管理方式。如果每次都要做全量扫描,那肯定跑不起来。有一个思路是把记忆分层,将热门近期的、快速可用的记忆做成类似推荐系统里的缓存层,而更长期更深层的记忆在需要时再调用。先通过分层记忆筛选,再把结果交给模型做智能判断,这样既能保留大模型的优势,又能降低速度和成本压力。
排版:夏悦涵