X平台如何决定你看到什么?马斯克刚刚开源了X推荐引擎
告别社交媒体黑箱。马斯克刚刚开源了 X 平台推荐算法。

从系统架构到机器学习模型,这个影响全球数亿用户的数字化引擎,已经彻底消除了人工干预特征,转而依靠强大的 Grok 模型来理解用户行为。
整个系统由编排层、存储层和机器学习层协同工作,通过复杂的检索、排序和过滤机制,将海量信息精准推送到用户面前。
算法架构实现全链路透明

X 平台推荐算法的核心是一个被称为 Home Mixer(主页混频器)的编排层。
这个组件就像交响乐团的指挥家,负责协调各个技术模块,确保用户在打开应用时能瞬间看到最相关的馈送内容。
Home Mixer 基于 Candidate Pipeline(候选流水线)框架构建,这个框架使用 Rust 语言编写,具备极高的并发处理能力和执行效率。
在整个推荐流程中,系统首先会进行查询补全,获取用户的互动历史和关注列表,为后续的候选内容提取做好准备。
系统中的内容来源主要分为站内和站外两个部分。
Thunder(雷霆)是一个内存中的帖子存储系统,它负责实时追踪所有用户的最新动态。
Thunder 通过消费 Kafka 消息队列中的事件,维护着每个用户的发帖、回复和转发记录。
由于数据存储在内存中,Thunder 能够实现亚毫秒级的查询响应,确保你关注的人发出的每一条动态都能被迅速捕捉。
这种极致的性能追求,是 X 平台能够处理海量实时数据的技术基石。
除了关注者的内容,推荐算法还需要发现你可能感兴趣的站外内容。
这就轮到 Phoenix(凤凰)组件登场了。
Phoenix 是整个算法的机器学习核心,它利用双塔模型进行大规模检索。
User Tower(用户塔)将用户的特征和互动历史编码成一个向量,而 Candidate Tower(候选塔)则将全球数以亿计的帖子编码成同样的向量空间。
通过计算这两个向量之间的点积相似度,系统能从茫茫信息海洋中精准捞取数千个潜在的候选帖子。
这种两阶段的推荐策略是现代工业级推荐系统的标准做法。
第一阶段的检索任务是将候选集从亿级缩小到千级,而第二阶段的排序任务则是对这数千个候选帖子进行精细化评分。
Phoenix 中的排序模型采用了与 Grok-1 一脉相承的 Transformer 架构。
模型不再依赖于工程师手动设计的特征,而是通过深度学习自动捕捉用户行为序列中的微妙模式。社交媒体算法进入了一个全新的智能化阶段。
在排序过程中,X 平台引入了一个非常关键的设计决策,即候选隔离机制。
在模型推断时,系统通过特殊的 Attention Mask(注意力掩码)确保候选帖子之间不能互相干扰。
这意味着一个帖子的得分仅取决于它与用户历史的相关性,而不会受到同批次其他帖子的影响。
这种设计不仅保证了评分的一致性,还使得计算结果可以被高效缓存,极大地提升了系统的响应速度和稳定性。
为了让内容呈现更加立体,系统在评分前后还设置了多层过滤机制。
前置过滤器会剔除重复内容、过时帖子以及用户已经屏蔽或静音的账号。
同时,系统还会自动过滤掉用户自己的发帖,确保馈送内容的丰富度和新鲜感。
机器学习模型重塑互动逻辑
X 平台推荐算法最引人注目的进化在于彻底抛弃了人工特征工程。
在传统的推荐系统中,工程师们往往需要花费大量精力去定义什么是高质量内容,比如点赞数达到多少算热门,或者某个领域的权重应该如何设置。
然而,在马斯克开源的这套算法中,这些繁琐的人工规则被强大的 Grok 模型所取代。
模型直接从用户的互动序列中学习,它能理解你点赞某个帖子背后的深层意图,从而在下一次推荐中给出更符合你口味的选择。
Phoenix 排序模型会同时预测 15 种不同的用户行为概率。这些行为涵盖了从最基础的点赞、转发,到更深层次的个人资料点击、视频观看时长,甚至是负面的屏蔽和举报。
系统通过这种多任务学习的方式,构建出了一个全方位的用户画像。它知道你喜欢看什么,也知道你讨厌什么,从而在复杂的社交网络中为你筛选出最有价值的信息。
具体的预测指标包括点赞概率、回复概率、转发概率、引用概率以及点击概率等。
此外,模型还会关注一些细节行为,比如你是否展开了某张照片,或者是否在某个视频上停留了足够长的时间。
这些细微的数据点汇聚在一起,构成了算法对用户兴趣的精准捕捉。
通过对这些概率进行加权求和,系统最终会计算出一个综合得分,作为内容排序的唯一依据。
在模型架构上,采用了先进的注意力机制,能够捕捉长距离的行为依赖关系。
你一周前的一次互动,可能依然会影响到今天的推荐结果。
为了处理海量的用户和内容特征,系统使用了哈希嵌入技术。
通过多个哈希函数将原始特征映射到低维向量空间,既节省了存储空间,又保证了模型的表达能力。
值得注意的是,X 平台在算法中特别强调了作者多样性。
为了防止某个大 V 霸占你的整个屏幕,系统引入了专门的作者多样性评分器。
如果同一个作者的多个帖子同时进入了候选名单,系统会自动衰减后续帖子的得分。
这种机制确保了你的馈送流中能够出现更多不同的声音,避免了信息茧房的进一步强化。
针对站外内容的推荐,系统还设置了专门的权重调节。
由于站外内容往往具备更高的不确定性,算法会根据实时的反馈数据动态调整其曝光比例。
这种灵活性使得 X 平台能够在保持用户熟悉感的同时,不断引入新鲜的血液。通过这种精密的互动逻辑重塑,X 平台不仅提升了用户的留存率,更在无形中引导着社区舆论的走向。
数据驱动决策确保内容质量
在 X 平台的算法世界里,数据是唯一的真理。
为了确保用户看到的每一条内容都具备高质量,系统构建了一套严密的后置过滤与验证体系。
当 Phoenix 模型完成初步评分后,候选内容会进入 Selection(选择)阶段。
在这个阶段,系统会根据最终得分进行排序,并选取前 K 个最优秀的候选者。
后置过滤器会进行最后一轮的可见性检查。
这包括剔除已被删除的帖子、识别并拦截垃圾信息,以及过滤掉涉及暴力或血腥等违规内容。
此外,系统还会进行对话去重,确保在同一个讨论串中,用户不会看到重复的逻辑分支。
为了进一步提升推荐的精准度,系统还引入了 Side Effects(副作用)机制。
每当一次推荐请求完成,系统都会异步记录下相关的缓存信息和日志数据。
这些数据会被用于后续的模型训练和策略优化,形成一个闭环的自我进化系统。
在技术栈的选择上,系统 62.9% 的代码采用 Rust 编写,保证了底层架构的稳健与高效;而 37.1% 的代码采用 Python 编写,主要用于机器学习模型的定义与训练。
马斯克开源 X 算法的举动,像是一场关于透明度的社会实验。
通过将这些复杂的逻辑公之于众,X 平台邀请全球的开发者共同监督和改进算法。
当我们能够清晰地看到每一行代码如何决定我们的视野时,算法就不再是神秘的黑箱,而是可以被理解、被讨论、被优化的公共基础设施。
参考资料:
https://github.com/xai-org/x-algorithm