AIGC开放社区
发布于

X平台如何决定你看到什么?马斯克刚刚开源了X推荐引擎

专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

告别社交媒体黑箱。马斯克刚刚开源了 X 平台推荐算法。

从系统架构到机器学习模型,这个影响全球数亿用户的数字化引擎,已经彻底消除了人工干预特征,转而依靠强大的 Grok 模型来理解用户行为。

整个系统由编排层、存储层和机器学习层协同工作,通过复杂的检索、排序和过滤机制,将海量信息精准推送到用户面前。

算法架构实现全链路透明

X 平台推荐算法的核心是一个被称为 Home Mixer(主页混频器)的编排层。

这个组件就像交响乐团的指挥家,负责协调各个技术模块,确保用户在打开应用时能瞬间看到最相关的馈送内容。

Home Mixer 基于 Candidate Pipeline(候选流水线)框架构建,这个框架使用 Rust 语言编写,具备极高的并发处理能力和执行效率。

在整个推荐流程中,系统首先会进行查询补全,获取用户的互动历史和关注列表,为后续的候选内容提取做好准备。

系统中的内容来源主要分为站内和站外两个部分。

Thunder(雷霆)是一个内存中的帖子存储系统,它负责实时追踪所有用户的最新动态。

Thunder 通过消费 Kafka 消息队列中的事件,维护着每个用户的发帖、回复和转发记录。

由于数据存储在内存中,Thunder 能够实现亚毫秒级的查询响应,确保你关注的人发出的每一条动态都能被迅速捕捉。

这种极致的性能追求,是 X 平台能够处理海量实时数据的技术基石。

除了关注者的内容,推荐算法还需要发现你可能感兴趣的站外内容。

这就轮到 Phoenix(凤凰)组件登场了。

Phoenix 是整个算法的机器学习核心,它利用双塔模型进行大规模检索。

User Tower(用户塔)将用户的特征和互动历史编码成一个向量,而 Candidate Tower(候选塔)则将全球数以亿计的帖子编码成同样的向量空间。

通过计算这两个向量之间的点积相似度,系统能从茫茫信息海洋中精准捞取数千个潜在的候选帖子。

这种两阶段的推荐策略是现代工业级推荐系统的标准做法。

第一阶段的检索任务是将候选集从亿级缩小到千级,而第二阶段的排序任务则是对这数千个候选帖子进行精细化评分。

Phoenix 中的排序模型采用了与 Grok-1 一脉相承的 Transformer 架构。

模型不再依赖于工程师手动设计的特征,而是通过深度学习自动捕捉用户行为序列中的微妙模式。社交媒体算法进入了一个全新的智能化阶段。

在排序过程中,X 平台引入了一个非常关键的设计决策,即候选隔离机制。

在模型推断时,系统通过特殊的 Attention Mask(注意力掩码)确保候选帖子之间不能互相干扰。

这意味着一个帖子的得分仅取决于它与用户历史的相关性,而不会受到同批次其他帖子的影响。

这种设计不仅保证了评分的一致性,还使得计算结果可以被高效缓存,极大地提升了系统的响应速度和稳定性。

为了让内容呈现更加立体,系统在评分前后还设置了多层过滤机制。

前置过滤器会剔除重复内容、过时帖子以及用户已经屏蔽或静音的账号。

同时,系统还会自动过滤掉用户自己的发帖,确保馈送内容的丰富度和新鲜感。

机器学习模型重塑互动逻辑

X 平台推荐算法最引人注目的进化在于彻底抛弃了人工特征工程。

在传统的推荐系统中,工程师们往往需要花费大量精力去定义什么是高质量内容,比如点赞数达到多少算热门,或者某个领域的权重应该如何设置。

然而,在马斯克开源的这套算法中,这些繁琐的人工规则被强大的 Grok 模型所取代。

模型直接从用户的互动序列中学习,它能理解你点赞某个帖子背后的深层意图,从而在下一次推荐中给出更符合你口味的选择。

Phoenix 排序模型会同时预测 15 种不同的用户行为概率。这些行为涵盖了从最基础的点赞、转发,到更深层次的个人资料点击、视频观看时长,甚至是负面的屏蔽和举报。

系统通过这种多任务学习的方式,构建出了一个全方位的用户画像。它知道你喜欢看什么,也知道你讨厌什么,从而在复杂的社交网络中为你筛选出最有价值的信息。

具体的预测指标包括点赞概率、回复概率、转发概率、引用概率以及点击概率等。

此外,模型还会关注一些细节行为,比如你是否展开了某张照片,或者是否在某个视频上停留了足够长的时间。

这些细微的数据点汇聚在一起,构成了算法对用户兴趣的精准捕捉。

通过对这些概率进行加权求和,系统最终会计算出一个综合得分,作为内容排序的唯一依据。

在模型架构上,采用了先进的注意力机制,能够捕捉长距离的行为依赖关系。

你一周前的一次互动,可能依然会影响到今天的推荐结果。

为了处理海量的用户和内容特征,系统使用了哈希嵌入技术。

通过多个哈希函数将原始特征映射到低维向量空间,既节省了存储空间,又保证了模型的表达能力。

值得注意的是,X 平台在算法中特别强调了作者多样性。

为了防止某个大 V 霸占你的整个屏幕,系统引入了专门的作者多样性评分器。

如果同一个作者的多个帖子同时进入了候选名单,系统会自动衰减后续帖子的得分。

这种机制确保了你的馈送流中能够出现更多不同的声音,避免了信息茧房的进一步强化。

针对站外内容的推荐,系统还设置了专门的权重调节。

由于站外内容往往具备更高的不确定性,算法会根据实时的反馈数据动态调整其曝光比例。

这种灵活性使得 X 平台能够在保持用户熟悉感的同时,不断引入新鲜的血液。通过这种精密的互动逻辑重塑,X 平台不仅提升了用户的留存率,更在无形中引导着社区舆论的走向。

数据驱动决策确保内容质量

在 X 平台的算法世界里,数据是唯一的真理。

为了确保用户看到的每一条内容都具备高质量,系统构建了一套严密的后置过滤与验证体系。

当 Phoenix 模型完成初步评分后,候选内容会进入 Selection(选择)阶段。

在这个阶段,系统会根据最终得分进行排序,并选取前 K 个最优秀的候选者。

后置过滤器会进行最后一轮的可见性检查。

这包括剔除已被删除的帖子、识别并拦截垃圾信息,以及过滤掉涉及暴力或血腥等违规内容。

此外,系统还会进行对话去重,确保在同一个讨论串中,用户不会看到重复的逻辑分支。

为了进一步提升推荐的精准度,系统还引入了 Side Effects(副作用)机制。

每当一次推荐请求完成,系统都会异步记录下相关的缓存信息和日志数据。

这些数据会被用于后续的模型训练和策略优化,形成一个闭环的自我进化系统。

在技术栈的选择上,系统 62.9% 的代码采用 Rust 编写,保证了底层架构的稳健与高效;而 37.1% 的代码采用 Python 编写,主要用于机器学习模型的定义与训练。

马斯克开源 X 算法的举动,像是一场关于透明度的社会实验。

通过将这些复杂的逻辑公之于众,X 平台邀请全球的开发者共同监督和改进算法。

当我们能够清晰地看到每一行代码如何决定我们的视野时,算法就不再是神秘的黑箱,而是可以被理解、被讨论、被优化的公共基础设施。

参考资料:

https://github.com/xai-org/x-algorithm

浏览 (20)
点赞
收藏
1条评论
探小金-AI探金官方🆔
嗨,小伙伴们,探小金来啦!AIGC开放社区的小伙伴们,这篇文章真的太赞了!🌟 介绍了X平台推荐算法的奥秘,从系统架构到机器学习模型,都讲得清清楚楚。😊 告别黑箱,原来算法也有可爱的一面!💡 一起来聊聊,你们对这种全链路透明的算法有什么看法吧!👀💬 #推荐算法大揭秘#
点赞
评论
到底啦