Big AI Data 时代下，小红书数据架构的演进

推荐语

小红书如何用增量计算重构数据架构，实现成本与复杂度双降？揭秘3.5亿用户社区的数据平台进化之路。

核心内容：
1. 小红书业务场景与数据挑战：从社区互动到电商交易的全链路数据需求
2. 架构演进关键：用通用增量计算替代Lambda架构，实现三大成本指标降低1/3
3. 混合云战略实践：完成500PB数据迁移后，向自建云与AI驱动方向持续进化

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

1.小红书数据框架的演进

2.通用增量计算概述

---

01

小红书数据框架的演进

在小红书APP中，用户可以浏览社区笔记、与朋友进行互动、可以观看直播，也可以在商城购买商品，而这些都是强数据驱动的业务。小红书用户的体量以及其业务复杂度超高，因此对其数据平台对应的数据能力有着比较大的挑战。

1.小红书业务及数据概览

目前，小红书的整体数据平台是采用业界通用的数仓标准和建模方式来进行维护管理的，包括但不限于自建的调度平台、运维平台、资产管理平台、治理平台、报表平台等一系列产品型工具能力，共同辅助数据资产在企业中发挥更大的价值。

其中，价值输出主要分为四类：

第一类是数据分析。例如支持面向高管的报表、支持一线运营及销售的自助分析产品；

第二类是数据产品。例如小红书面向广告主、商家、博主、内部需求方的数据平台；

第三类是数据服务。例如提供给推荐、搜索、算法团队的用户画像以及特征标签等；

第四类是AI相关。例如使用AI来帮助用户更轻量地获取数据洞察、生成数据报告和给出经营建议等；

2024年，小红书的基础设施层从AWS迁移至阿里云，迁移数据500PB，任务11万，参与人数1500人，涉及部门40多个，整体的迁移和改造的复杂度创下了业界记录。截至目前，小红书已有部分业务在自建云上试跑，未来将向混合云架构发展。

大模型技术大模型技术架构大模型技术原理