个性化热度

概述

传统的热门榜单采用统一的热度计算公式,对所有用户展示相同的内容排序。然而,不同用户的兴趣偏好存在显著差异,千人一面的推荐结果往往难以满足个性化需求。个性化热度通过引入用户兴趣因子,在基础热度分数上进行调整,实现「千人千面」的热点推荐。

个性化推荐原理

个性化推荐的核心思想是:热度 = 基础热度 × 用户兴趣系数。

基础热度反映内容在全局范围内的受欢迎程度,由牛顿冷却模型计算得出,考虑了时间衰减、初始爆发力等因素。用户兴趣系数则衡量内容与特定用户的匹配程度,取值范围通常为 [0.5, 2.0]:

  • 系数 > 1.0:内容与用户兴趣高度匹配,提升排名
  • 系数 = 1.0:内容与用户兴趣无关,保持原热度
  • 系数 < 1.0:内容与用户兴趣相悖,降低排名

这种设计既保留了热点内容的时效性特征,又融入了个性化推荐的优势,使榜单既能反映全局热点,又能贴合用户偏好。

用户兴趣标签

用户兴趣标签是个性化推荐的数据基础,通常通过以下方式构建:

标签来源

  1. 显式行为:用户主动点赞、收藏、关注的内容类别
  2. 隐式行为:浏览时长、点击率、完播率等间接反馈
  3. 内容分析:用户历史交互内容的关键词、主题、情感倾向
  4. 社交关系:关注用户的兴趣偏好、圈子特征

标签结构

标签结构需要同时满足三个要求:能表达偏好强度、能反映偏好的时间性、能被快速检索。单个标签只记一个类目名是不够的——同样喜欢「科技」的用户,一个每天看科技内容、一个半年前看过一篇,权重显然不同。

推荐把标签拆成「维度 + 权重 + 证据」三部分,每条记录的结构如下:

字段类型说明作用
user_idstring用户标识主键前缀
dimensionstring维度类型,如 category、keyword、author决定标签挂在哪个维度上
valuestring维度取值,如「科技」「深度学习」标签本身
weightdouble偏好权重,区间建议为 0 到 1参与相似度计算
behavior_countint累计行为次数用于抑制偶发行为
last_interaction_atlong最后一次交互时间戳权重衰减与过期判断
sourcestring来源:explicit、implicit、content_analysis区分信号可信度
versionint版本号增量更新时做乐观并发控制

一条实际的标签记录长这样:

{
  "user_id": "u_10086",
  "dimension": "category",
  "value": "科技",
  "weight": 0.82,
  "behavior_count": 37,
  "last_interaction_at": 1753180000,
  "source": "implicit",
  "version": 128
}

几个结构设计上的取舍:

  • 用「标签 + 权重」而不是「标签 + 计数」。计数无法体现行为强度差异:一次主动搜索和一次误触点开的权重显然不同。权重是行为强度和时间的函数,由离线任务算好后写入。
  • 保留 source 字段。显式行为(点赞、关注、收藏)的可信度高于隐式行为(划过、误点)。需要时可以只取显式来源构建”高置信画像”,用于冷启动阶段的强推荐。
  • behavior_count 是抑制噪声的关键。计算权重时,让行为次数参与饱和函数(例如 sig(n)=1−exp⁡(−n)\text{sig}(n) = 1 - \exp(-n)),用户看了一百次和看了一次的增量收益会迅速递减,避免个别高频用户把画像带偏。
  • 标签数量必须有上限。用户兴趣标签天然会长到几百上千个,但真正影响排序的通常只有头部若干个。建议每个维度只保留权重最高的 N 个标签,其余合并到「其他」类目,既控制了存储和计算成本,也降低了噪声。

在 Redis 中的存储建议用 Hash 组织,一个用户一个 Hash,字段是 维度:取值,值为权重:

# 用户兴趣向量:一个用户一个 Hash,field 形如 category:科技
HSET user:interest:u_10086 category:科技 0.82 keyword:大模型 0.64 author:u_77 0.55

# 记录标签的更新时间,用于判断画像是否过期
SET user:interest:u_10086:ts 1753180000

# 设置过期时间,未活跃用户的画像可以自动回收
EXPIRE user:interest:u_10086 2592000

用 Hash 而不是每个标签一个 key,是因为查询时几乎总是「一次拿到这个用户的整个兴趣向量」,Hash 能避免几十次 GET 的往返。代价是无法按标签维度做全局检索——如果业务需要「找出对某标签敏感的用户」这类需求,就要额外维护一套倒排索引,那是另一套存储的职责。

权重计算

标签权重采用时间衰减机制,近期行为权重更高:

权重 = 行为强度 × 时间衰减系数

时间衰减系数 = e^(-λ × Δt)
- λ:衰减率(通常取 0.1-0.3)
- Δt:行为发生至今的时间(天)

个性化热度分数

个性化热度分数的计算公式如下:

PersonalizedScore = BaseScore × InterestFactor × DiversityBonus

其中:
- BaseScore:基础热度分数(牛顿冷却模型输出)
- InterestFactor:用户兴趣系数
- DiversityBonus:多样性奖励(可选)

用户兴趣系数计算

InterestFactor = 1.0 + α × SimilarityScore

SimilarityScore = Σ(内容标签权重 × 用户标签权重) / Σ(用户标签权重)

α:调节参数,控制个性化强度(通常取 0.5-1.0)

示例:假设用户对「科技」类别的权重为 0.8,当前内容的科技标签权重为 0.9,α = 0.7:

SimilarityScore = 0.9 × 0.8 / 0.8 = 0.9
InterestFactor = 1.0 + 0.7 × 0.9 = 1.63

该内容的个性化热度将提升 63%。

多样性奖励

为避免信息茧房,可引入多样性奖励机制:

DiversityBonus = 1.0 + β × (1 - CategorySaturation)

CategorySaturation:用户最近浏览内容中该类别的占比
β:多样性调节参数(通常取 0.1-0.3)

当用户过度消费某类内容时,降低同类内容的排名,增加曝光多样性。

实现方案

架构设计

┌─────────────────┐     ┌──────────────────┐     ┌─────────────────┐
│   内容入库      │────▶│  基础热度计算    │────▶│  个性化调整     │
│  (牛顿冷却模型)  │     │   (BaseScore)    │     │ (InterestFactor)│
└─────────────────┘     └──────────────────┘     └─────────────────┘
                                                        │
                                                        ▼
                                               ┌─────────────────┐
                                               │   最终榜单      │
                                               │ (排序输出)      │
                                               └─────────────────┘

核心方案落地

落地时把方案拆成三段:离线算画像、在线算系数、重排出结果。三段的边界划清楚之后,每一段都能独立压测和回滚。

第一段:离线计算用户兴趣向量。 用户行为进入 Kafka 后,由离线任务(Spark 或 Flink 批作业)按时间窗口聚合,更新每个用户的标签权重,写回 Redis。离线任务的产出是「用户当前对每个标签的偏好强度」,不涉及任何单条内容的判断。

第二段:在线计算兴趣系数。 请求到达时,从 Redis 取出该用户的兴趣向量,与候选内容的标签做相似度匹配,得出 InterestFactor。这一步是纯读加轻量计算,必须在毫秒级完成。

第三段:重排。 在基础热度排序的候选集上,应用兴趣系数和多样性奖励,产出最终顺序。

下面是第二段和第三段的参考实现:

from dataclasses import dataclass


@dataclass
class InterestVector:
    """用户兴趣向量:标签权重表,键为「维度:取值」。"""

    weights: dict

    @classmethod
    def from_redis(cls, client, user_id: str) -> "InterestVector":
        """从 Redis 读取兴趣向量;读不到时返回空向量而不是抛异常。"""
        try:
            raw = client.hgetall(f"user:interest:{user_id}")
        except Exception:
            raw = {}
        weights = {}
        for field, value in raw.items():
            if isinstance(field, bytes):
                field = field.decode()
            if isinstance(value, bytes):
                value = value.decode()
            weights[field] = float(value)
        return cls(weights)

    def total_weight(self) -> float:
        return sum(self.weights.values())


@dataclass
class ContentItem:
    """候选内容。"""

    content_id: str
    base_score: float
    tags: dict
    category: str


def similarity_score(vector: InterestVector, item: ContentItem) -> float:
    """计算用户兴趣与内容标签的相似度。

    归一化方式为「内容标签权重 × 用户标签权重 / 用户标签权重之和」,
    即以用户画像自身的规模做归一,避免重度用户天然获得更高相似度。
    """
    total = vector.total_weight()
    if total <= 0:
        return 0.0

    matched = 0.0
    for dimension, value in item.tags.items():
        user_weight = vector.weights.get(f"{dimension}:{value}", 0.0)
        if user_weight > 0:
            matched += user_weight
    return matched / total


def interest_factor(vector: InterestVector, item: ContentItem, alpha: float = 0.7) -> float:
    """兴趣系数,取值范围 [1 - alpha, 1 + alpha]。"""
    return 1.0 + alpha * similarity_score(vector, item)


def diversity_bonus(recent_categories: list, item: ContentItem, beta: float = 0.2) -> float:
    """多样性奖励:用户近期消费越多的类别,奖励越低。"""
    if not recent_categories:
        return 1.0 + beta
    saturation = recent_categories.count(item.category) / len(recent_categories)
    return 1.0 + beta * (1.0 - saturation)


def rerank(
    candidates: list,
    vector: InterestVector,
    recent_categories: list,
    alpha: float = 0.7,
    beta: float = 0.2,
) -> list:
    """在基础热度排序的候选集上做个性化重排。

    只对候选集的头部做重排:长尾内容即便个性化系数再高也很难翻上来,
    对全部候选集做计算既没有收益,也会拖慢响应。
    """
    scored = []
    for item in candidates:
        factor = interest_factor(vector, item, alpha)
        bonus = diversity_bonus(recent_categories, item, beta)
        final = item.base_score * factor * bonus
        scored.append((final, item))

    # 分数相同时按内容 ID 排序,保证结果稳定可复现
    scored.sort(key=lambda pair: (-pair[0], pair[1].content_id))
    return [item for _, item in scored]

在线链路的三个工程要点:

  • 兴趣向量要预计算并缓存。在线请求不应该去回放用户的历史行为。把画像计算放在离线,结果写 Redis,在线只做一次 HGETALL,是这一层性能达标的前提。
  • 候选集要分层。先按基础热度取前 N 条,再在这 N 条里做个性化重排。个性化系数是一个乘性因子,基础热度排到几百名之后的内容,即使系数再高也很难进入首屏,为它做计算没有收益。
  • 空画像要走降级。新用户没有任何兴趣向量时,InterestVector.from_redis 返回空向量,similarity_score 返回 0,interest_factor 退化为 1.0,也就是「不做个性化」。这正好是冷启动需要的行为——此时应该依赖多样性和探索策略,而不是硬凑一个画像。

灰度与回滚:

  • 个性化系数 α\alpha 和多样性系数 β\beta 都必须可配置、可灰度。建议先在 1% 流量上验证,再逐步放量。
  • 每次参数变更要记录版本号,并与指标变化关联。个性化上线后如果点击率下降而留存上升,很可能是多样性权重过高,需要靠版本对照来定位。
  • 保留关闭个性化的开关。出现异常时,能在不发版的情况下立刻退回纯热度排序。

性能优化策略

  1. 预计算用户兴趣向量:离线计算用户兴趣标签,缓存至 Redis,查询时直接读取
  2. 分层计算:先筛选出基础热度前 N 的内容,再进行个性化调整,减少计算量
  3. 增量更新:用户行为发生时增量更新兴趣标签,避免全量重算
  4. 异步计算:个性化分数计算采用异步队列,避免阻塞主线程

存储设计

数据设计要点

  • 核心是在 user_interest_tags 里保存业务事实,而不是把规则散落在应用逻辑里。
  • 索引服务于高频查询,重点是缩小扫描范围,而不是堆更多字段。
  • 关键字段包括 user_id、categories、keywords、authors、recency_score、updated_at、content_id、score,它们决定后续查询和管理能力。

总结

个性化热度通过将用户兴趣因子融入基础热度计算,实现了热点内容与用户偏好的平衡。核心要点包括:

  • 基于牛顿冷却模型的基础热度保证时效性
  • 用户兴趣标签通过多维度行为数据构建
  • 兴趣系数采用相似度加权计算
  • 多样性奖励机制避免信息茧房
  • 预计算 + 缓存策略保障性能

该方案适用于新闻资讯、视频推荐、社交动态等需要兼顾热点与个性化的场景。

发现内容有问题?

告诉我们哪里需要改进。