如何高效地在带状态依赖的多层树中求解最大累积收益

如何高效地在带状态依赖的多层树中求解最大累积收益

本文介绍一种基于动态规划思想的广度优先搜索(bfs)方法,在每层节点收益依赖于父节点选择的前提下,以线性时间复杂度 o(n) 找出从根到叶所有路径中的最大累积收益值(无需返回具体路径)。

在具有 100 层、每层每个节点有 3 个分支(动作 1/2/3)的树结构中,若直接枚举所有路径,将产生 $3^{100}$ 条路径——这在计算上完全不可行。关键在于:收益具有马尔可夫依赖性(当前节点收益仅取决于其父节点的选择),而非全局路径依赖。因此,我们无需存储完整路径,而只需为每个节点维护“以该节点为终点的最大累积收益”。

标准解法是采用自顶向下的动态规划 + BFS 遍历

  • 初始化根节点的累积收益(例如全为 0,或根据初始状态设定);
  • 按层遍历(BFS),对当前层每个节点 u,枚举其三个子节点 v₁, v₂, v₃;
  • 对每个子节点 vᵢ,调用 get_payoff(parent_action=u.action, child_action=i) 计算转移收益,并更新:
    dp[v_i] = dp[u] + payoff(u.action, i)
  • 同时维护全局最大值 max_so_far = max(max_so_far, dp[v_i]);
  • 遍历完成后,max_so_far 即为所求最大累积收益。

注意:由于收益依赖父节点动作,状态定义必须包含“到达该节点时所采取的动作”——即每个节点需按动作维度存储(如 dp[layer][action] 表示第 layer 层、以 action 结束的最大累积收益)。对于 100 层 × 3 动作,仅需维护一个大小为 3 的滚动数组,空间复杂度为 O(1)。

✅ 示例伪代码(简化版):

Petalica Paint

Petalica Paint

用AI为你的画自动上色!

下载

from collections import deque

# 假设 payoff_matrix[l][a_prev][a_curr] 给出第 l 层、由动作 a_prev 转向 a_curr 的收益
dp = [0.0, 0.0, 0.0]  # 当前层各动作对应的最大累积收益
max_payoff = 0.0

for layer in range(1, num_periods + 1):  # 从第1层(根的子层)开始
    new_dp = [-float('inf')] * 3
    for a_prev in range(3):           # 枚举父动作
        if dp[a_prev] == -float('inf'): continue
        for a_curr in range(3):       # 枚举当前动作
            reward = get_payoff(layer, a_prev, a_curr)  # 依赖前序动作
            new_dp[a_curr] = max(new_dp[a_curr], dp[a_prev] + reward)
    dp = new_dp
    max_payoff = max(max_payoff, max(dp))

print("Maximum accumulated payoff:", max_payoff)

⚠️ 关键提醒:

  • 原始代码中混淆了概率传播(get_prob)与收益累积逻辑,且嵌套循环未正确建模树结构与状态依赖,导致复杂度失控;
  • 本方案不构造显式树对象,仅用两层长度为 3 的数组滚动更新,时间复杂度严格为 O(层数 × 3²) = O(N),空间 O(1);
  • 若需返回最优路径,可在更新 new_dp[a_curr] 时同步记录回溯指针(parent_action[a_curr] = a_prev),但题目明确只需最大值,故可省略。

综上,面对状态依赖型多层决策树,BFS + 动态规划是理论最优(Ω(N) 下界)且工程友好的解决方案。

https://www.php.cn/faq/1976446.html

发表回复

Your email address will not be published. Required fields are marked *