在这篇文章中作者通过多个实验验证了ACSSMAmortized Control of Continuous State Space Model在处理不规则时间序列数据时的有效性和效率。以下是文章中提到的几个关键算例1. Human Activity Classification人类活动分类数据集Human Activity 数据集包含五个人进行不同活动如行走、跌倒、躺下、坐下、站立等的时间序列数据。任务对每个时间点的活动进行分类。结果ACSSM 的分类准确率达到91.4%优于其他基线模型如 Latent-ODE、Latent-SDEH 和 mTAND。2. Pendulum Regression单摆回归数据集通过数值模拟生成的单摆图像序列包含 50 个时间戳每个时间戳对应一个 24×24 像素的图像。任务从不规则采样的、带噪声的单摆图像中推断单摆角度的正弦和余弦值。结果ACSSM 的均方误差MSE为2.98×10⁻³优于其他动态模型如 Latent-ODE、CRU 和 Latent-SDEH。3. USHCN Interpolation and ExtrapolationUSHCN 数据集的插值和外推数据集USHCN 数据集包含美国 1,218 个气象站的每日测量数据涵盖降水、降雪、温度等五个变量。任务插值在给定部分观测时间戳的情况下预测所有时间戳的值。外推在给定前半部分时间戳的情况下预测后半部分时间戳的值。结果插值ACSSM 的 MSE 为0.006×10⁻²显著优于其他基线模型如 mTAND、RKN-Δt 和 CRU。外推ACSSM 的 MSE 为0.941×10⁻²在 USHCN 数据集上表现最佳。4. Physionet Interpolation and ExtrapolationPhysionet 数据集的插值和外推数据集Physionet 数据集包含 8,000 个多变量临床时间序列每个序列记录了患者在 ICU 中的 37 个动态特征。任务插值在给定部分观测时间戳的情况下预测所有时间戳的值。外推在给定前 24 小时的数据情况下预测剩余时间的值。结果插值ACSSM 的 MSE 为0.116×10⁻²优于其他基线模型。外推ACSSM 的 MSE 为0.627×10⁻²与 CRU 模型相当但训练时间显著更短。5. 计算效率对比模型CRUContinuous Recurrent Units。硬件NVIDIA RTX A6000 GPU。结果ACSSM 的每个 epoch 的运行时间显著低于 CRU具体为USHCN 数据集ACSSM 为2.3 秒/epochCRU 为122 秒/epoch。Physionet 数据集ACSSM 为3.8 秒/epochCRU 为114 秒/epoch。这表明 ACSSM 在训练效率上比依赖数值模拟的动态模型快了16-25 倍。总结通过这些实验ACSSM 在多个真实世界数据集上展示了其优越的性能和计算效率。它不仅在分类、回归、插值和外推任务中优于现有的基线模型还通过无模拟的潜在动态框架和摊销推断显著减少了训练和推理的时间成本。这些实验结果验证了 ACSSM 在处理不规则时间序列数据时的有效性和实用性。ACSSMAmortized Control of Continuous State Space Model实现“simulation-free”无模拟的核心在于其独特的建模和计算框架通过解析解和并行化计算避免了传统数值模拟的高计算成本和不稳定性。以下是详细解释其“simulation-free”特性的实现方式1.线性化漂移函数与解析解ACSSM 通过线性化控制随机微分方程SDE的漂移函数将复杂的非线性动态简化为线性动态。具体来说模型考虑了如下形式的线性 SDE[dX_t [-A_t X_t \alpha_t] dt dW_t]其中(A_t) 和 (\alpha_t) 是由神经网络参数化的控制策略。通过这种线性化ACSSM 可以直接计算潜在状态的均值和协方差而不需要通过数值模拟来近似解。解析解的计算对于线性 SDE其均值和协方差可以通过解析公式直接计算[\begin{aligned}\mu_t e^{-At} \mu_0 \int_0^t e^{-A(t-s)} \alpha(s) , ds \\Sigma_t e^{-At} \Sigma_0 e{-AT t} \int_0^t e^{-A(t-s)} e{-AT(t-s)} , ds\end{aligned}]这些公式允许模型在任意时间点直接计算潜在状态的统计量而不需要通过数值积分或蒙特卡洛方法进行模拟。2.摊销推断Amortized InferenceACSSM 采用了摊销推断amortized inference将表示学习与潜在动态解耦。具体来说辅助变量通过神经网络编码器 (q_\phi(y_t|o_t)) 将观测数据 (o_t) 映射到辅助变量 (y_t) 的分布并从中采样得到 (y_t)。控制策略使用 Transformer 架构的 (T_\theta) 网络处理辅助变量 (y_t)生成控制策略 (\alpha_t)。解码器通过解码器 (p_\psi(o_t|y_t)) 将潜在动态解码回观测空间。这种摊销推断的方式允许模型在训练阶段学习到高效的推理策略从而在推理阶段无需依赖数值模拟。3.并行化计算ACSSM 结合了并行扫描算法parallel scan algorithm能够并行计算潜在状态的均值和协方差。具体步骤如下计算中间量对于每个时间区间 ([t_{i-1}, t_i))计算矩阵 (A_i) 和向量 (\alpha_i)。并行扫描利用并行扫描算法计算所有时间点的均值和协方差[\begin{aligned}\mu_{t_i} e^{-A_i \Delta t_i} \mu_{t_{i-1}} \int_{t_{i-1}}^{t_i} e^{-A_i(t_i - s)} \alpha_i , ds \\Sigma_{t_i} e^{-A_i \Delta t_i} \Sigma_{t_{i-1}} e{-A_iT \Delta t_i} \int_{t_{i-1}}^{t_i} e^{-A_i(t_i - s)} e{-A_iT(t_i - s)} , ds\end{aligned}]其中(\Delta t_i t_i - t_{i-1})。通过并行化计算ACSSM 能够高效地处理大规模时间序列数据显著减少计算时间。4.无模拟的潜在动态框架ACSSM 的“simulation-free”特性还体现在其无模拟的潜在动态框架上。具体来说避免数值模拟通过解析解和并行化计算ACSSM 避免了传统数值模拟中的误差累积和高计算成本。高效推理在推理阶段ACSSM 可以直接从解析解中采样而不需要通过数值积分或蒙特卡洛方法进行模拟。5.总结ACSSM 的“simulation-free”特性主要通过以下方式实现线性化漂移函数通过线性化 SDE 的漂移函数直接计算潜在状态的均值和协方差避免数值模拟。摊销推断通过辅助变量和控制策略将表示学习与潜在动态解耦提高推理效率。并行化计算利用并行扫描算法高效计算潜在状态的统计量进一步减少计算时间。这些设计使得 ACSSM 在处理不规则时间序列数据时不仅保持了高效的计算性能还避免了数值模拟带来的误差和不稳定性。按t piecewise合理吗在测试阶段模型允许知道的信息取决于具体的任务设置和实验设计。为了确保测试结果能够真实反映模型的泛化能力和性能通常会对模型的输入信息进行严格限制。以下是不同任务中模型在测试阶段允许知道的信息1. Human Activity Classification人类活动分类任务目标对每个时间点的活动进行分类。允许模型知道的信息测试集输入测试集中每个时间序列的传感器数据时间序列这些数据是完整的包含多个时间点的观测数据。时间戳信息模型可以知道每个时间点的具体时间戳因为时间戳对于理解时间序列的动态变化非常重要。不允许模型知道的信息真实标签模型在测试阶段不能知道任何时间点的真实活动类别标签。这些标签只有在评估阶段才会被用来计算准确率。2. Pendulum Regression单摆回归任务目标从单摆图像中推断出单摆角度的正弦和余弦值。允许模型知道的信息测试集输入测试集中每个时间序列的单摆图像数据这些数据是完整的包含多个时间点的图像。时间戳信息模型可以知道每个时间点的具体时间戳这对于理解时间序列的动态变化非常重要。不允许模型知道的信息真实值模型在测试阶段不能知道任何时间点的真实单摆角度的正弦和余弦值。这些真实值只有在评估阶段才会被用来计算均方误差MSE。3. USHCN Interpolation and ExtrapolationUSHCN 数据集的插值和外推任务目标插值在给定部分观测时间戳的情况下预测所有时间戳的值。外推在给定前半部分时间戳的情况下预测后半部分时间戳的值。允许模型知道的信息测试集输入插值任务测试集中每个时间序列的部分观测时间戳及其对应的观测值。外推任务测试集中每个时间序列的前半部分时间戳及其对应的观测值。时间戳信息模型可以知道每个时间点的具体时间戳这对于理解时间序列的动态变化非常重要。不允许模型知道的信息完整时间序列的真实值模型在测试阶段不能知道任何未观测时间戳的真实值。这些真实值只有在评估阶段才会被用来计算均方误差MSE。4. Physionet Interpolation and ExtrapolationPhysionet 数据集的插值和外推任务目标插值在给定部分观测时间戳的情况下预测所有时间戳的值。外推在给定前24小时的数据情况下预测剩余时间的值。允许模型知道的信息测试集输入插值任务测试集中每个时间序列的部分观测时间戳及其对应的观测值。外推任务测试集中每个时间序列的前24小时的观测值。时间戳信息模型可以知道每个时间点的具体时间戳这对于理解时间序列的动态变化非常重要。不允许模型知道的信息完整时间序列的真实值模型在测试阶段不能知道任何未观测时间戳的真实值。这些真实值只有在评估阶段才会被用来计算均方误差MSE。总结在测试阶段模型允许知道的信息通常包括部分观测数据测试集中每个时间序列的部分观测值例如部分时间戳的观测值或前半部分时间戳的观测值。时间戳信息每个时间点的具体时间戳这对于理解时间序列的动态变化非常重要。模型不允许知道的信息包括完整时间序列的真实值未观测时间戳的真实值这些值只有在评估阶段才会被用来计算性能指标如准确率或均方误差。这种设置确保了测试结果能够真实反映模型的泛化能力和性能避免了数据泄露或信息泄露的问题。 Amortized Control of Continuous State Space Model ICLR2025有关动力系统的paper
在这篇文章中作者通过多个实验验证了ACSSMAmortized Control of Continuous State Space Model在处理不规则时间序列数据时的有效性和效率。以下是文章中提到的几个关键算例1. Human Activity Classification人类活动分类数据集Human Activity 数据集包含五个人进行不同活动如行走、跌倒、躺下、坐下、站立等的时间序列数据。任务对每个时间点的活动进行分类。结果ACSSM 的分类准确率达到91.4%优于其他基线模型如 Latent-ODE、Latent-SDEH 和 mTAND。2. Pendulum Regression单摆回归数据集通过数值模拟生成的单摆图像序列包含 50 个时间戳每个时间戳对应一个 24×24 像素的图像。任务从不规则采样的、带噪声的单摆图像中推断单摆角度的正弦和余弦值。结果ACSSM 的均方误差MSE为2.98×10⁻³优于其他动态模型如 Latent-ODE、CRU 和 Latent-SDEH。3. USHCN Interpolation and ExtrapolationUSHCN 数据集的插值和外推数据集USHCN 数据集包含美国 1,218 个气象站的每日测量数据涵盖降水、降雪、温度等五个变量。任务插值在给定部分观测时间戳的情况下预测所有时间戳的值。外推在给定前半部分时间戳的情况下预测后半部分时间戳的值。结果插值ACSSM 的 MSE 为0.006×10⁻²显著优于其他基线模型如 mTAND、RKN-Δt 和 CRU。外推ACSSM 的 MSE 为0.941×10⁻²在 USHCN 数据集上表现最佳。4. Physionet Interpolation and ExtrapolationPhysionet 数据集的插值和外推数据集Physionet 数据集包含 8,000 个多变量临床时间序列每个序列记录了患者在 ICU 中的 37 个动态特征。任务插值在给定部分观测时间戳的情况下预测所有时间戳的值。外推在给定前 24 小时的数据情况下预测剩余时间的值。结果插值ACSSM 的 MSE 为0.116×10⁻²优于其他基线模型。外推ACSSM 的 MSE 为0.627×10⁻²与 CRU 模型相当但训练时间显著更短。5. 计算效率对比模型CRUContinuous Recurrent Units。硬件NVIDIA RTX A6000 GPU。结果ACSSM 的每个 epoch 的运行时间显著低于 CRU具体为USHCN 数据集ACSSM 为2.3 秒/epochCRU 为122 秒/epoch。Physionet 数据集ACSSM 为3.8 秒/epochCRU 为114 秒/epoch。这表明 ACSSM 在训练效率上比依赖数值模拟的动态模型快了16-25 倍。总结通过这些实验ACSSM 在多个真实世界数据集上展示了其优越的性能和计算效率。它不仅在分类、回归、插值和外推任务中优于现有的基线模型还通过无模拟的潜在动态框架和摊销推断显著减少了训练和推理的时间成本。这些实验结果验证了 ACSSM 在处理不规则时间序列数据时的有效性和实用性。ACSSMAmortized Control of Continuous State Space Model实现“simulation-free”无模拟的核心在于其独特的建模和计算框架通过解析解和并行化计算避免了传统数值模拟的高计算成本和不稳定性。以下是详细解释其“simulation-free”特性的实现方式1.线性化漂移函数与解析解ACSSM 通过线性化控制随机微分方程SDE的漂移函数将复杂的非线性动态简化为线性动态。具体来说模型考虑了如下形式的线性 SDE[dX_t [-A_t X_t \alpha_t] dt dW_t]其中(A_t) 和 (\alpha_t) 是由神经网络参数化的控制策略。通过这种线性化ACSSM 可以直接计算潜在状态的均值和协方差而不需要通过数值模拟来近似解。解析解的计算对于线性 SDE其均值和协方差可以通过解析公式直接计算[\begin{aligned}\mu_t e^{-At} \mu_0 \int_0^t e^{-A(t-s)} \alpha(s) , ds \\Sigma_t e^{-At} \Sigma_0 e{-AT t} \int_0^t e^{-A(t-s)} e{-AT(t-s)} , ds\end{aligned}]这些公式允许模型在任意时间点直接计算潜在状态的统计量而不需要通过数值积分或蒙特卡洛方法进行模拟。2.摊销推断Amortized InferenceACSSM 采用了摊销推断amortized inference将表示学习与潜在动态解耦。具体来说辅助变量通过神经网络编码器 (q_\phi(y_t|o_t)) 将观测数据 (o_t) 映射到辅助变量 (y_t) 的分布并从中采样得到 (y_t)。控制策略使用 Transformer 架构的 (T_\theta) 网络处理辅助变量 (y_t)生成控制策略 (\alpha_t)。解码器通过解码器 (p_\psi(o_t|y_t)) 将潜在动态解码回观测空间。这种摊销推断的方式允许模型在训练阶段学习到高效的推理策略从而在推理阶段无需依赖数值模拟。3.并行化计算ACSSM 结合了并行扫描算法parallel scan algorithm能够并行计算潜在状态的均值和协方差。具体步骤如下计算中间量对于每个时间区间 ([t_{i-1}, t_i))计算矩阵 (A_i) 和向量 (\alpha_i)。并行扫描利用并行扫描算法计算所有时间点的均值和协方差[\begin{aligned}\mu_{t_i} e^{-A_i \Delta t_i} \mu_{t_{i-1}} \int_{t_{i-1}}^{t_i} e^{-A_i(t_i - s)} \alpha_i , ds \\Sigma_{t_i} e^{-A_i \Delta t_i} \Sigma_{t_{i-1}} e{-A_iT \Delta t_i} \int_{t_{i-1}}^{t_i} e^{-A_i(t_i - s)} e{-A_iT(t_i - s)} , ds\end{aligned}]其中(\Delta t_i t_i - t_{i-1})。通过并行化计算ACSSM 能够高效地处理大规模时间序列数据显著减少计算时间。4.无模拟的潜在动态框架ACSSM 的“simulation-free”特性还体现在其无模拟的潜在动态框架上。具体来说避免数值模拟通过解析解和并行化计算ACSSM 避免了传统数值模拟中的误差累积和高计算成本。高效推理在推理阶段ACSSM 可以直接从解析解中采样而不需要通过数值积分或蒙特卡洛方法进行模拟。5.总结ACSSM 的“simulation-free”特性主要通过以下方式实现线性化漂移函数通过线性化 SDE 的漂移函数直接计算潜在状态的均值和协方差避免数值模拟。摊销推断通过辅助变量和控制策略将表示学习与潜在动态解耦提高推理效率。并行化计算利用并行扫描算法高效计算潜在状态的统计量进一步减少计算时间。这些设计使得 ACSSM 在处理不规则时间序列数据时不仅保持了高效的计算性能还避免了数值模拟带来的误差和不稳定性。按t piecewise合理吗在测试阶段模型允许知道的信息取决于具体的任务设置和实验设计。为了确保测试结果能够真实反映模型的泛化能力和性能通常会对模型的输入信息进行严格限制。以下是不同任务中模型在测试阶段允许知道的信息1. Human Activity Classification人类活动分类任务目标对每个时间点的活动进行分类。允许模型知道的信息测试集输入测试集中每个时间序列的传感器数据时间序列这些数据是完整的包含多个时间点的观测数据。时间戳信息模型可以知道每个时间点的具体时间戳因为时间戳对于理解时间序列的动态变化非常重要。不允许模型知道的信息真实标签模型在测试阶段不能知道任何时间点的真实活动类别标签。这些标签只有在评估阶段才会被用来计算准确率。2. Pendulum Regression单摆回归任务目标从单摆图像中推断出单摆角度的正弦和余弦值。允许模型知道的信息测试集输入测试集中每个时间序列的单摆图像数据这些数据是完整的包含多个时间点的图像。时间戳信息模型可以知道每个时间点的具体时间戳这对于理解时间序列的动态变化非常重要。不允许模型知道的信息真实值模型在测试阶段不能知道任何时间点的真实单摆角度的正弦和余弦值。这些真实值只有在评估阶段才会被用来计算均方误差MSE。3. USHCN Interpolation and ExtrapolationUSHCN 数据集的插值和外推任务目标插值在给定部分观测时间戳的情况下预测所有时间戳的值。外推在给定前半部分时间戳的情况下预测后半部分时间戳的值。允许模型知道的信息测试集输入插值任务测试集中每个时间序列的部分观测时间戳及其对应的观测值。外推任务测试集中每个时间序列的前半部分时间戳及其对应的观测值。时间戳信息模型可以知道每个时间点的具体时间戳这对于理解时间序列的动态变化非常重要。不允许模型知道的信息完整时间序列的真实值模型在测试阶段不能知道任何未观测时间戳的真实值。这些真实值只有在评估阶段才会被用来计算均方误差MSE。4. Physionet Interpolation and ExtrapolationPhysionet 数据集的插值和外推任务目标插值在给定部分观测时间戳的情况下预测所有时间戳的值。外推在给定前24小时的数据情况下预测剩余时间的值。允许模型知道的信息测试集输入插值任务测试集中每个时间序列的部分观测时间戳及其对应的观测值。外推任务测试集中每个时间序列的前24小时的观测值。时间戳信息模型可以知道每个时间点的具体时间戳这对于理解时间序列的动态变化非常重要。不允许模型知道的信息完整时间序列的真实值模型在测试阶段不能知道任何未观测时间戳的真实值。这些真实值只有在评估阶段才会被用来计算均方误差MSE。总结在测试阶段模型允许知道的信息通常包括部分观测数据测试集中每个时间序列的部分观测值例如部分时间戳的观测值或前半部分时间戳的观测值。时间戳信息每个时间点的具体时间戳这对于理解时间序列的动态变化非常重要。模型不允许知道的信息包括完整时间序列的真实值未观测时间戳的真实值这些值只有在评估阶段才会被用来计算性能指标如准确率或均方误差。这种设置确保了测试结果能够真实反映模型的泛化能力和性能避免了数据泄露或信息泄露的问题。