Page 25 - 国外钢铁技术信息内参（ 2022年5月）
P. 25
ᇏݓࣁඋ࿐߶
图 2 智能钢包网络架构
线性层用下面的公式表示： ᇏݓࣁඋ࿐߶
ᇏݓࣁඋ࿐߶
批处理标准化如下列公式表示：
函数式简单的非线性公式： ᇏݓࣁඋ࿐߶
ᇏݓࣁඋ࿐߶
Kaiming 方法的初始化可以稳定变量分布的协方差：
在神经网络中引入非线性时，激活函数起着至关重要的作用。我们采用 Adam
算法来减少损失函数，这是一种稳定的、广泛使用的求最小值的算法。与传统的
ᇏݓࣁඋ࿐߶
ᇏݓࣁඋ࿐߶
SGD 方法相比，该方法加快了收敛速度。它在计算随机样本的梯度后更新整个
神经网络的权值：
对于损失函数，我们选择了 Smooth L1 loss (Huber loss)。与 MSE 损失函数
相比，它对 MSE 的显著误差不敏感。主要是在某些情况下，可以在一定程度上
防止爆炸梯度问题的发生。因此，它避免了对 MSE 特征显著误差的过度敏感性。
ᇏݓࣁඋ࿐߶
表 2 显示了所开发的机器学习模型的参数情况。
表 2 模型中的超参数数值
ᇏݓࣁඋ࿐߶
超参数 数值
22
