2018-03-06
机器学习-什锦-参数与超参数
• 分类:
ml
• 标签:
ml
参数 parameter——模型训练
机器学习里的模型通俗来说就是一个函数关系，表明输入数据到输出结果的映射，基本的假设前提是输入数据和输出数据符合某种联合概率分布，而模型训练的过程其实就是在确定函数式的具体参数值的过程。假设你要做一个多项式回归分析的模型，比如$f(x)=w_1x_1+w_2x_2+w_3x_3$，那么模型训练的过程中其实就是在学习对应的$w$的值，这里的$w$就是参数。
超参数 hyperparameter——模型选择
理解超参数时一定要和验证集挂钩。
模型超参数是模型外部的配置，其值不能从数据估计得到。
具体特征有：
- 模型超参数常应用于估计模型参数的过程中。
- 模型超参数通常由实践者直接指定。
- 模型超参数通常可以使用启发式方法来设置。
- 模型超参数通常根据给定的预测建模问题而调整。
怎样得到它的最优值：对于给定的问题，我们无法知道模型超参数的最优值。但我们可以使用经验法则来探寻其最优值，或复制用于其他问题的值，也可以通过反复试验的方法。
模型超参数的一些例子包括：
- 神经网络的结构（隐藏层的数量，每个隐藏层上节点的数量）
- 训练神经网络的学习率
- SVM的C和sigma超参数
- KNN中的k
- 树模型中的深度、叶子数
总结
总而言之，模型参数是从数据中自动估计的，而模型超参数是手动设置的，并用于估计模型参数的过程。
参考
dzzxjl