「认识AI：人工智能如何赋能商业」【25】结合损失函数和梯度下降法

数据与智能 2022-05-29

713

作者 | Harper

审核 | gongyouliu

编辑 | gongyouliu

我在上期内容里提到，我们需要让神经网络学习起来，然后也给大家介绍到了使用随机权重和随机偏置项，能够使网络应对不同的情况。那我们可能会希望使用一些方法使得我们的人工神经网络的正确率变得更高。那这就是我们本期要讲的内容。

提高人工神经网络的一种方法是使用损失函数。损失函数，是一种将网络输出与目标输出进行比较的数学运算，用来确定机器的精准度。换句话说就是，损失函数告诉网络错误的程度，这样网络就可以做出调整，使将来的错误更少，也更正确。

但是，损失函数的输出只会反映网络的总体精度，它没有明确指出哪些权重或者偏置项需要调整或者调整多少，或者从哪个方向进行调整。

这个时候就可以与梯度下降法结合使用。梯度下降法是一种优化算法，它通过在下降最快的方向上重复地、逐步地迭代输出，来最小化损失。在我之前提到的小狗品种识别案例当中，输出层的损失函数表示隐藏层中的所有节点输出的错误程度。隐藏层中的节点使用梯度下降法将其输出沿着最速下降的方向更新，从而降低损失。随着网络从错误中吸取教训，损失下降，机器变得更加精确，输出也就更加可靠。

假设输出层有5个神经元，但是这5个神经元中都有输出值。每个品种的输出神经元都会在某个节点激活，我们要做的就是找出每个错误答案和每个正确答案之间的差异，然后求他们的平均值。举个例子，假设一张图片上是杜宾犬，那我们肯定就会想微调杜宾犬这个输出神经元的值到1，然后把其他品种调到0。然后平均我们所有的调整，得到一个整体的微调值，那么通过利用该值，网络就可以更加准确地找到不同的小狗品种。当然这只是一个训练示例，你也可以用不同的图片来学习许多训练示例，然后取和，得到一个总损失函数。

在机器学习当中，梯度下降法大家可以参考这个图。

就神经网络而言，我们会想让它以最低损失，将输出指向这个最低点的方向调节参数，但是网络本身无法识别最低点，因此就需要我们在下降最快的方向上重复地迭代输出，那么网络就会将它的输出与正确答案进行比较，衡量损失，并且重新调整权重和偏置项，直到它以最低的损失被调整到最高的精度。

本内容来源于「数据与智能」创始人刘强翻译的畅销书「认识AI：人工智能如何赋能商业」，喜欢的读者可以点击下面链接直接购买。

梯度下降损失函数人工智能

文章转载自数据与智能，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

「认识AI：人工智能如何赋能商业」【25】结合损失函数和梯度下降法

评论