有趣的数学了解TensorFlow的自动微分的实现

2024-01-26 09:24:06
开发
33

一、简述

这里主要介绍了TensorFlow的自动微分（autodiff）功能如何工作，以及与其他解决方案的比较。假设您定义了一个函数 $f(x, y)= x^2y + y + 2$ ，并且需要计算它的偏导数 $\frac{\partial f }{\partial x}$ 和 $\frac{\partial f }{\partial y}$ ，通常用于执行梯度下降（或某些其他优化算法）。可用的主要选择是手动微分、有限差分近似、正向模式自动微分和反向模式自动微分。

TensorFlow实现了反向模式autodiff，但要理解它，建议全面了解一下主要的方法。让我们从手动微分开始。

二、手动微分

计算导数的第一种方法是拿起一支铅笔和一张纸，用你的微积分知识推导出合适的方程。对于刚刚定义的函数 $f(x, y)$ ，它并不太难；您只需要使用五条规则：

1、常数的导数是0。

原文地址:https://blog.csdn.net/bashendixie5/article/details/132528533 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：https://www.suanlizi.com/kf/1750691043344519168.html 如若内容造成侵权/违法违规/事实不符，请联系《酸梨子》网邮箱：1419361763@qq.com进行投诉反馈，一经查实，立即删除！

阅读全部