损失函数有哪些(19种损失函数公式)

各位老铁们好，相信很多人对损失函数有哪些都不是特别的了解，因此呢，今天就来为大家分享下关于损失函数有哪些以及19种损失函数公式的问题知识，还望可以帮助大家，解决大家的一些困惑，下面一起来看看吧！

深度学习中的主要激活函数有哪些

1.什么是激活函数？

生物神经网络启发了人工神经网络的发展。但是，ANN并非大脑运作的近似表示。不过在我们了解为什么在人工神经网络中使用激活函数之前，先了解生物神经网络与激活函数的相关性是很有用处的。

2.神经网络如何学习？

我们有必要对神经网络如何学习有一个基本了解。假设网络的期望输出是 y（标注值），但网络实际输出的是 y'（预测值）。预测输出和期望输出之间的差距（y- y'）可以转化成一种度量，即损失函数（J）。神经网络犯大量错误时，损失很高；神经网络犯错较少时，损失较低。训练目标就是找到使训练集上的损失函数最小化的权重矩阵和偏置向量。

二分法在数学中有哪些应用

二分法（又称二分搜索法或对分法）是一种在有序数组中查找特定元素的搜索算法。它的基本原理是每次比较待查找元素与数组中间元素的大小，然后根据比较结果缩小搜索范围，直到找到目标元素或者搜索范围为空。二分法在数学和计算机科学中有广泛的应用，以下是一些常见的应用场景：

查找问题：二分法最初用于解决查找问题，例如在有序数组中查找某个特定的元素。这种方法的时间复杂度为O(log n)，相较于顺序查找的O(n)有显著的优势。

插值问题：在数值分析中，插值是一种常用的方法，用于估计未知函数的值。二分法可以用于求解插值多项式的根，从而找到函数在某个区间内的近似值。

方程求根：二分法可以用于求解非线性方程的根。给定一个连续函数f(x)和一个区间[a, b]，如果f(a)和f(b)异号，那么根据介值定理，该区间内至少存在一个根。通过不断缩小区间，二分法可以找到满足精度要求的根。

优化问题：在某些优化问题中，二分法可以用来寻找最优解所在的区间。例如，在求解最小化问题的局部极小值时，可以通过比较不同区间的目标函数值来确定最优解所在的范围。

计算积分：在数值积分中，二分法可以用来估计定积分的值。通过将积分区间划分为若干子区间，并计算每个子区间上的积分值，可以得到整个区间上的近似积分值。

概率论与统计学：在概率论与统计学中，二分法可以用来求解累积分布函数的逆函数，从而得到随机变量的分位数。此外，二分法还可以用于求解最大似然估计等问题。

计算机图形学：在计算机图形学中，二分法可以用来加速光线跟踪算法，通过将场景空间划分为若干子空间，并利用二分法快速确定光线与物体的交点。

机器学习：在机器学习中，二分法可以用来求解某些损失函数的最小值。例如，在逻辑回归中，可以通过二分法求解对数似然函数的最大值，从而得到模型参数的估计值。

运筹学：在运筹学中，二分法可以用来求解线性规划、整数规划等优化问题。通过不断缩小可行域，可以找到满足约束条件的最优解。

网络编程：在网络编程中，二分法可以用来实现拥塞控制算法，通过调整发送速率来避免网络拥塞。

总之，二分法在数学和计算机科学中有广泛的应用，它是一种高效、简便的搜索和优化方法。在实际应用中，我们可以根据问题的特点选择合适的二分法策略，以获得更好的性能和精度。

深度学习调参有哪些技巧

深度学习调参有哪些技巧？

下面就分享一些自己的深度学习模式调试技巧（主要是CNN）。

由于某些需要，我最近参加了一些CNN建模和调优任务。由于我个人的习惯，我不习惯深度调试，通过一个简单的试错法学习模式，往往给人一种“黑盒子”的印象，需要一些时间来关注深度的学习和调试学习模型以及数据的可视化（可视化和模型调试之间有很强的联系，所以后面我没有区分这两者）本文也是对这些任务的总结。

我自己本就是一个学习计算机体系结构，有这样的专业背景，中途转行做算法策略，所以其实我对大型机器学习系统在开发建设方面的训练和加速有更多的兴趣和关注。然而，机器学习系统和常规系统基础设施（如Redis/ LevelDB和一些分布式计算基础设施等）的这个领域仍然不同，虽然可以说它是一个基础设施，但它运行在这个基础设施上业务问题有更强有力的直接关系，所以我也花点精力专注于数据，业务建模的技术进步和实际的问题场景。

最后，让我谈谈我的感受。卷积神经网络自从2012年在ImageNet竞赛中作为AlexNet模型出现以来，已经成为图像识别领域的标准。即使是文字和音频领域也开始使用卷积神经网络进行建模。然而，以卷积神经网络为代表的深度神经网络被批评为“黑盒子”，给行业DL模型的应用和推广带来一些障碍。

好了，本文到此结束，如果可以帮助到大家，还望关注本站哦！