在 Python 中实现 ReLU 函数

1. ReLU 函数
2. 在 Python 中实现 ReLU 函数

本教程将讨论 Relu 函数以及如何在 Python 中实现它。

ReLU 函数

Relu 函数是机器学习的基础，在使用深度学习时必不可少。

ReLU 一词是 Rectified Linear Unit 的首字母缩写词，在作为深度学习基础的人工神经网络的情况下用作激活函数。Python 作为适用于实现机器学习和深度学习算法的编程语言之一，具有 ReLU 函数的使用范围。

用简单的数学术语，ReLU 函数可以定义为，

f(x) = max(0,x)

该函数对 x 是线性的，可以将所有负值归零。

在 Python 中实现 ReLU 函数

要在 Python 中实现 ReLU 函数，我们可以定义一个新函数并使用 NumPy 库。

NumPy 库使得在 Python 中处理矩阵和数组成为可能，因为它们不能直接在这种编程语言中实现。NumPy 库中的 maximum() 函数可以在我们新创建的函数定义中使用，以创建一个 ReLU 函数。

以下代码在 Python 中实现了 ReLU 函数。

import numpy as np


def relu1(a):
    return np.maximum(0, a)


print(relu1(-3))

上面的代码提供了以下输出：

0

在上面的代码中，我们处理一个整数。但是，我们创建的 ReLU 函数可以轻松处理从单个整数到 NumPy 数组和类似对象的任何内容。

当此函数获取一个数字作为输入时，输出将始终是一个数字。当我们将数组传递给此函数时，遵循相同的规则。

输入的对象类型始终是作为输出返回的对象类型。

有趣的是，在处理数组时，我们可以使用 plotly 库，甚至可以创建图形来描述 ReLU 函数对数组和类似对象的作用。

为了更好地解释 ReLU 函数的工作原理，我们现在将举一个简单数组的示例并完成手头的任务。此外，我们还将描绘一个图表，并查看 ReLU 函数在该数组上的实际作用。

以下代码在 Python 中对数组使用 ReLU 函数。

import numpy as np
import plotly.express as px


def relu1(a):
    return np.maximum(0, a)


x1 = np.linspace(start=-5, stop=5, num=26)
print(x1)
x2 = relu1(x1)
print(x2)
px.line(x=x1, y=x2)

上面的代码提供了以下输出：