Implementieren Sie die ReLU-Funktion in Python

1. die ReLU-Funktion
2. Implementieren Sie die Funktion ReLU in Python

In diesem Tutorial wird die Relu-Funktion und ihre Implementierung in Python erläutert.

die ReLU-Funktion

Die Relu-Funktion ist grundlegend für maschinelles Lernen und bei der Verwendung von Deep Learning unerlässlich.

Der Begriff ReLU ist ein Akronym für Rectified Linear Unit und fungiert als Aktivierungsfunktion in Fällen von künstlichen neuronalen Netzen, die die Grundlage von Deep Learning sind. Python, eine der Programmiersprachen, die sowohl für die Implementierung von Algorithmen für maschinelles Lernen als auch für Deep Learning geeignet ist, hat einen Anwendungsbereich für die Verwendung der Funktion ReLU.

In einfachen mathematischen Begriffen kann die Funktion ReLU definiert werden als:

f(x) = max(0,x)

Diese Funktion ist bezüglich x linear und kann alle negativen Werte nullen.

Implementieren Sie die Funktion ReLU in Python

Um die Funktion ReLU in Python zu implementieren, können wir eine neue Funktion definieren und die NumPy-Bibliothek verwenden.

Die NumPy-Bibliothek ermöglicht den Umgang mit Matrizen und Arrays in Python, da diese in dieser Programmiersprache nicht direkt implementiert werden können. Die Funktion maximum() aus der NumPy-Bibliothek kann in unserer neu erstellten Funktionsdefinition verwendet werden, um eine ReLU-Funktion zu erstellen.

Der folgende Code implementiert die Funktion ReLU in Python.

import numpy as np


def relu1(a):
    return np.maximum(0, a)


print(relu1(-3))

Der obige Code liefert die folgende Ausgabe:

0

Im obigen Code haben wir es mit einer einzelnen Ganzzahl zu tun. Die von uns erstellte ReLU-Funktion kann jedoch problemlos mit allem arbeiten, das von einer einzelnen Ganzzahl bis zu NumPy-Arrays und ähnlichen Objekten reicht.

Wenn diese Funktion eine Zahl als Eingabe erhält, ist die Ausgabe immer eine Zahl. Die gleiche Regel wird befolgt, wenn wir ein Array an diese Funktion übergeben.

Der mit eingegebene Objekttyp ist immer der als Ausgabe zurückgegebene Objekttyp.

Interessanterweise können wir beim Umgang mit Arrays die Bibliothek plotly verwenden und sogar Diagramme erstellen, um die Wirkung der Funktion ReLU auf Arrays und ähnliche Objekte darzustellen.

Um die Funktionsweise der Funktion ReLU besser zu erklären, nehmen wir nun ein Beispiel für ein einfaches Array und lösen die vorliegende Aufgabe. Darüber hinaus werden wir auch einen Graphen darstellen und die Live-Aktion der ReLU-Funktion auf diesem Array sehen.

Der folgende Code verwendet die Funktion ReLU auf einem Array in Python.

import numpy as np
import plotly.express as px


def relu1(a):
    return np.maximum(0, a)


x1 = np.linspace(start=-5, stop=5, num=26)
print(x1)
x2 = relu1(x1)
print(x2)
px.line(x=x1, y=x2)

Der obige Code liefert die folgende Ausgabe: