Grundlagen der Statistik, Neuronalen Netze und Bildverarbeitung

1. Statistik und Wahrscheinlichkeiten

Grundlegende Begriffe und Skalenniveaus

• Primärdaten: Daten, die selbst erhoben werden (z. B. durch Umfragen oder Experimente).
• Sekundärdaten: Bereits existierende Datenquellen, die übernommen werden.
• Skalenniveaus:
  • Nominalskala: Kategorien ohne natürliche Ordnung (z. B. Farben, Geschlecht).
  • Ordinalskala: Geordnete Kategorien ohne feste Abstände (z. B. Schulnoten, Schuhgrößen).
  • Metrische Skala: Zahlenwerte mit interpretierbaren Abständen und Verhältnissen (z. B. Temperatur, Gewicht).
• Modus: Der Wert oder das Merkmal mit der höchsten Häufigkeit.
• Median (Zentralwert): Das mittlere Element in einer sortierten Datenreihe. Bei gerader Anzahl wird der Durchschnitt der beiden mittleren Elemente gebildet.
• Mittelwert (Arithmetisches Mittel): Der Durchschnitt aller Werte.
• Spannweite: Die Differenz zwischen dem größten und dem kleinsten Wert.
• 

Hypothesentests und statistische Schlussfolgerungen

Ein Hypothesentest ist eine statistische Methode, mit der überprüft wird, ob eine Stichprobe ausreichende Anhaltspunkte dafür liefert, dass eine bestimmte Bedingung für die gesamte Population zutrifft. Dabei formuliert man eine Nullhypothese (H0), die besagt, dass es keinen signifikanten Unterschied oder Zusammenhang gibt, und eine Alternativhypothese (H1), die besagt, dass ein signifikanter Unterschied oder Zusammenhang existiert. Zum Beispiel könnte man testen, ob die Zustimmungsquote für einen Kandidaten unter 30 % liegt. Hypothesentests werden verwendet, um Vermutungen über Zusammenhänge in der Realität zu überprüfen und eine statistisch fundierte Entscheidung zu treffen.

Ablauf eines Hypothesentests:

1. Hypothesen aufstellen (H0 und H1).
2. Signifikanzniveau setzen (Typisch: 5 % oder $\alpha=0.05$, was die Akzeptanz eines 5%igen Fehlerrisikos bedeutet).
3. Daten sammeln und Teststatistik berechnen (Mittelwert, Standardabweichung oder andere relevante Werte aus einer Stichprobe berechnen).
4. Vergleichen und Entscheidung treffen:
   • Wenn der p-Wert $\le \alpha$: H0 ablehnen (Es gibt ausreichenden Beweis für einen Effekt).
   • Wenn der p-Wert $> \alpha$: H0 beibehalten (Es gibt keinen ausreichenden Beweis für einen Effekt).

Beschreibende vs. Schließende Statistik

Die beschreibende Statistik hilft uns, Muster und Trends in den vorhandenen Daten zu erkennen. Sie analysiert und beschreibt die vorliegenden Daten mithilfe verschiedener Maße und geeigneter Diagramme. Im Gegensatz dazu zielt die schließende Statistik darauf ab, Schlussfolgerungen über eine Grundgesamtheit basierend auf einer Stichprobe zu ziehen. Hierbei werden Wahrscheinlichkeiten und Hypothesentests verwendet, um statistische Aussagen zu treffen. Kurz gesagt: Die beschreibende Statistik beschreibt, während die schließende Statistik verallgemeinert.

• Beschreibende Statistik:
  → Fasst Daten zusammen (z. B. Mittelwert, Standardabweichung).
  → Beispiel: Durchschnittliche Körpergröße von Schülern.
• Schließende Statistik:
  → Zieht Schlüsse über eine Grundgesamtheit basierend auf einer Stichprobe.
  → Beispiel: Wir testen 100 Kunden und schließen daraus, dass 80 % aller Kunden zufrieden sind.

Zusammenhangsmaße und Verteilungen

• Regression: Mathematische Modellierung eines Zusammenhangs zwischen zwei Variablen. Gleichung der Regressionsgeraden: $y = a + bx$ ($a$ = Achsenabschnitt, $b$ = Steigung). Die Steigung $b$ wird berechnet als $b = Cov(X, Y) / Var(X)$.
• Kovarianz: Zeigt, ob zwei Variablen linear zusammenhängen (aber nicht die Stärke des Zusammenhangs). Positive Kovarianz: Beide Merkmale steigen gemeinsam. Negative Kovarianz: Ein Merkmal steigt, während das andere sinkt.
• Zusammenhangsmaß (Korrelation): Bewertet die Stärke und Richtung eines Zusammenhangs zwischen zwei Variablen. Der Korrelationskoeffizient $r$ liegt zwischen -1 und +1.
• Korrelationskoeffizienten:
  • Pearson-Korrelation: Misst den linearen Zusammenhang zwischen zwei metrischen Variablen. Wertebereich: -1 bis +1 (wobei +1 eine perfekte positive lineare Beziehung und -1 eine perfekte negative lineare Beziehung darstellt). Beispiel: Zusammenhang zwischen Körpergröße und Gewicht.
  • Spearman-Korrelation: Misst den Zusammenhang anhand der Rangordnung der Daten. Funktioniert auch für nicht-lineare, monotone Beziehungen und wird oft für ordinale Daten verwendet. Beispiel: Zusammenhang zwischen Zufriedenheitsbewertungen und Kaufverhalten.
  • Unterschied: Pearson misst lineare Zusammenhänge, während Spearman auch monotone nicht-lineare Beziehungen erkennt.
• Normalverteilung: Glockenförmige Wahrscheinlichkeitsverteilung. Sie wird genutzt, um Werte mit einer Standardnormalverteilung (Mittelwert $\mu=0$, Standardabweichung $\sigma=1$) zu vergleichen.
• Wann t-Verteilung, wann Standardnormalverteilung?:
  • t-Verteilung: Wird genutzt, wenn die Stichprobe klein ist ($n < 30$) oder die Populationsvarianz unbekannt ist.
  • Standardnormalverteilung (z-Verteilung): Wird genutzt, wenn die Stichprobe groß genug ist ($n \ge 30$) oder die Populationsvarianz bekannt ist.
  
• Varianz: Zeigt, wie stark die Werte um den Mittelwert streuen.
• Standardabweichung: Die Quadratwurzel der Varianz; misst die durchschnittliche Abweichung vom Mittelwert in derselben Einheit wie die Daten.
• Beta-Fehler (Fehler 2. Art, $\beta$): Die Nullhypothese wird fälschlicherweise beibehalten, obwohl sie falsch ist (man erkennt einen tatsächlichen Effekt nicht).

Zusammenfassung: Statistische Maße

• Kovarianz misst die Richtung des Zusammenhangs, Korrelation misst auch die Stärke.
• Regression beschreibt den Zusammenhang zwischen zwei Variablen in einer Gleichung.
• Normalverteilung wird oft für Statistiken und Modelle genutzt.
• t-Verteilung ist für kleine Stichproben, Standardnormalverteilung für große Stichproben.
• Varianz zeigt die Streuung, Standardabweichung gibt die gleiche Information, aber in der Einheit der Daten.

2. Neuronale Netze und Deep Learning

Architektur und Funktionsweise

• Neuronales Netz (NN): Künstliches Modell des menschlichen Gehirns zur Verarbeitung von Daten. Es besteht aus Schichten von Neuronen, die Eingaben gewichten, summieren und durch eine Aktivierungsfunktion ausgeben.
• Gewichtsanpassung: Das Training eines neuronalen Netzes geschieht durch iteratives Anpassen der Gewichte.
• Neuron: Kleinste Einheit eines neuronalen Netzes, verarbeitet Eingaben und gibt eine Ausgabe weiter.
• Gewicht ($w$): Bestimmt, wie stark ein Eingangssignal ein Neuron beeinflusst.
• Bias ($b$): Konstanter Wert, der eine zusätzliche Anpassung der Neuronenaktivierung ermöglicht.
• Aktivierungsfunktion ($f(a)$): Transformiert die gewichtete Summe der Eingaben eines Neurons in eine Ausgabe.
• Eingabeschicht (Input Layer): Nimmt die Rohdaten entgegen.
• Verborgene Schicht (Hidden Layer): Mittlere Schichten, in denen komplexe Berechnungen stattfinden.
• Ausgabeschicht (Output Layer): Liefert die endgültige Vorhersage oder Klassifikation.

Netzwerktypen und Training

• Feedforward-Netzwerk: Informationen fließen nur in eine Richtung (kein Rückfluss).
• Rekurrentes Neuronales Netz (RNN): Hat Rückkopplungen, ideal für zeitabhängige oder sequentielle Daten.
• Convolutional Neural Network (CNN): Speziell für Bildverarbeitung, nutzt Faltung (Convolution).
• Fehlerrückpropagation (Backpropagation): Methode, um Gewichte durch Gradientenabstieg anzupassen, basierend auf dem Fehler der Ausgabe.
• Kostenfunktion (Loss Function): Zeigt, wie falsch das Netz liegt (z. B. Mean Squared Error (MSE), Cross-Entropy).
• Gradientenabstieg (Gradient Descent): Optimierungsverfahren zur Minimierung der Fehlerfunktion.
• Lernrate ($\eta$): Bestimmt, wie stark die Gewichte pro Optimierungsschritt angepasst werden.
• Overfitting: Das Modell lernt die Trainingsdaten zu genau und verallgemeinert schlecht auf neue, unbekannte Daten.
• Dropout: Methode zur Vermeidung von Overfitting durch zufälliges Deaktivieren von Neuronen während des Trainings.

Wichtige Aktivierungsfunktionen

• Identitätsfunktion: Direkte Weitergabe der Eingabe.
• Heaviside-Funktion: Stufenfunktion, gibt 0 oder 1 zurück (historisch).
• Sigmoid-Funktion: Glättet Werte zwischen 0 und 1 (gut für Wahrscheinlichkeiten).
• Tanh (Tangens Hyperbolicus): Werte zwischen -1 und 1, für symmetrische Datenverarbeitung.
• ReLU (Rectified Linear Unit): Gibt nur positive Werte weiter (max(0, x)).
• Leaky ReLU: Modifizierte ReLU, erlaubt kleine negative Werte, um das 'Sterben' von Neuronen zu verhindern.
• Softsign: Alternative zur Tanh-Funktion.

Berechnung des Net Input ($a$)

Die Übertragungsfunktion (Net Input $a$) berechnet die gewichtete Summe der Eingaben und des Bias:

$a = w_1 \cdot x_1 + w_2 \cdot x_2 + w_3 \cdot x_3 + b$

• Beispiel: $x_1=10, x_2=4, x_3=15$, $w_1=0.2, w_2=0.5, w_3=0.3, b=0$
• Berechnung: $a = (0.2 \cdot 10) + (0.5 \cdot 4) + (0.3 \cdot 15) + 0 = 2 + 2 + 4.5 = 8.5$

Evaluierungsmetriken

• Accuracy: Anteil der richtigen Vorhersagen (wichtig, wenn False Positives und False Negatives gleichermaßen wichtig sind).
• Precision: Anteil der relevanten positiven Vorhersagen unter allen positiven Vorhersagen (wichtiger, wenn eine falsche positive Vorhersage schlimme Folgen hat).
• Recall: Anteil der erkannten relevanten Fälle unter allen tatsächlich positiven Fällen (wichtiger, wenn eine falsche negative Vorhersage schlimme Folgen hat).
• F1-Score: Harmonisches Mittel aus Precision und Recall (wird verwendet, wenn eine Balance zwischen Precision und Recall gefragt ist).

Ethik und Verantwortung in der KI

Datenschutz: Schutz personenbezogener Daten vor Missbrauch und unbefugtem Zugriff. Wichtige Prinzipien sind Datenminimierung, Zweckbindung, Transparenz und Einwilligungspflicht. Fairness: Vermeidung von Diskriminierung durch Algorithmen (z. B. Bias in KI-Modellen). Transparenz: Erklärbarkeit von Algorithmen und Entscheidungen. Verantwortung: Korrekte Nutzung und Interpretation von Daten sowie Schutz vor Datenmissbrauch und Hackerangriffen.

3. Verarbeitung von Bildern und Faltung (Convolution)

Grundlagen der digitalen Bildverarbeitung

• Digitale Bilder: Ein digitales Abbild der Realität, das als mathematische Funktion aufgefasst werden kann. Das Bild besteht aus einem 2D- oder 3D-Array von Pixeln mit Farb- oder Helligkeitswerten.
• Diskretisierung: Die kontinuierliche Realität wird räumlich (x, y, z), zeitlich (t) und im Wertumfang (w) diskretisiert: $f(x, y, z, t) = w$.
• Faltung (Convolution): Mathematische Operation, bei der ein Filter (Kernel) über das Bild geschoben wird, um es zu verändern (z. B. Kantenerkennung, Weichzeichnung).
• Zero-Padding: Ränder des Bildes werden mit 0-Werten aufgefüllt, um das Bildformat nach der Faltung zu erhalten.

Filter zur Kantenerkennung

• Prewitt-Filter: Ein einfacher Filter zur Kantenerkennung (oft zur Bildschärfung verwendet). Die Magnitude wird berechnet als $\sqrt{y^2 + x^2}$. Erweiterte diagonale Filter:
• Sobel-Filter: Identifikation von Kanten in Bildern, oft als $K(y)$ und Gradient bezeichnet.
• Laplacian-Filter: Erkennt Kanten in alle Richtungen gleichzeitig. Erweiterte Form:

Segmentierung und Klassifizierung

• Segmentierung: Verfahren, die die Daten in verschiedene Bereiche einteilen, als Vorbereitung zur Klassifizierung.
• Klassifizierung: Die Zuordnung von Segmenten zu bestimmten Klassen. Beispiel: Organe oder Tumore in der Medizin; Fahrzeuge oder Verkehrsschilder bei autonomen Fahrzeugen.

Lineare und Nicht-Lineare Filter

• Linearer Filter: Ein linearer Filter schwächt bestimmte Frequenzen ab oder filtert sie komplett und lässt andere Frequenzen passieren. Der Filterkern wird mit dem Signal gefaltet.
  • Tiefpassfilter: Lässt nur niedrige Frequenzen passieren, filtert hohe Frequenzen aus dem Signal (z.B. Rauschfilterung). Beispiele: Mittelwertfilter, Gauss-Filter.
  • Hochpassfilter: Lässt nur hohe Frequenzen passieren, filtert niedrige Frequenzen (z.B. Kantenverstärkung). Beispiele: Sobel-Filter, Laplace-Operator.
  • Bandpassfilter: Lässt nur bestimmte Frequenzbereiche passieren.
• Nicht-Lineare Filter: Verwenden beliebige (nicht-lineare) Funktionen zur Verarbeitung der Datenwerte innerhalb des Filterkerns.
  • Medianfilter: Entfernt Rauschen, indem jeder Pixel durch den Median seiner Nachbarschaft ersetzt wird. Vorteil: Glättet, ohne Kanten zu verwischen.

Unterschied Linear zu Nicht Linear

Lineare Filter verarbeiten Bilddaten durch eine gewichtete Summe der Pixelwerte im Filterfenster. Sie sind einfach zu implementieren, neigen aber dazu, auch Bilddetails wie Kanten zu glätten. Nichtlineare Filter verwenden andere mathematische Operationen (wie Median, Maximal- oder Minimalwerte). Sie sind besser geeignet, bestimmte Arten von Rauschen zu entfernen, ohne wichtige Bilddetails zu beeinträchtigen, sind aber komplexer zu analysieren.

• Randhandhabung: Wenn Nachbarn außerhalb des Bildes liegen, muss der Filterkern angepasst werden. Es gibt drei gängige Varianten: Konstanter Randwert (z. B. 0), Wiederholung des Randpixels oder Bildwiederholung (Spiegelung).
• Fourier-Transformation (FT): Wandelt ein Bild von der räumlichen Darstellung in den Frequenzbereich um (zerlegt ein Signal in Sinus- und Kosinuswellen).
  • Tiefpassfilter im Frequenzbereich: Entfernen hohe Frequenzen (Glättung).
  • Hochpassfilter im Frequenzbereich: Verstärken Kanten.

  Die Schnelle Fourier-Transformation (FFT) macht diese Berechnung effizient.

4. Anwendungsbeispiele und Übungsaufgaben

Beispiel 1: Primär- und Sekundärdaten

• Primärdaten:
  → Daten, die selbst erhoben werden (z. B. durch Umfragen, Experimente, Messungen).
  Beispiel: Eine Umfrage unter Studierenden zur Nutzung von Lernplattformen.
• Sekundärdaten:
  → Bereits vorhandene Daten, die aus anderen Quellen übernommen werden (z. B. aus Datenbanken, Berichten).
  Beispiel: Nutzung von amtlichen Statistiken oder Verkaufszahlen aus einer Unternehmensdatenbank.

Beispiel 2: Berechnung von Median und Quartilen

Gegebene Datenreihe (sortiert):
155, 157, 158, 160, 163, 164, 169, 170, 173, 175, 176, 180 (N=12)

Median: Da es 12 Werte gibt (gerade Anzahl), berechnet man den Median als Mittelwert der beiden mittleren Werte (6. und 7. Wert): $(164 + 169) / 2 = 166.5$.

Spannweite = Maximalwert - Minimalwert = $180 - 155 = 25$.

Das 1. Quartil (Q1) ist der Median der unteren Hälfte (erste 6 Werte): $(158 + 160) / 2 = 159$.

Das 3. Quartil (Q3) ist der Median der oberen Hälfte (letzte 6 Werte): $(173 + 175) / 2 = 174$.

Beispiel 3: Korrelationskoeffizienten

• Pearson-Korrelationskoeffizient:
  → Wird für metrische Daten verwendet (misst den linearen Zusammenhang).
  Beispiel: Zusammenhang zwischen Körpergröße und Gewicht.
• Spearman-Rangkorrelationskoeffizient:
  → Wird für ordinale Daten genutzt (misst monotone Zusammenhänge anhand von Rangplätzen).
  Beispiel: Zusammenhang zwischen Zufriedenheitsbewertungen und Kaufhäufigkeit.

  ---

Beispiel 4: Normalverteilung (Z-Score)

Gegeben sei eine Normalverteilung der Anzahl vorbereiteter Mappen:

• Mittelwert ($\\mu$) = 50 Studierende
• Standardabweichung ($\\sigma$) = 5
• Anzahl der vorbereiteten Mappen ($X$): 60

Der Z-Score gibt an, wie viele Standardabweichungen der Wert $X$ vom Mittelwert entfernt liegt:

$Z = (X - \mu) / \sigma = (60 - 50) / 5 = 10 / 5 = 2$

Der Wert 60 liegt also 2 Standardabweichungen über dem Mittelwert.