Python für Linguisten mittels Natural Language Processing

Weiterbildung

4-Wochen-Kurs

Maschinelle Verarbeitung natürlicher Sprache. Natural Language Processing (NLP) verknüpft Erkenntnisse aus der Linguistik mit neuesten Methoden der Computerwissenschaft und der künstlichen Intelligenz. In diesem Kurs bieten wir einen Überblick über die Potenziale von Künstlicher Intelligenz (KI), einschließlich Tools wie ChatGPT (GPT). Wir möchten den Teilnehmenden eine interaktive und praxisnahe Lernerfahrung ermöglichen und ihre Fähigkeiten in diesem Bereich fördern.

Inhalt

Einleitung - Heranführen
Textdaten verarbeiten und vorverarbeiten
- Grundlegende Techniken der Verarbeitung von Textdaten
- Mit NumPy arbeiten
- One-Hot-Encodierung und Bag‑of‑Words‑Modell
Grundlagen maschinellen Lernens
- Lineare Regression
- Eine Gerade in eine Punktewolke legen
- Die Lage der Geraden bestimmen
- Die Qualitat eines Modells bestimmen
- Multivariate Regression
- Praktische Umsetzung mit Python und Scikit-Learn
- Logistische Regression
- Verfahrensweise
- Gutemase
- Praktische Umsetzung mit Scikit-Learn
- Softmax-Regression
- Verfahrensweise
- Praktische Umsetzung mit Scikit-Learn
Einfache Verfahren zur Vektorisierung von Textdaten
- One-Hot-Encodierung und Bag‑of‑Words‑Ansatz
- N-grams
- TF-IDF-Vektorisierung
- Umsetzung mit Scikit-Learn
- Vektorisierung mit dem Count-Vectorizer
- TF-IDF-Vektorisierung
- Lemmatisierung
- Einsatz eines N-gram-Modells
Deep Learning-Essentials
- Neuronen und neuronale Netze
- Wie neuronale Netze lernen
- Architektur und Einstellungen eines neuronalen Netzes
- Anzahl der Neuronen in der ersten aktiven Schicht
- Anzahl der Neuronen in der Ausgabeschicht
- Aktivierung der Neuronen der Ausgabeschicht
- Auswahl einer passenden Verlustfunktion
- Wahl des Optimierers
- Aktivierung der Neuronen in der verdeckten Schicht
- Ein neuronales Netz mit TensorFlow und Keras aufbauen und anlernen
- Standardisierung der Features
- Aufbau und Einstellungen eines neuronalen Netzes
- Anlernen des Modells
- Steuerung des Anlernprozesses (Early Stopping)
- Generalisierung und Uberanpassung
- Regularisierung
- Dropout
- Praktische Umsetzung
Rekurrente Netze
- Aufbau und Funktionsweise rekurrenter Netze
- Long Short Term Memory (LSTM) und Gated Recurrent Units (GRU)
- Praxis rekurrenter Netze: eine automatische Rechtschreibkorrektur
- Umsetzung der Encodierung
- Aufbau und Anlernen des rekurrenten Netzes
- Mit einem bidirektionalen rekurrenten Layer arbeiten
- Anlernen neuronaler Netze mit Generatoren
- Generatoren und Generator-Funktionen in Python
- Daten batchweise ziehen
- Neuronale Netze mit Generatoren anlernen
- Die Rechtschreibkorrektur mit einem Generator anlernen
Konvolutionale Netze
- Funktionsweise konvolutionaler Netze
- Sequenzdaten mit konvolutionalen Netzen verarbeiten
- Praxis des Anlernens eines konvolutionalen Netzes mit Textdaten
Word Embedding
- Funktionsweise
- Aufgabenubergreifende semantische Raume: word2vec- und fastText-Verfahren
- Mit Word Embedding-Verfahren in der Praxis arbeiten
- Vorverarbeitung und Implementierung mit Keras
- Der Heidegger-Algorithmus: ein generatives Modell zur Erzeugung von Texten
- Aufbau eines generativen Modells
- Vorbereitung der Daten
- Aufbau und Anlernen des Netzes
- Texte erzeugen
- Synonyme Worter identifizieren
- Mit vortrainierten Worteinbettungen arbeiten (fastText)
- fastText-Vektorraume aufbereiten
- Austausch der Gewichte eines Embedding Layers
- Den Vektorraum um unbekannte Worter erweitern
Komplexe Lernarchitekturen umsetzen
- Die funktionale API von TensorFlow
- Ein Modell mit zwei Eingangen aufbauen und anlernen
- Architektur des Modells
- Anlernen des Modells
Sequence-to-Sequence-Modelle
- Encoder-Decoder-Modelle mit Teacher Forcing
- Attention-Mechanismus
- Encoder-Decoder-Architekturen in der Praxis
- Ein einfaches Encoder-Decoder-Modell
- Vorbereitung der Daten
- Aufbau des Encoder-Decoder-Modells
- Das Inferenzmodell aufbauen und einsetzen
- Encoder-Decoder-Modelle mit Attention-Mechanismus
- Vorbereitung der Daten
- Zusammenstellung des neuronalen Netzes
- Anlernen des Modells
- Aufbau des Inferenzmodells
- Das Modell fur Ubersetzungen einsetzen
Transformers
- Aufbau und Funktionsweise
- Self-Attention
- Die Transformer-Architektur
Subwort-Tokenisierung
- Mit der Hugging Face-Bibliothek arbeiten
- Hauptklassen der Transformers-Bibliothek
- Mit der Hugging Face-Pipeline arbeiten
- Mit der Tokenizer-Klasse arbeiten
- Mit der Model-Klasse arbeiten
- Fine Tuning vortrainierter Netze
- Ein vortrainiertes Modell mit einem nichttrainierten Kopf laden
- Eine Durchleitung organisieren
- Teile des Netzes auf nichttrainierbar stellen
- Das Modell anlernen