Künstliche Intelligenz-Sammelsurium

Inhalt I.

I.  KI-Seminar SS94

1.  Knowledge Engineering (I.)

2.  Knowledge Engineering (II.)

3.  Management der XPS-Entwicklung

4.  Aufbau und Arbeitsweise von Expertensystemen

5.  Aufbau und Arbeitsweise von neuronalen Netzen

6.  Integration von neuronalen Netzen und Expertensystemen

7.  Möglichkeiten der Integration wissensbasierter Systeme mit vorhandenen Anwendungssystemen

8.  Zukunftsaussichten wissensbasierter Systeme

9.  Soziale Auswirkungen der Anwendung von KI

10.  Betriebliche Anwendung von XPS

11.  Jahresabschlußanalyse mit selbstorganisierenden Karten

II.  Vorlesung KI I: Betriebliche Anwendung der KI

1.  Szenario der KI

  1.1  Entwicklung der KI

  1.2  Gebiete der KI

2.  Expertensysteme

  2.1  Das neuartige Vorgehen von XPS zur Problemlösung

  2.2  Anwendungsgebiete

  2.3  Methoden

  2.4  Benutzerschnittstelle

  2.5  Bewertung

  2.6  Werkzeuge

  2.7  Beispiel: MED2

3.  Prototyping-Spirale

4.  Ein Hybridsystem: Das Trading Support System

Inhalt II.

III.  Vorlesung KI II: Neuronale Netze

1.  Einführung

  1.1  Historisches

  1.2  Merkmale und Ziele der NN

  1.3  Motivation der NN-Forschung: Grenzen SW/von-Neumann-HW

  1.4  Biologisches Vorbild

  1.5  Grundlagen konnektionistischer Modelle

  1.6  Lernen im konnektionistischen Modell

2.  Konnektionistische Modelle

  2.1  Das McCulloch-Pitts-Neuron (1943)

  2.2  Das Perceptron

  2.3  Mehrlagige Perceptrons mit Backpropagation Lernansatz

  2.4  Thermodynamische Modelle

  2.5  Selbstorganisierende Karten

3.  Implementierung von NN

4.  Simulationen

5.  SYNAPSE-1 - ein Neurocomputer

I. KI-Seminar SS94

1. Knowledge Engineering (I.)

(1) Aufgabenbereiche der XPS-Entwicklung: Das KE wird von Experten und dem Knowledge Engineer durchgeführt. Die Aufgabe besteht aus:

- Wissensakquisition: Erfolgt durch Interviews, Beobachtungen und automatischer WA. Dieser Bereich gilt allg. als Flaschenhals des KE.

- Wissenspräsentation: Wird erreicht durch semantische Netze, Produktionsregeln und Prädikatenlogik. Unterstützung finden KE und Experten über Shells.

(2) Entwicklungsprozeß: Hier werden zwei Verfahren unterschieden:

- Prototyping: Kommt ohne Spezifikation aus. Zeichnet sich durch Schnelligkeit und Formalismus-Einschränkung aus.

- modellbasierte Ansätze: z.B. die generische KADS-Methodologie, der es erlaubt, verschiedene Phasen durch verschiedene Spezifikationen zu bearbeiten.

2. Knowledge Engineering (II.)

(1) Grundlage der XPS-Entwicklung: Der Aufgabenbereich umfaßt wie oben erwähnt Wissenakquisition und -präsentation. Werkzeuge dabei sind KI-Sprachen, Tools und Shells.

(2) Methodik: Wie erwähnt wird zwischen (evolutionärem) Prototyping und modellbasierten Ansätzen unterschieden. Erstere Methode implementiert so früh wie möglich, erlaubt Learning by Doing und Simulationen fertiger Systeme. Im Gegensatz dazu geht der modellbasierte Ansatz von einer Top-Down-Entwicklung aus.

3. Management der XPS-Entwicklung

(1) Ablauf der XPS-Entwicklung: Das Knowledge Engineering (KE) läuft hier etwas anders ab als bei konventioneller SW-Entwicklung, da XPS nicht in kleine Probleme zerlegbar sind, sondern umfassender, verflochtener gesehen werden müssen. Der Engineer muß zwischen Experten und Systemwelt vermitteln. I.d.R. wird KE im Rahmen eins Projektmanagements abgewickelt, welches geplant und nicht ad hoc vorgeht, z.B. Meilensteine, die Rollen u.ä. nennt. Die Wartung von XPS bedeutet weniger Bugfixing, als vielmehr Wissenspflege.

(2) Werkzeuge: KI-Sprachen wie LIPS und PROLOG helfen bei der Wissensaquisition und -präsentation. Shells wie EMYCIN liefern dazu eine geeignete Entwicklungsumgebung. Darüberhinaus gibt es wissensverarbeitende Sprachen wie KEE, die etwas konkreter für XPS einsetzbar sind als die allgemeinen KI-Sprachen.

(3) Integration: XPS können über SQL-Schnittstellen mit DBS gekoppelt werden. Auch Online-Schnittstellen sind wichtig, wobei hier v.a. auf die Standards der offenen Kommunikation Rücksicht genommen werden sollte.

(4) Gründe für erfolglose XPS: Es kann zu personellen Problemen kommen, z.B. bei Akzeptanzmangel. Das System selbst kann unergonomisch sein, kann zu lange Antwortzeiten haben, allgemein eine schlechte Performance besitzen, oder nur Fragen beantworten, die die Mitarbeiter nach kurzer Zeit selbst gelernt haben.

4. Aufbau und Arbeitsweise von Expertensystemen

(1) Motivation: XPS können die Denkarbeitsproduktivität erhöhen, indem sie die Arbeit von Experten simulieren. Sie erheben jedoch nicht den Anspruch General Problem Solver zu sein.

(2) Aufbau: Bestehen aus der Wissenbasis und dem Steuerungssystem (Shell). Die Wissensbasis birgt Faktenwissen, Abteilungswissen und Metawissen (Kontrollwissen). Das Steuerungssystem besteht aus der Dialog-, der Wissenserwerbs-, der Erklärungs- und der Problemlösungskomponente. In die Dialogkomponente werden die fallspezifischen Daten eingegeben und die Antworten ausgegeben. Die Wissenserwerbskomponente wird vom Knowledge Engineer mit Faktenwissen und Abteilungswissen versorgt.

(3) Darstellung des Wissens: Wissen wird in Form von semantischen Netzen (Objekt-Attribut-Wert-Tripel), Objects mit Frames (ähnlich C++-Klassen), Logik (Für alle X gilt ...) oder einer regelbasierten Sprache (Wenn-Dann-Regeln) repräsentiert.

(4) Umgang mit dem Wissen: XPS können die Wissensbasis auf zwei Arten nutzen. Sie können die Regeln vorwärts oder rückwärts abarbeiten. Im ertsen Fall muß das Ziel bekannt sein, im zweiten Fall wird eine Diagnose gestellt. Eine Tiefensuche geht aggressiver an die Lösung heran als eine Breitensuche. Spezielle Konfliktlösungsstrategien können dafür sorgen, daß die Regeln nicht zu breit feuern, sondern selektiver ausgewählt werden.

(5) Trends: Der Wissenserwerbs-Flaschenhals wird in Zukunft durch neue Grafik-/Ton-Schnittstellen reduziert werden.

5. Aufbau und Arbeitsweise von neuronalen Netzen

(1) Von Neumann versus Gehirn: Computer haben komplementäre Stärken zu neuronalen Netzen. Das macht NN als Ergänzung herkömmlicher EDV-Systeme so sinnvoll.

(2) Neuron-Funktionsweise: Ein Reiz erreicht die Synapse, die den Reiz evtl. weiterleitet an die Dendriten des Neurons. Von den Dendriten gelangt der Reiz zur Soma. Dort beschließt das Neuron zu feuern oder nicht. Feuert es, wird ein Impuls über das Axon an nachfolgende Neuronen weitergeleitet.

(3) Aufbau von NN: Prozessorelemente, Netzstruktur, Aktivierungsfunktion und Ausgabefunktion bestimmen den Aufbau und die Funktionsweise eines NN.

(4) Lernen: Ein NN lernt Wissen über z.B. die Hebbesche Lernregel, die ihre Synapsen je nach Input und Soll-Output gewichtet. An Lernverfahren gibt es beaufsichtigtes Lernen und entdeckendes Lernen (Netz erkennt Soll-Output durch Input-Ähnlichkeiten).

(5) Feedforward-Netze: Diese Netze haben einen unidirektionalen Input-Output-Strom. Beispiele sind Perceptrons, die nur aus einer Schicht Neuronen bestehen (z.B. für Muster-Assoziatoren), oder Backpropagation-Netze, die zyklusfrei und mehrlagig sind, und wo Fehler rückwärts durch das Netz propagiert werden und dabei die Gewichte ändern.

(6) Rekurrente Netze: Hiermit sind zyklische Netze wie das Hopfield-Netz gemeint, die sich für Autoassoziatoren eignen, d.h. sie können aus unvollständigen Inputs durch Rekursionsprozesse den vollständigen Soll-Output herstellen (sie korrigieren also den Input zum Output hin).

(7) Selbstorganisierende Karten: Diese NN erkennen Ähnlichkeiten in den Inputs, wodurch sie "selbstentdeckend" Lernen können. Nach dem Kohon-Modell entwickeln sie durch Synapsengewichtung zweidimensionale "Energie-Teppiche" mit bestimmten Erregungszonen.

(8) Wissenspräsentation in NN: Das Wissen steckt in den Synapsengewichten.

(9) Anwendungen von NN: Schrifterkennung, Bildinterpretation, Spracherkennung, Qualitätssicherung, Robotik, Kompression, Navigation, Wetterprognosen, Optimierungsprobleme (wie Handlungsreisender) und Gehirnforschung.

(10) Ausichten: Bisher wurden nur sehr spezielle Gehirnfunktionen simuliert, keinswegs ein breites semantisches Wissen erzeugt. Daran wird noch gearbeitet. Für die nähere Zukunft werden allerdings Hybrid-Systeme zunehmen, also Systeme, die wie XPS klassisch-mathematisch und gleichzeitig wie NN vorgehen, die unscharfe Mengen und nicht-lineare Prozesse verarbeiten können.

6. Integration von neuronalen Netzen und Expertensystemen

(1) Motivation: KI kann formales Wissen über symbolverarbeitende Methoden bearbeiten, während konnektionistische Systeme (NN) subsymbolorientiert vorgehen. Ihre gegenseitige Ergänzung liegt auf der Hand.

(2)Vergleich XPS und NN:

			XPS				NN
---------------------------------------------------------------------------
Architektur		Wissensbasis+Shell		massiv-parallele Neuronen
Wissenspräsentation	lokal-symbolisch		verteilt-subsymbolisch
W.verarbeitung		Inferenz			Aktivationsausbreitung
W.grundlage		Expertenwissen			Falldaten
W.akquisition		Experten-/KE-Eingaben		Training
Fuzzy-Verarbeitung	-				+
Robustheit		-				+
Einsatzgebiet		High-Level-Tasks		Low-Level-Tasks

(3) Kopplungstypisierung von XPS und NN: Eng (integrativ bzw. transformativ) oder lose (kooperativ); parallel (Blackboard) oder sequentiell (aufsichtig).

(4) Aussicht: Denkbar sind Hybridsysteme, bei denen das XPS die Überwachung des NN übernimmt oder die Ergebnisse des NN analysiert und erklärt. Doch derzeit sind noch kaum Hybridsysteme realisiert worden, obwohl sie als Allheilmittel gegen viele Informatikprobleme gelten.

7. Möglichkeiten der Integration wissensbasierter Systeme mit vorhandenen Anwendungssystemen

(1) WS: Systeme, in denen Fachwissen unabhängig von speziellen Problemsituationen dargestellt wird. Die Auswertung des Wissens erfolgt über die Methoden der KI. Hierzu gehören z.B. XPS; allerdings sind XPS kein Synonym für WS.

(2) Verbesserungen durch WS: Informationssysteme müssen mächtiger sein als herkömmliche Datensysteme. IS müssen Daten zielgerichtet interpretieren können. Gerade hinsichtlich der Akzeptanz von IT eröffnen WS neue Möglichkeiten, so sind z.B. die Antwortzeiten reduzierbar (wenn auch ungenauer), es können unscharfe Mengen bearbeitet werden und die SW kann benutzeradaptiv sein.

(3) Integrationswege: XPS u.ä. können in herkömmliche System funktional oder physisch integriert werden. Bei funktionaler Integration können XPS als Hinter- oder Vordergrundsysteme fungieren. Im ersten Fall wirken sie informationsergänzend, im zweiten Fall steuernd. Physische Integration kann bedeuten, daß XPS als Server installiert werden (horizontale Integration), in das Gesamtsystem als Ergänzung eingebracht sind (vertikale Integration) oder gleichwertig neben anderen Methoden stehen (laterale Integration). Die Daten des XPS oder der DB müssen so transformierbar sein, daß beim Wechsel kein semantischer Gehalt verloren geht.

(4) Beispiel American Express: Wenn eine Transaktion ein Konto leer vorfindet, wird die Transaktion automatisch dahingehen erweitert, daß ein XPS nach diversen Kriterien überprüft, ob der Kunde kreditwürdig ist und dann evtl. grünes Licht für den Kreditwunsch als Empfehlung an den Sachbearbeiter liefert.

8. Zukunftsaussichten wissensbasierter Systeme

(1) Die Intention von WS: Ursprünglich sollten WS automatische Problemlöser sein, die jedoch nicht realisiert werden konnten, wohl weil den KI-Rechnern das allgemeine Hintergrundwissen fehlt, welches Menschen sich nicht geistig erschließen, sondern durch (physische) Erfahrung erlernen.

(2) Abgrenzung von WS: Häufig werden WS mit XPS gleichgesetzt, aber XPS sind nur eine Untermenge von WS. Wichtig bei WS ist die Trennung von Wissen und System, und daß keine festen Lösungswege angeboten werden, sondern daß das menschliche Problemlösungsverhalten imitiert wird.

(3) Aktueller Stand der WS-Forschung: Nur wenige XPS haben das Stadium des Prototyps verlassen. Aber: CYC soll 3/4 einer Tageszeitung "verstehen" können; es ist als Server für Ratschläge gedacht. Kleine XPS mit ca. 200 Regeln sind auf Chips bannbar. Große XPS mit über 2000 Regeln arbeiten geschwindigkeitsverträglich.

(4) Meilensteine und Aussicht: 1946=Beginn der konventionellen Programmierung. 1984=Knowledge Engineers füttern XPS. 1992=Automatisches Lernen und Parallelcomputing. 1998=WS können während des Ablaufs ihre Wissensbasis modifizieren, Verteilte KI werden in Rechnernetze integriert.

9. Soziale Auswirkungen der Anwendung von KI

(1) Abschätzungs-Problematik: Zukunftsprognosen im Bereich der Technologie sind vielleicht noch schwerer als auf anderen Gebieten. Aber die Strömung der harten KI (Behauptung: kognitive Äquivalenz zwischen Mensch-Maschine) ist schwächer geworden.

(2) Möglichkeiten des Menschenersatzes: Beim Militär relevant. In Politik unwahrscheinlich. Produktion: Visomotrische Roboter, die über 2 Kameras räumlich sehen können, Bewegungsabläufe mit NN lernen und Graubilder auf geometrische Objekte hin approximieren können. Telekom: Interaktive Bearbeitung von Anfragen, z.B. Auskunft. In der Biologie können KI-Geräte Zellkulturen auf ihre Zellanzahl abschätzen u.ä.

(3) Ängste/Hoffnungen: Bevormundung durch ein System. Erledingt Routine, so daß Arbeiter Zeit hat für Spezialitäten. Das Mensch-Maschine-Interface wird immer besser (Beispiel: natürlichsprachliche Systeme), dadurch kann jeder z.B. öffentliche Daten für sich nutzbar machen.

10. Betriebliche Anwendung von XPS

(1) Voraussetzungen für den Einsatz:

* instrumentell: HW, SW, Integrationsmöglichkeiten für XPS.

* personell: XPS und KEs, sowie Anwender, die XPS akzeptieren.

* strukturell: Schlecht-strukturierte Probleme mit eng abgegrenzen Problembereich.

(2) Mögliche betriebliche Einsatzgebiete: Fehldiagnosen in der Produktion. Konstruktionsunterstützung in der Entwicklung. Konfigurationshilfe für Rechnersysteme. Brandrisikobeurteilung von Häusern, z.B. für Versicherungen relevant. Strategische Unternehmungsplanung, indem ein XPS z.B. die Position im Portfolio abschätzt und die daraus resultierende Strategie vorschlägt.

11. Jahresabschlußanalyse mit selbstorganisierenden Karten

SOK, wie die Kohon-Feature-Map, haben die Fähigkeit, Eingabevektoren selbstständig räumlich zu kategorisieren (auch das Gehirn legt ähnliche Informationen in ähnliche Gehirnregionen ab). Bei der Beurteilung von Jahresabschlüssen kann man sich das zunutze machen. Ein Eingabevektor besteht z.B. aus 20 Attributen. Diese Attribute erhalten scharfes und unscharfes Wirtschaftswissen, welches den Jahresabschlüssen entnehmbar ist. Dazu gehört die EK-Quote, der Cash-Flow, Rentabilitätsziffern, aber auch verbale Auskünfte des Geschäftsberichts (z.B. ob stille Reserven angelegt wurden). Wenn die Feature-Map hinreichend trainiert wurde, kann es mit einem solchen Eingangsvektor die Position des Unternehmens hinsichtlich seines Ertragsvermögens klassifizieren.

II. Vorlesung KI I: Betriebliche Anwendung der KI

1. Szenario der KI

1.1 Entwicklung der KI

Die KI-Forschung begann schon in den 60ern. In den 70ern entwickelte man konkreten Anwendungsmöglichkeiten wie z.B. Spracherkennung, XPS u.ä. Bis zu den 80ern hatte man erkannt, daß Wissen die wesentliche Komponente der Intelligenz darstellt, daß die Idee des "General Problem Solver" undurchführbar ist, und daß der Turing-Test ein Maß dafür liefern kann, wie intelligent ein KI-System ist (je länger man braucht, es als künstlich zu entlarven, desto intelligenter ist es). Zudem wurden Grenzen der von-Neumann-Architekturen festgestellt, die selbst im Parallelbetrieb nicht überwunden werden können - und so kam die Idee der Neuronale Netze auf, die jedoch nicht mehr über die KI-Sprachen Prolog und LISP bearbeitbar sind.

1.2 Gebiete der KI

Die KI umfaßt von-Neumann-HW, Non-von-Neumann-HW, XPS, NN und Fuzzy Logic, die KI-Sprachen, Prototyping, evolutionäre Ansätze, die Kopplung verschiedener KI-Systeme usw. Mögliche Anwendungsgebiete sind Spracherkennung, Bilderkennung, Operation Research-Erweiterungen, natürliche DBS-Abfragesprachen usw.

2. Expertensysteme

XPS sind Computerprogramme, die die Fähigkeiten von Experten simulieren sollen. Dazu gehört: Probleme verstehen, Lösungen erklären, Wissen erwerben und Kompetenzen selbst einschätzen können. Gemessen an diesem Anspruch können XPS nur bescheidenen Erfolg für sich verbuchen. Dennoch waren sie die ersten in der Industrie verwendbaren KI-Systeme.

2.1 Das neuartige Vorgehen von XPS zur Problmelösung

XPS lösen Probleme aus diffusen Anwendungsbereichen, die Computern früher sonst nicht zugänglich waren. Statt einer einheitlichen Theorie (Algorithmus) zu verfolgen, lösen sie unstrukturierbare Probleme (z.B. der medizinischen Diagnostik) über heuristisches Wissen, welches auf der Erfahrung von Experten basiert. Dabei wird eine opportunistische Strategie benutzt: Die scheinbar beste Lösungsweg in Abghängigkeit von den gegebenen Falldaten wird angeboten.

2.2 Anwendungsgebiete

XPS müssen sich ihrem Anwendungsgebiet anpassen können, da sie nur sehr spezialisiert diffuses Wissen in problemlösungs-orientierter Weise anwenden können. Der General Problem Solver der 60er hat sich als utopisch erwiesen. XPS sind anwendbar, wenn folgende Gegebenheiten gelten:

* Sie bearbeiten ein eng umgrenztes Gebiet.

* Heuristisches Wissen ist sinnvoll (statt algorithmischem bzw. kausalem Wissen).

* Expertenwissen existiert.

* Der Input/Output auf einfache Weise erfolgen kann (keine Massendaten u.ä.)

In vier Problemklassen sind XPS haupsächlich vertreten:

(1) Klassifikation/Diagnostik: Wiederekennung von Befunden.

(2) Design: Objekte finden, die den Anforderungen entsprechen.

(3) Planung: Den Zwischenschritt zwischen Anfang- und Endzustand ausfüllen.

(4) Simulation: Prognosen aus Anfangszustand ableiten.

2.3 Methoden

(1) Architekturen: Besitzt das XPS nur eine Problemlösungsstrategie oder kann es - je nach Problemklasse - zwischen mehreren Inferenzstrategien (z.B. Forward-Reasoning=Breitensuche oder Constraint-Propagation=iteratives Lösungseingrenzen) wählen? Die sogenannte Agendakontrolle kann dann mehre Ergebnisse hinsichtlich ihrer Qualität abwägen und die beste Lösung dem Benutzer bekanntgeben (die Agenda betrifft die interne Strategiewahl, bei hybriden Systemem aber auch die Wahl zwischen NN und XPS). Die Ergebnisse selbst erhält man jedoch über den Produktions-Regel-Interpretierer nach Eingabe der Falldaten.

(2) Wissensrepräsentation: Der Gebrauch des Wissens (=Daten mit semantischem Inhalt) bestimmt seine Repräsentationsform. Zwei Pole eines Kontinuums sind denkbar:

* aktiv-prozeduraler Gebrauch: Produktionsregeln, semantische Netze.

* passiv-deklarativer Gebrauch: Frames, semantische Netze.

Beispiel für eine Produktionsregel: WENN Temperatur>37°C DANN Fieber.

Beispiel für FRAME XPS: TYP=XPS, WERTEBEREICH=MYCIN, PROSPECTOR, ...

Drei Arten von Wissen sind relevant für XPS:

* Allgemeines Problemlösungswissen: In Inferenzkomponente; vom Programmmierer.

* Problemspezifisches Lösungswissen: In Wissensbasis; vom KE und Experten.

* Fallwissen: Wird über die Dialogkomponente durch den User eingegeben.

(3) Inferenzstrategie: Der Produktionsregelinterpretierer folgt einer architekturabhängigen Problemlösungsstrategie (oder mehreren). Üblich sind dabei folgende Methoden, Konfliktmengen zu bilden, auf die dann die verschiedenen Inferenzstrategien angewendet werden können:

* Vorwärtsverkettung: Alle Regeln, deren Bedingungsteil die Falldaten beinhalten, befinden sich in der Konfliktmenge: All diese Regeln sind ausführbar. Die Strategie bestimmt nun eine Regel, die hilft, aus den gefundenen Sympoten eine Ursache herzuleiten.

* Rückwärtsverkettung: Nur die Regeln, deren Folgeteil den Eingabe-Ergebnisforderungen genügen, werden in die Konfliktmenge aufgenommen. Damit können zum Beispiel Ursachen für Symptome hergeleitet werden.

Wesentlich bestimmen die Selektionsfähigkeiten (bezüglich Konfliktmenge und Strategie) des Interpretierers die Geschwindigkeit und die Qualität der angebotenen Lösung. Die Trennung von wichtigen und unwichtigen Lösungswegen ist deshalb so wichtig, da wie beim Schachspiel nie alle Möglichkeiten durchgespielt werden können. Das XPS muß also merken, ob sich die Verfolgung einer Lösungsweges noch lohnt oder aufgegeben werden sollte.

(4) Weitere Mechanismen: Evidenzmodelle können die Wahrscheinlichkeit für eine bestimmte Lösung mit angeben. Vorverarbeitungssysteme sorgen dafür, daß Falldaten vorformatiert werden, um sie dem XPS verständlich zu machen.

2.4 Benutzerschnittstelle

Die Qualität der Benutzerschnittstelle bestimmt wesentlich die Akzeptanz der Benutzer. Zum Teil ist jedoch kein Benutzerdialog nötig, nämlich dann, wenn XPS die Daten über genormte Schnittstellen automatisch zugeführt bekommen.

(1) Wissenserwerbskomponente: Das ist der Flaschenhals der XPS-Entwicklung, da bisher keine automatisierten Lernverfahren vorliegen; man ist auf Experten angewiesen, die die Daten in der korrekten Repräsentationsform eingeben müssen. XPS können den Experten helfen, indem sie Wissens-Editoren anbieten und laufende Konsistenzprüfungen durchführen. Menschliche Hilfe erhält der Experten vom Knowledge-Engineer. Die Eingabe geschieht über Shells oder bei komplexeren Problemen auch direkt in einer KI-Sprache.

(2) Erklärungskomponente: Transparentmachung der Lösungsfindung (das Wie und das Warum) ist bisher noch unzureichend gelungen, zumindestens in Bezug auf die Anwender (nicht auf die Experten).

(3) Interviewerkomponente: Für die aktive (auffordernde) oder passive Eingaben von Falldaten nötig, sofern die Daten nicht automatisch zugeführt werden können.

2.5 Bewertung

Die Evoluation von XPS ist schwierig (wie ja auch die Beurteilung von Experten schwierig ist).

+: XPS sind im Einsatz und funktionieren (z.B. R1, welches DEC-Anlagen konfiguriert).

-: Nicht lernfähig; begrenzt erklärungsfähig; zu spezialisierte Anwendungsgebiete; keine eigene Kompetenzeinschätzung (bei mangelenden Inputs trifft es dennoch eine Entscheidung).

2.6 Werkzeuge

Bis zum Einsatz von XPS können 5 Mannjahre vergehen. Mit Hilfe der folgenden Werkzeugen kann diese Entwicklungszeit jedoch drastisch verkürzt werden:

(1) Programmierumgebung: Drei Ebenen sind hier in Abhängigkeit vom Grad der Spezialisierung zu unterscheiden:

* Programmiersprachen: Die meisten XPS sind in LISP oder PROLOG programmiert. Vorteile von LISP ggü. anderen Sprachen sind: Die Speicherverwaltung übernimmt das Programm; sie unterstützt auch funktionalen bzw. objektorientierten Programmstil; Programme sind syntaktisch wie Datenstrukturen aufgebaut; Trace-Options (interpretives Durchgehen) erlaubt Debugging von semantischen und syntaktischen Fehlern; nach dem Debugging kann compiliert werden. Vorteile von PROLOG sind: Das Wie muß noch weniger beschrieben werden als bei LISP, es muß nur das Was angegeben werden; parallele Abarbeitung ist vorgesehen. Allerdings eignet sich PROLOG eben wegen der fehlenden Ablaufgestaltung weniger für große XPS.

* Spracherweiterungen: Neben der KI-Sprache werden Inferenzmechanismen, Wissensrepräsentationsformen und XPS-Komponenten-Gestaltungs-Tools zur Verfügung gestellt. Beispiel: KEE, BABYLON und LOOPS.

* Shells: Dies sind komplette Steuersysteme, die den XPS-Aufbau alleine auf die Entwicklung einer Wissensbasis reduzieren., z.B. MED1 und EXPERT. In Zukunft wird es wohl Shells mit dem Grundwissen von bestimmten Gebieten zu kaufen geben.

(2) Hardware: LISP-Rechner sind extra angefertigte HW zur Abarbeitung von LISP-Programmen. Sie bringen kurze Antwortzeiten zustande und verfügen über Gigabyte virtuellen Speicher. Die Japaner, die sich in ihrem Fith-Generation-Programm für PROLOG entschieden haben, arbeiten auch an PROLOG-Maschinen.

(3) Datenbanken: Statt die Wissenbasis im Haupspeicher zu halten, geht man inzwischen mehr dazu über, sie in DB unterzubringen. Dort sind sie sichere, über DBMS können sie von vielen Anwendern gleichzeitig gelesen werden.

2.7 Beispiel: MED2

MED2 ist eine Shell für XPS des Bereichs der medizinischen Diagnostik. Seine Klassifikationen sind z.B. Anatomie und Pathologie. Es kennt vier Arten von Frames (eines z.B. für Sympome-, ein anderes für Diagnose-Repräsentationen). Es fragt nach Symptomen, bildet vorwärtsverkettet die Konfliktmenge, die - sofern Daten im Working-Memory (Arbeitsgedächnis) vorhanden sind, z.B. weil der User Verdachtshypothesen eingegeben hat - über Rückwärtsverkettung weiter dezimiert werden kann. Alle Eingaben werden syntaktisch geprüft. Die Erklärungskomponente zeigt das Working-Memory, Folgerungen, die sie erklären kann, und genannte Symptome, die nicht ins Bild der Diagnose passen.

3. Prototyping-Spirale

Die Prototyping-Spirale benötigt für einen Durchgang zunächst ca. 6 Monate, dann 4 Monate, dann 3 Monate, ... Die Wissenakquisition setzt sich aus den Schritten Wissenserhebung (z.B. durch Interviews), Interpretation und Operationalisierung (Modellierung und Implementuierung der Wissensbasis) tzsammen. Für die Wissenserhebung sollte der Konwledge Engineer (der kein Experte des XPS-Gebietes sein muß) die Experten aus Akzeptanzgründen nicht länger als 2 Stunden in der Woche bemühen. Die Prototyping-Spirale baut sich aus folgenden, iterativen Phasen auf:

(1) Wissenakquisition (Analyse)

(2) Prototyp-Design

(3) Requirements (Einwänden) begegnen

(4) Validation (Test)

(5) Integration (Neues zu Altem)

(6) Implementation

4. Ein Hybridsystem: Das Trading Support System

Ein hybrides system koppelt symbolische und subsymbolische Techniken der KI zur Lösung von Problemen. An der Universität Mannheim wurde ein hybrides System geschaffen für das Trading (reine Optionsgeschäfte ohne Basiswerte zu beachten => Kursrisiko bleibt unbeachtet) an der Deutschen Terminbörse. Die Motivation dazu ist, daß neuartige Kommunikationsmittel immer mehr Daten herantragen, die den Investor bei seinen Wertpapiergeschäfts-Entscheidungen überfordern. Dies gilt insbesondere für die zeitkritischen Termingeschäfte, die aber aufgrund des Trends zur Flexibilität stetig an Bedeutung zunehmen.

Bereits heute existieren XPS, die nach Eingabe von (unscharfen) Daten fähig sind, Anlageempfehlungen bezüglich eines Titels auszusprechen. Die Lösungsstrategie beruht auf heuristischem Wissen (Erfahrungswissen, Faustregeln, fuzzige Zusammenhänge, usw.) und daher ist die Lösung qualitativ (Option X ist zu empfehlen) und nicht quantitativ (Option X bringt 10 Punkte) wie bei einer konventionellen Programmierung. Was XPS heutzutage jedoch nicht können, sind Portfolio-Empfehlungen über ganze Titelserien auszusprechen, indem die Titel jeweils auf ihr Risiko und ihre Rendite hin abgeschätzt werden. Sie können zudem ihre eigene Kompetenz nicht abschätzen, d.h. falls zu wenig Input zur Lösung eines Problems eingegeben wird, findet es trotzdem eine Lösung, die dann aber ein krasses Fehlurteil darstellen kann. Weiterhin haben XPS trotz ihrer Wissensbasis Probleme damit, Prognosen bezüglich nicht-linearer Systeme wie z.B. der Aktienkurse abzugeben. Solche Prognosesysteme sind über algorithmische Mittel praktisch nicht zu programmieren. Allenfalls können statistische Verfahren, die auf der Wahrscheinlichkeitsrechnung basieren, Korrelationen u.ä. erkennen, doch denen fehlt es meist an Gesetzmäßigkeit(en).

Wie es XPS für Aktien-Anlage-Empfehlungen gibt, so gibt es auch NN, die als Prognosesysteme Verwendung finden. NN haben die erstaunliche Eigenschaft, sich bei unscharfen Problemstellungen durch Lernen selbst ein Bild der Realität und ihrer Zusammenhänge zu schaffen. So erkennen NN in den verrauschten Zeitreihen von Aktienkursen durch Selbstorganisation strukturelle Gesetztmäßigkeiten - das ist umso bemerkenswerter, da dies bisher nicht einmal über statistische Verfahren mittels konventioneller Programmierung erreicht werden kann. Nach einiger "Erfahrung" können NN bei ihren Prognosen über den zukünftigen Kurs einer Aktie im Zeitraum eines Monats 80%ige Trefferquoten erzielen! Doch NN können leider nicht erklären, wie sie ihre Lösung gefunden haben; sie können keine guten Gründe für ihre Entscheidung nennen.

Das Trading Support System macht sich die unterschiedlichen Eigenschaften von XPS und NN zunutze. Das Backpropagation-NN lernt die Zeitreihen der Aktienkurse zu prognostizieren. Diese Prognoseergebnisse werden als Inputs an das XPS weitergegeben. Das XPS sammelt die Prognoseinputs der einzelnen Titel und die Empfehlungen, die der erfahrene Anleger noch selbst eingeben kann. Dadurch bildet sich von vorneherein eine eingeschränkte Zielmenge, die durch Rückwärtsverkettung die Menge der ursächlichen Regeln ebenfalls von vorneherein einschränken kann, was deutliche Geschwindgkeitsvorteile mit sich bringt. Danach können die äußeren Rahmenbedingungen (Symptome) bzgl. der einzelnen Aktientitel eingegeben werden (das XPS fragt aktiv danach). Statistische Verfahren, heuristisches Wissen in den Frames und die Produktionsregeln untersuchen anschließend die Daten, und bilden so allmählich ein Portfolio hinaus, wobei die Erklärungskomponente dem Benutzer darlegen kann, warum das XPS die einen Titel in das Portfolio aufgenommen hat und die anderen nicht. Erweitert werden kann dieses Hybridmodell noch durch ein weiteres NN, welches die Summe aller Inputs dahingehend prüft, ob sich aus ihnen überhaupt ein sinnvolles Ergebnis prognostizieren läßt; dadurch lernt das XPS seine eigene Kompetenz einzuschätzen und im Falle eines Inputmangels gezielt nach weiteren Inputs zu fragen.

III. Vorlesung KI II: Neuronale Netze

1. Einführung

1.1 Historisches

-350 Platon/Aristoteles erklären Denkprozesse.

1700 Kybernetische Maschinen (z.B. Schachautomaten)

1800 Konnektionismus

1908 Cajal identifiziert Neuronen.

1914 Adrian entdeckt Aktionspotentiale (Strompimulse).

1930 Turing-Test für KI.

1943 McCulloch und Pitts beschreiben Idee von NN.

1949 Hebb postuliert Synapsenstärkung durch Lernen.

1951 Edmonds und Minsky realisieren das erste Lernsystem.

1963 Hodgekin und Huxley beschreiben Signalübertragungen.

1964 Eccles brealisiert Synapsenfunktionen über elektronische Schaltkreise.

1969 Rosenblatts Perceptron (vernichtende Kritik von Minsky)

1980 Rasanter Aufschwung der NN.

1.2 Merkmale und Ziele der NN

* Definition NN: Arbeitet massiv parallel (eigentlich verzweigt sequentiell) und benutzt einfache, aber adaptive Elemente.

* Interdisziplinität (Biologie, Informaktik, Medizin)

* Ziel: Umsetzung biologisches Gehirn in künstliche Systeme.

* Wifo-Bedeutung: Durch NN sind abstrakte Problemlösungen mit z.T. besseren Ergebnissen als über konventionelle Techniken möglich.

1.3 Motivation der NN-Forschung: Grenzen SW/von-Neumann-HW

Grenzen bisheriger HW/SW-Konzepte: Die Gehirnleistungen ist komplementär zu Computern, z.B. bezüglich Numerik, Massendatenhandling oder Alltagsaufgaben wie Bild-/Spracherkennung, motorische Steuerung. Die SW-Technologie ist von ihrer Komplexität her begrenzt, z.B. ist eine Steuerung autonomer Roboter damit nicht möglich. Die von-Neumann-HW arbeiten mit einer CPU und sequentiell, wobei die Signallaufzeit die Leistung begrenzt. HW-Auswege: Piplining (Vektorarchitekturen), optische Computer, Non-von-Neumann-Architekturen. Die SW-Komplexitätsproblematik wird durch fehlerrobuste und lernfähige Systeme überwunden. Die Lösung ist im biologischen Nervensystem bereits vorgezeichnet.

1.4 Biologisches Vorbild

(1) Signalverarbeitung: Dendriten empfangen Signale von anderen Neuronen bzw. Sensoren (nach externer Eingabefunktion). Je nach Synapsengewichtung und Propagierungsfunktion gelangen sie mit bestimmter kummulierter Energie (nettoinput) in die Soma des Neurons. Dort wird ihr Aktionspotential über die Aktivierungsfunktion in Abhängigkeit vom aktuellen Aktivitätszustand bestimmt. Wird der Bias erreicht, dann feuert das Neuron, wobei die Stärke der Feuerung von der Ausgabefunktion abhängt. Der Reiz wandert über das Axon zu bis zu 100000 Neuronen weiter.

(2) Wissenspräsentation: Der aktuelle Aktivitätszustand der Neuronen (von denen es z.B. bei Mücken nur 108 Stück gibt!) gibt das sensorische Wissen und das Kurzzeitgedächnis wieder. Das Langzeitgedächnis spiegelt sich dagegen in den Gewichtungen der Synapsen wieder.

1.5 Grundlagen konnektionistischer Modelle

(1) Vollständige Beschreibung durch: Beschreibung der Neuronen und Beschreibung der Neuronenstruktur. Die Beschreibung der Neuronen umfaßt: Aktivitätszustand, zulässige Input-/Output-Mengen, Ausgabfunktion, Propagierungsfunktion, Aktivierungsfunktion, und externe Eingabefunktion. Die Beschreibung der Struktur umfaßt die Art der Knoten, die Topologie, die Lernregel und die Ein- und Ausgängefestlegung.

(2) Die Knoten arbeiten wie die Neuronen der biologischen Signalverarbeitung (siehe 1.4). Als Aktivierungsfunktion kommen Sprungfunktionen, Rampenfunktionen, signoide oder linieare Funktionen in Frage, darstellbar über ein Output-Input-Diagramm mit senkrechter Bias-Eintragung.

(3) NN-Aufbau: Die Topologie kann einschichtig/mehrschichtig oder feedforward/feedback sein. Die Lernregel beschreibt, wie ein NN auf Inputs hin bei gegeben Soll-Outputs die Gewichtungen ändert, falls die Ist-Outputs davon abweichen. Die Ein- und Ausgänge können gesondert von den inneren (hidden) Schichten betrachtet werden, so lassen sich z.B. spezielle externe Eingangs- bzw. Ausgangsfunktionen finden.

1.6 Lernen im konnektionistischen Modell

Die Modifizierung der Netzstruktur erfolgt über Bildung neuer Verbindungen, Zerstörung alter Verbindungen, Änderung der Gewichtung existierender Verbindungen.

(1) Hebbsche Lernregel: Liegt eine Soll-Ist-Abweichung beim Output eines Neurons vor, dann wird die Synapsengewichtung vor dem Neuron um einen konstanten Faktor (Lernrate) verkleinert/vergrößert, um beim nächsten Lernschritt dem Soll-Wert näher zu kommen.

(2) Delta-Lernregel (Widrow-Hoff-Regel): Eine Variante der Hebbschen Lernregel. Im Gegensatz zu dieser wird hier die Annäherung an den Soll-Wert durch kleinere Lernschritte honoriert. Bei (1) kann man kurz vor dem Lernziel eine grobe Gewichtsänderung erfahren, nicht jedoch bei der Delta-Regel, bei der sich die Geqwichtsänderung Null annähert und ab einer gewissen Genauigkeit durch Vorgaben gestoppt werden muß.

(3) Weitere Lernansätze: Backpropagtation-Regel (Delta-Regel für Hidden Units), Wettbewerbslernen, stochastisches Lernen usw.

2. Konnektionistische Modelle

2.1 Das McCulloch-Pitts-Neuron (1943)

Nur zwei Zustände des Neurons sind möglich: 0 und 1. Der Bias ist fixiert. Es gibt mehrere Eingänge, aber nur einen Ausgang. Es gibt nur die Gewichte +1 und -1. Durch McCulloch-Pitts-Neuronen lassen sich alle logischen Funktionen simulieren (außer dem XOR-Problem). Lernregel ist die Hebbsche Lernregel.

2.2 Das Perceptron

Unterschied zum McCulloch-Pitts-Neuron: Der Bias ist veränderlich und die Gewichte können Werte zwischen +1 und -1 annehmen. Als Lernregel agiert daher die Delta-Lernregel. Das Perceptron-Konvergenz-Theorem beweist, daß ein Netz aus Perceptrons immer die korrekte Gewichtung findet, um den Input auf einen Soll-Output abzubilden, sofern dies mit den Gegebenheiten möglich ist. Minsky kritisierte hier, daß nicht für alle Klassifikationsaufgaben geeignete Gewichte existieren. Zweistufige Perceptrons lösen auch das XOR-Problem.

2.3 Mehrlagige Perceptrons mit Backpropagation Lernansatz

Die Delta-Regel kann die Perceptron-Konvergenz bei Multilayer Perceptrons nicht gewährleisten. Lernregel ist daher die Backpropagation-Lernregel (an die Minsky/Papert nicht glauben wollten). Es müssen stetig differenzierbare Aktivierungsfunktionen verwendet werden, da die Lernregel mit der ersten Ableitung arbeitet. Der Bias ist veränderlich. Die Lernregel propagiert zunächst den Input vorwärts durch Netz, wodurch jede Unit einen Output berechnet, und vergleicht dann die Outputs rekursiv (rückwärtspropagiert) mit den Soll-Outputs, wodurch Deltawerte und Biasse berechnet und neu gesetzt werden. Multilayer Perceptrons sind in der Lage, beliebige Funktionen zu approximieren.

2.4 Thermodynamische Modelle

Im Ggs. zu den vorherigen Modellen handelt es sich bei thermodynamischen Modellen um rückgekoppelte Netze. Hier gibt es keine Schichten, sondern die einzelnen Neuronen sind untereinander vernetzt. Zu Beginn bekommt das Netz eine bestimmte Energie zugesprochen, die durch die Zustandsänderung der Neuronen minimiert wird, bis ein Gleichgewichtszustand eintritt (deswegen thermodynamisches Modell, da dieses ein Gleichgewichtszusatnd anstrebt). Bekannte Modelle sind:

* Hopfield-Modell: Monotoner Energie-Minimierungs-Prozeß. Es herrscht eine symmetrische Konnektionsmatrix vor, d.h. es gilt: wij=wji. Relaxation bedeutet Einschwingung in den Gleichgewichtszustand. Jede Neueingabe bewirkt eine leichte Energieänderung, aus der der Output resultiert. Die Energie-Minimierung beim Lernen erfolgt nach dem Gradientenabstiegs-Verfahren. Dadurch werden lokale Minima geschaffen, die bei Eingaben das Attraktionsbecken darstellen. Die Potentiallandschaft läßt sich durch Gewichtsänderungen entsprechend verformen. Werden jedoch zuviele Muster gelernt, verliert das Netz u.U. alte Strukturen wieder. Eine typische Anwendung für Hopfield-Modelle sind Autoassoziatoren, die unvollständige Eingaben komplettieren können.

* Boltzmann-Maschine: Stochastischer Minimierungsprozeß. Neben den Gewichten spielt auch der aktuelle Zustand der Neuronen eine Rolle. Der Input plus der aktuelle Zustand führt nur probabilistisch zu einer Zustandsänderung des Neurons. Dies kann dazu führen, daß die Boltzmann-Maschine nicht in lokalen Minima verharrt, sondern in die globalen Minima entweicht, die einen optimalen Output darstellen. Dies funktioniert nur, wenn die Gesamtenergie im Netz sehr langsam gesenkt wird, was sehr zeitintensiv sein kann (auch wen sich über Cooling-Scheduler die Zeiten verbessern lassen). Mit der Boltzmann-Maschine lassen sich Optimierungsprobleme folgendermaßen lösen: Man versetzt die Neuronen in einen bestimmten Zustand, verarbeitet diesen Input über das "Simulated Annealing" (simulitiertes Ausglühen, weil Inputs wieder aus lokalen Minima entkommen können), bis der Gleichgewichtszustand eingenommen wurde. Das Modell eignet sich für Prognosen über Zeitreihenanalysen. Beschleunigungen werden angestrebt durch Backpropagation und deterministische Adjustierung.

Sofern bei thermodynamischen Modelle auf Backpropagation verzichtet wird, sind keine Target-Vektoren nötig, d.h. die Netze können sich durch statistische Analysen der Inputs selbst klassifizieren. Diese Netze mit anderen Netzen zu koppeln, funktioniert nicht. Die Klassen geben weniger das Einzelverhalten von praktisch allen nicht-chaotischen Systemen wieder, als ihr pauschales Verhalten.

2.5 Selbstorganisierende Karten

Hier spielt die anordung der Neuronen im Ggs. zu obigen Modellen eine große Rolle. Es muß eine Lagenachbarschaft bei Signalähnlichkeit vorliegen. Das Modell von Kohen beschreibt eine selbstorganisierte Karte. Die Neuronen können sich ggs. beeinflussen. Ähnlichkeitsrelationen zwischen Eingabedaten werden in ähnliche Lageregionen des Netzes umgesetzt. Die Erregungskurve um das Zentrum beschreibt eine Mexican-Hat-Funktion. Gelernt wird über den Feature-Map-Lernalgorithmus, wobei eine (zufällige) Anfangsgewichtung vorliegt, die dann über iterative zufällige Eingabesignalvektoren nach einer Energieminimierungsgleichung umgwichtet werden (der Mexican-Hat wird immer spitzer). Probleme können die Ränder bereiten, wo es an umliegenden Neuronen fehlt.

3. Implementierung von NN

Abschätzung des Rechenbedarfs von NN: Augensignale werden beim Menschen von 10^9 Neuronen empfangen, die wiederum mit jeweils mit 10^4 anderen Neuronen verbunden sind. Da jedes Neuron ca. 10 mal in der Sekunde feuern kann, benötigt man zur computerbasierten Simulation des menschlichen Nervensystems 10^9*10^4*10=10^14 Operationen pro Sekunde. Die besten Computer liefern derzeit aber gerademal 10^9 Operationen pro Sekunde. Bei der Implementierung von NN sind weiter zu beachten:

* Kodierung der Eingabe: Hierzu gibt es zwei Alternativen: Lokale Präsentation (ein Eingabeneuron bestimmt den Output; Hamming-Abstand zwischen 2 Speicherungen immer 2) und verteilte Präsentation (mehrere Eingabeneuronen bestimmen den Output; Hamming-Abstand größer gleich 2). Die Eingabedaten können dem NN einzeln oder kontinuierlich zugeführt werden. Häufig müssen sie normalisiert (um Mittelwert bereinigt) bzw. skaliert (Einhaltung des benutzerdefinierten Intervalls) werden.

* Trainingsmenge: Je nach Problem und Netzwerkparadigma muß - sofer keine empirischen Daten vorliegen - experimentell festgestellt werden, welche Inputs sich am besten zur Lösung des Problems eignen.

* Strukturierung des Netzes: Siehe Trainingsmenge.

4. Simulationen

(1) Monte-Carlo-Modell (Blackbox-Modell): Zu bestimmten Inputs will man den Output vorhersagen können (ähnlich wie beim Stimulus-Respone-System aus der Psychologie). In die Simulation integriert sind Zufallsvariablen, um den Realismus der Simulation zu erhöhen.

(2) DES-Modelle: Ereignisorientierte Modell für Warteschlangen-Simulationen u.ä., bei denen das Verhalten im Zeitablauf prognostiziert werden soll.

Simulationsprogrammierung und KI-Programmierung ähneln sich in vielen Punkten, z.B. müssen beide viele sequentielle Einzelprozesse zu einem komplexen Ganzen synchronisieren. Simulationen werden in Zukunft durch die objektorientierte Entwoicklung, wie sie SMALLTALK anbietet, gefördert; dann werden z.B. interaktive, visuelle Simulations-Modelle (VISIM) möglich.

5. SYNAPSE-1 - ein Neurocomputer

Der SYNAPSE-1 von Siemens ist der derzeit schnellste Neurocomputer. Er arbeitet 8000mal schneller als die Sparcstation 2 von SUN. Er benutzt eine Non-von-Neumann-Architektur mit speziellen VLSI-Prozessorbauteilen, nämlich acht neuronale Signalprozessoren, die im Ggs. zu Neurochips programmierbar (!) sind, und alle rechenintensiven Operationen durchführen. Die restlichen Operationen werden von zwei 68040-Prozessoren erledigt. Ein Weight Memory von 64 MByte speichert die Gewichte. Mit dieser HW sind bei 40 MHz 800 Mio synaptische Gewichtung pro Sekunde möglich. Programmiert wird der SYNAPSE-1 in der c++-orientierten Sprache neuronal Algorithmus Programming Language (nAPL).