Nachdem der vorherige Abschnitt gezeigt hat, dass ein PAC-Lerner ca. 43 Beispiele
ben?tigt, wird im Folgenden die Evaluierung des Systems unter Verwendung des J4.8
Algorithmuses beschrieben.
Als Versuchsdokument wurde das erste Kapitel des Skriptes [MORIK 1997]
verwendet.
Im ersten Textdurchlauf wurde zu jeder Strukturart genau ein Beispiel
gegeben. Die anschlie?end durchgef?hrte Klassifikation ergab, dass 41
Paragraphen korrekt und 118 inkorrekt klassifiziert wurden. Der sich durch
dieses Ergebnis ergebende Wert f?r die Precision betr?gt lediglich
25,79%.
In den anschlie?enden Versuchsdurchl?ufen wurde die Anzahl der Beispiele pro
Strukturart um jeweils eins erh?ht. Wie die Tabelle 7.1
zeigt, ergibt sich schon bei vier Beispielen pro Strukturart, dass 99,27% der
Paragraphen vom System korrekt klassifiziert werden.
Die Abbildung 7.1 zeigt, wie schon bei zwei Beispielen
pro Strukturart die Genauigkeit der Klassifikation sehr stark ansteigt.
Tabelle 7.1:
Precision-, Recall- und F-Measure-Werte die sich
bei neun Klassen mit ein bis vier Beispielen pro Paragraphstruktur
unter Verwendung des J.48 Algorithmus ergeben
Versuch
Label
Beispiele
Struktur-
Evaluierung
anzahl
korrekt
41
Precision: 25,79%
1
inkorrekt
118
1
9
Recall: 100,00%
nicht ausgegeben
0
F-Measure: 41,00%
korrekt
141
Precision: 88,68%
2
inkorrekt
18
2
9
Recall: 100,00%
nicht ausgegeben
0
F-Measure: 94,00%
korrekt
155
Precision: 97,48%
3
inkorrekt
4
3
9
Recall: 100,00%
nicht ausgegeben
0
F-Measure: 98,73%
korrekt
158
Precision: 99,37%
4
inkorrekt
1
4
9
Recall: 100,00%
nicht ausgegeben
0
F-Measure: 99,68%
Abbildung 7.1:
Lernergebnisse nach vier Klassifikationen mit ein
bis vier Beispielen pro Paragraphstruktur
