20 Mai 2010

Genauigkeitsmessungen

Im Knowbrainer-Forum hat David Peters schon vor 2 Jahren einen interessanten Beitrag eingestellt, wie sich die relative Erkennungsgenauigkeit eines Benutzerprofils messen lässt. Insbesondere geht es hier um die "gefühlte Verschlechterung" eines Benutzerprofils im Laufe der Arbeit, die sich seinen Messungen zufolge nicht nachweisen lässt, sondern die offensichtlich nur auf ein subjektives Empfinden des Benutzers zurückgeht.

Zum Zwecke der Messung hat er einen Text von ungefähr einer Seite diktiert (um sicher zu gehen, das keine unbekannten Wörter darin vorkommen), diesen Text als reine Ton Datei, also als WAV-Datei aufgenommen und von Dragon NaturallySpeaking umsetzen lassen. Es zeigte sich, das die Fehlerquote bei einem neuen Profil doppelt so hoch war wie bei demselben Profil nach einiger Zeit der Arbeit, obwohl sein subjektives Gefühl ihn annehmen ließ, dass sich die Erkennungsgenauigkeit verschlechtert hatte.

Sein Fazit (das sich weitgehend mit meinem deckt): sehr viel wichtiger als alles andere ist nach wie vor das korrekte Diktieren und eine deutliche Aussprache. In dem Maße, in dem man sich an Spracherkennung gewöhnt, lässt die Aufmerksamkeit beim Diktieren nach. Im selben Maße steigt aber die Fehlerquote. Hat man einen davon unabhängigen Input (wie eine WAV-Datei), zeigt sich, das das Programm tatsächlich spürbar hinzu lernt, das Problem also wie so häufig vor dem Bildschirm zu suchen ist.

Keine Kommentare: