Hörvergleich von MP2, MP3, RealAudio und Windows Media Audio

Multimediapraktikum SS01, Universität Tübingen
Arbeitsgruppe: Jasmina Orman, Marten Thielges, Marc Janott


Aufgabenstellung

Machen Sie Hörtests mit vier verschiedenen Audio-Kompressionsverfahren bei verschiedenen Kompressions-Datenraten (üblicherweise in kBit/s = kbps angegeben). Zwei der vier Verfahren sollten MP2 und MP3 sein. Zwei weitere Verfahren können Sie frei wählen. Es sollte sich dabei um Formate handeln, bei denen verschiedene Kompressions-Datenraten in einem größeren Bereich vorgegeben werden können. Stellen Sie die Verfahren in einer Tabelle gegenüber, und bewerten Sie die Qualität mit den Schulnoten von 1 bis 6.

Weitere Fragen: Wie stark hängt die Qualität des MP3 Formates vom Encoder ab? Verwenden sie für die MP3 Kompression zwei verschiedene Encoder. Wir stark leidet die Qualität bei der wiederholten Komprimierung, dekomprimierter Datenstroeme? (Also nach mehreren Zyklen 'Encode MP3', 'Decode MP3', 'Encode MP3' ...)


Hörvergleich

Zielsetzung

Der Hörvergleich wurde durchgeführt, um die Qualitätsmerkmale aktueller, verbreiteter Kompressionsverfahren für Audio-Dateien auf ihre Praxistauglichkeit zu testen.

Testumgebung

Die Hörtests wurden an einem gewöhnlichen, ruhig gelegenen Computer-Arbeitsplatz durchgeführt. Das für die Tests verwendete Audiomaterial wurde von Original-CDs auf die Festplatte des PCs überspielt. Anschließend wurde das Audiomaterial mit einem Audio-Editor gekürzt. Die so erhaltenen Referenzdateien wurden jeweils mit den ausgewählten Kompressionsverfahren mit je zwei unterschiedlich starken Kompressions-Datenraten in die entsprechenden Audio-Formate umgewandelt. Die Klangdateien wurden für die Tests mit Standardsoftware abgespielt und auf aktiven PC-Lautsprechern bei gehobender Zimmerlautstärke ausgegeben.

Das Testsystem
CPU AMD Athlon
Taktfrequenz 500 MHz
RAM 256 MB
Festplatte IBM, 15 GB
Betriebssystem Microsoft Windows 98
CD-Laufwerk LiteOn 40-X
Soundkarte Creative Soundblaster Live!
Wiedergabesoftware Microsoft Windows Media Player V7,
RealNetworks RealPlayer V6
Audio-Editor Creative WaveStudio V4
Lautsprecher Primax Mediastorm 240W PMPO

Auswahl des Testmaterials

Da alle getesteten Verfahren verlustbehaftet komprimieren, ist die allgemeine Schwierigkeit natürlich die Originaltreue. Idealerweise ist das Klangerlebnis bei der komprimierten Datei identisch mit dem Klangerlebnis bei der Originaldatei. Um die Kompressionsverfahren auf ihre Praxistauglichkeit zu testen, wurden vier Tonbeispiele mit unterschiedlichen Eigenschaften (und Ansprüchen) ausgewählt.

Kompression des Testmaterials

Unter den vielen möglichen Audio-Kompressionsverfahren wurden vier ausgewählt, die einerseits relativ stark verbreitet sind und für die andererseits frei erhältliche Kompressions-Software (Encoder) angeboten wird.

Jedes Verfahren wurde bei zwei Kompressions-Datenraten (64kbps und 128kbps) getestet. Während SoundLimit eine einfache Auswahl der möglichen Kompressions-Datenraten in kbps (Kilo-Bit pro Sekunde) anbot, gestaltete sich die Auswahl der gewünschten Kompressions-Datenraten im RealProducer und im Windows Media Encoder komplizierter als erwartet. RealProducer bietet eine Auswahl verschiedener Zielmedien (Single ISDN, 28K Modem, Corporate LAN) an, ohne Angabe der jeweils erreichbaren Kompressions-Datenrate. Diese konnte erst nach erfolgter Kompression festgestellt werden. Der Windows Media Encoder bietet ebenfalls eine Auswahl möglicher Zielmedien oder Qualitätswünsche, jeweils mit zu erwartender Kompressions-Datenrate. Nach erfolgter Kompression kam es jedoch vor, daß die tatsächliche erreichte Kompressionsdatenrate nicht mit der gewählten übereinstimmte.

Verglichen wurden die folgenden Formate:

Neben den getesteten Formaten wurden die Dateien auch noch in das AAC-Format konvertiert. Die Ergebnisse konnten allerdings nicht getestet werden, da keine lauffähige Wiedergabe-Software zur Verfügung stand. Die Autoren wären dankbar für Hinweise auf funktionierende AAC-Player. Komprimiert wurde mit Astrid/Quartex.

Beim Vergleich der Hörbeispiele ist berücksichtigen, daß die unterschiedlichen Kompressionsformate für unterschiedliche Zwecke entwickelt wurden. Sie zeigen ihre Stärken und Schwächen bei unterschiedlichen Kompressions-Datenraten. MP3 zielt beispielsweise auf Datenraten von über 128kbps für Musik in CD-Qualität, während MP2 für ausreichende Sprachverständlichkeit bei unter 64kbps entwickelt wurde. WMA und G8 sollen HiFi-Qualität für Musik bei Datenraten um 64kbps ermöglichen.

Bewertungsmaßstab

Bewertet wurde nach sechs Qualitätsstufen mit unterschiedlichen Ansprüchen an die verschiedenen Kompressions-Datenraten. Bei 64kbps wurden geringe Nachteile in der Klangtreue hingenommen. Der Klang sollte aber schon mindestens mit dem Hörerlebnis eines Telefongespräches (oder Musik über eine Telefonverbindung) mithalten können. Bei 128kbps sollten sich die Klangerlebnisse bei den komprimierten Formaten und dem Referenzformat allerdings gar nicht mehr unterscheiden lassen. Bei Blindtests sollte der Hörer nicht mehr in der Lage sein, Original und komprimierte Version auseinanderhalten zu können. Die Vergleiche durften mehrfach wiederholt werden.

Für die Qualitätserlebnisse wurden von den Testhörern Noten vergeben, die für die Gesamtbewertung gemittelt und anschließend gerundet wurden.

Note Bezeichnung Bedeutung für 64kbps Bedeutung für 128kbps
1 sehr gut ausgezeichnete Sprachverständlichkeit,
angenehmes Hörerlebnis
vom Original nicht unterscheidbar
2 gut einwandfreie Sprachverständlichkeit,
leichte Störungen im Klangbild
nur im direkten Vergleich erkennbare Abstriche in der Originaltreue
3 befriedigend kleine Störungen bei der Sprachverständlichkeit,
gröbere Störungen im Klangbild
ohne Vergleich erkennbare, aber noch hinnehmbare Artefakte, im Vergleich erkennbarer Brillanzverlust
4 ausreichend grobe Störungen bei der Sprachverständlichkeit,
erhebliche, unangenehme Störungen im Klangbild
irritierende Artefakte und Störungen, auffälliger Brillanz- und Dynamikverlust
5 mangelhaft unangenehme und hinderliche Störungen bei der Sprachverständlichkeit,
schwer erträgliche Verunstaltung des Klangbildes
unangenehme, auffällige Störungen, starker Brillanz- und Dynamikverlust
6 ungenügend keine Sprachverständlichkeit,
unerträgliche Verunstaltung des Klangbildes, das Signal ist nicht mehr zu erkennen.
erhebliche, irritierende Artefakte und Störungen, unangenehmes Hörerlebnis

Testhörer

Die drei Autoren führten die Tests als Testhörer selbst durch und durften sich ggf. auf Auffällligkeiten der Klangbeispiele aufmerksam machen. Zwei der drei Autoren spielen verschiedene Instrumente und haben Erfahrungen im Abmischen von Musikaufnahmen. Es kann hier evtl. von klangsensiblem Gehör ausgegangen werden.

Disclaimer

Bei den Hörbeispiele handelt es sich um Auszüge von Original-CDs von jeweils ca. 30 Sekunden Länge. Die Hörbeispiele werden hier zu wissenschaftlichen Zwecken ohne Rücksicht auf Urheberrechte bereitgestellt. Ein Herunterladen zur anderen als zu wissenschaftlichen Zwecken ist nicht gestattet.

Gegenüberstellung und Bewertung anhand ausgewählter Hörbeispielen

Typus Sprache, unauffällige Geräuschkulisse Kubanischer Jazz Rythmusbetonter Pop Klassische Gitarre
Titel Beaumont's Lament
(Soundtrack Jackie Brown)
Chan Chan
(Soundtrack Buena Vista Social Club)
All Good?
(De La Soul - Art Official Intelligence)
First of Bach's Three Pieces For Lute
(The Andres Segovia Collection Vol.1)
Original
44,1 kHz, 16bit, stereo
1412kbps
beaumont_1412kbps.wav
(8856 kB)

Note: sehr gut (Referenz)
buena_1412kbps.wav
(5487 kB)

Note: sehr gut (Referenz)
delasoul_1412kbps.wav
(7444 kB)

Note: sehr gut (Referenz)
segovia_1412kbps.wav
(5358 kB)

Note: sehr gut (Referenz)
MP2
64kbps
beaumont_64kbps.mp2
(402 kB)

Note: befriedigend
buena_64kbps.mp2
(249 kB)

Note: mangelhaft
delasoul_64kbps.mp2
(338 kB)

Note: ausreichend
segovia_64kbps.mp2
(244 kB)

Note: mangelhaft
MP3
64kbps
beaumont_64kbps.mp3
(402 kB)

Note: mangelhaft
buena_64kbps.mp3
(249 kB)

Note: mangelhaft
delasoul_64kbps.mp3
(338 kB)

Note: mangelhaft
segovia_64kbps.mp3
(244 kB)

Note: mangelhaft
AAC
64kbps
beaumont_64kbps.aac
(389 kB)

Note: nicht bewertet
buena_64kbps.aac
(245 kB)

Note: nicht bewertet
delasoul_64kbps.aac
(343 kB)

Note: nicht bewertet
segovia_64kbps.aac
(247 kB)

Note: nicht bewertet
RealAudio
voice compression
64kbps
beaumont_64kbps.rm
(425 kB)

Note: gut
-- -- --
RealAudio
G8 stereo music compression
64kbps
-- buena_64kbps.rm
(258 kB)

Note: gut
delasoul_64kbps.rm
(348 kB)

Note: gut
segovia_64kbps.rm
(258 kB)

Note: gut
Windows Media
near CD quality
96kbps (Encoder 64kbps)
beaumont_96kbps.wma
(xxx kB)

Note: sehr gut
buena_96kbps.wma
(xxx kB)

Note: gut
delasoul_96kbps.wma
(xxx kB)

Note: gut
segovia_96kbps.wma
(xxx kB)

Note: sehr gut
Windows Media
1 channel ISDN
48kbps (Encoder 64kbps)
beaumont_48kbps.wma
(xxx kB)

Note: gut
buena_48kbps.wma
(xxx kB)

Note: befriedigend
delasoul_48kbps.wma
(xxx kB)

Note: befriedigend
segovia_48kbps.wma
(xxx kB)

Note: gut
MP2
128kbps
beaumont_128kbps.mp2
(804 kB)

Note: 2
buena_128kbps.mp2
(xxx kB)

Note: 5
delasoul_128kbps.mp2
(xxx kB)

Note: 5
segovia_128kbps.mp2
(xxx kB)

Note: 3
MP3
128kbps
beaumont_128kbps.mp3
(804 kB)

Note: 4
buena_128kbps.mp3
(xxx kB)

Note: 4
delasoul_128kbps.mp3
(xxx kB)

Note: 5
segovia_128kbps.mp3
(xxx kB)

Note: 1
RealAudio
G8 stereo music compression
132kbps
beaumont_132kbps.rm
(xxx kB)

Note: 1
buena_132kbps.rm
(xxx kB)

Note: 3
delasoul_132kbps.rm
(xxx kB)

Note: 2
segovia_132kbps.rm
(xxx kB)

Note: 2
Windows Media Audio
CD transparent quality
128kbps
beaumont_128kbps.wma
(xxx kB)

Note: 1
buena_128kbps.wma
(xxx kB)

Note: 2
delasoul_128kbps.wma
(xxx kB)

Note: 3
segovia_128kbps.wma
(xxx kB)

Note: 1

Gesamtbewertung der Kompressionsverfahren bei unteschiedlichen Bitraten

Verfahren Gesamtnote
Original
44,1 kHz, 16bit, stereo
1412kbps
sehr gut (Referenz)
RealAudio
64kbps
gut
Windows Media
1 channel ISDN
48kbps (Encoder 64kbps)
gut
Windows Media
near CD quality
96kbps (Encoder 64kbps)
gut
MP2
64kbps
ausreichend
MP3
64kbps
mangelhaft
AAC
64kbps
nicht bewertet
RealAudio
132kbps
gut
Windows Media
CD transparent quality
128kbps
gut
MP2
128kbps
ausreichend
MP3
128kbps
ausreichend

Weitere Tests

Unterschiedliche MP3-Encoder

MP3 definiert ein Verfahren zur verlustbehafteten Kompression von Audio-Signalen. Die Definition läßt jedoch genug Spielraum für unterschiedliche Implementierungen. Daraus folgt, daß MP3-Encoder von verschiedenen Herstellern auch erkennbare Qualitätsunterschiede aufweisen. Es wurden zwei Encoder nebeneinander im Hörtest verglichen. Um die Unterschiede deutlich zu machen wurde eine relativ starke Kompression gewählt. Bei einer Kompressions-Datenrate von 64kbps sind bereits deutliche Artefakte zu hören.

MP3-Encoder Hörbeispiel Bemerkungen
SoundLimit V2.5, Eastern Digital bei 64kbps buena_64kbps.mp3 starkes Flirren
BladeEnc v0.82, Tord Jansson buena_64kbps_blade_01.mp3 noch stärkeres Flirren

Wiederholte Kompression

Bei wiederholter MP3-Kodierung/-Dekodierung verstärken sich die störenden Effekte der Kompression. Zur Verdeutlichung wurde wieder eine Kompressions-Datenrate von 64kbps gewählt. Als Encoder kam BladeEnc von Tord Jansson zum Einsatz. Die verstärkten Artefakte klingen übrigens anders als die Störungen, die bei geringeren Kompressions-Datenraten auftreten.

Wiederholung Hörbeispiel
1 buena_64kbps_blade_01.mp3
2 buena_64kbps_blade_02.mp3
3 buena_64kbps_blade_03.mp3
4 buena_64kbps_blade_04.mp3
5 buena_64kbps_blade_05.mp3
6 buena_64kbps_blade_06.mp3
7 buena_64kbps_blade_07.mp3
8 buena_64kbps_blade_08.mp3
9 buena_64kbps_blade_09.mp3
10 buena_64kbps_blade_10.mp3
11 buena_64kbps_blade_11.mp3
12 buena_64kbps_blade_12.mp3


Letzte Änderung: 2001-07-18
webmaster@marc-janott.de