Doppelblindtest - der Fehler im System!!!

[Kobe 0]

Falls es hier interessierte Mitleser gibt, die sich etwas mehr Mühe mit Statistik geben:

 

Ich habe den Artikel mal kurz überflogen, und kann zumindest sagen, dass die Tabelle 1 auf der 2. Seite der Diskussion (Orchinol von Leventhal; http://www.stereophile.com/features/141/index2.html) exakt einer Binomialverteilung entspricht, also exakt dem gleichen Verfahren, das ich als Beispiel genommen habe(und für einen Test vorgeschlagen hätte). (Höre ich Applaus?) Die Werte für den Fehler 1. Art sind auch mit der Funktion BINOMVERT in Excel leicht nachvollziehbar. (Man muß nur das Argument 'Zahl der Erfolge' in der Formel auf (N-r), und das Argument 'Kumuliert' auf 'Wahr' setzen. Die Wahrscheinlichkeit ist 0,5.)

 

Desweiteren hatte ich mal die Zeit, ein wenig über diesen Test nachzulesen.

Büning/Trenkler (die bereits erwähnte Quelle) geben an, der Test sei konsistent.

Nochmal zur Erinnerung: Ein Folge von Tests heißt konsistent, wenn deren Güte mit zunehmendem Stichprobenumfang gegen 1 konvergiert.

Wenn die Güte eines Tests nahe bei 1 liegt, ist die Wahrscheinlichkeit, sich zugunsten von H_1 zu entscheiden, wenn H_1 wahr ist, groß. Das bedeutet nichts anderes, als das der Fehler 2. Art kleiner wird (und asymptotisch gegen 0 geht).

Dies kann man aber schon in der Tabelle in der Stereophile erkennen.

 

Was das jetzt für die Diskussion in der Stereophile bedeutet, darf sich jeder selbst denken.

 

Gruß Kobe

[JimSommer 0]

Situation:

 

Lassen sich Unterschiede von CD-Laufwerken (CD-LW) eindeutig hören,

wenn beide CD-LW an ein und den selben D/A-Wandler angeschlossen sind?

 

JimSommer sagt ja, Rob sagt nein und kann oder will nicht es nicht ausdiskutieren,

sondern lieber auswetten.

 

 

Zur Wette:

 

Einen A/B/X/-Doppelblind-Test lehne ich grundsätzlich ab, da er ausschließlich

darauf ausgelegt NICHTS zu hören! Der Doppelblind-Test erzeugt über gezielte

Verunsicherung eine gesteigerte Konzentrationsbelastung.

Das führt unnötig zu Stress und kann sogar ein sehr starker Stressfaktor werden.

Die Herzfrequenz und der Blutdruck können sich signifikant erhöhen!

Eine mögliche psychologisch und ggf. auch biologisch Beeinträchtigung

eindeutig nicht auszuschliessen!

 

Der Mensch, ist halt nicht perfekt u. ein sehr sensibles biologisches Messgerät.

 

In diesem Sinne, müssen wir beim Test für den Menschen immer die

optimalen Bedingungen schaffen, damit der Einfluss auf die Testergebnisse

möglichst unbelastet von der Unvollkommenheit des Menschen ist, d.h. ein

Doppelblind-Test (DBT) ist nie wissenschaftlich sinnvoll, da das Messgerät

Mensch nicht optimal und ungestört arbeiten kann.

 

Da sich die Menschen in ihren Möglichkeiten u. Fähigkeiten stark unterscheiden

ist eine DBT Diskussion absolut sinnlos. Wenn der Testhörer den DBT als Stressfaktor

sieht, dann ist das halt so und kann nicht wegdiskutiert werden, zumal es auch

keine Sinn machen würde, da es andere und bessere Testmethoden gibt.

 

 

Meine logische und statistisch saubere Testmethodik sieht wie flogt aus:

 

1. Es wird 8 x A/B Vergleichsdurchgänge geben.

2. Der nette Rob darf vor jedem Testdurchgang bestimmen mit welchem Gerät begonnen wird.

3. Bei jedem Umschalten wird das Musikstück neu gestartet, d.h. immer die gleiche Passage.

4. Ich bestimme wann umgeschaltet wird.

(max. 1 Min. bei max. 20 Schaltungen / max. 2 Min. bei max 10 Schaltungen)

5. Nach jedem Testdurchgang bestimme ich die Gerätezuordnung.

6. Bei 7 von 8 Richtigen hab ich gewonnen, bei nur 5 von 8 verloren, bei 6 Richtigen müssen 2 weitere

Testdurchgänge gemacht werden. Die Wette ist nur mit 8 von 10 bestandenmit, bei 7 von 10

können wir uns auf ein unentschieden einigen oder es werden 4 weitere Testdurchgänge gemacht.

Tippe ich 2 richtig bleibt es beim Unentschieden, tippe ich dann 3 richtig (d.h. 10 von 14) hab ich noch

knapp eindeutig gewonnen, ansonsten hat halt Rob gewonnen.

7. Ich bestimme die Musik, die Testgeräte (CD-LW), die Testanlage und die Location.

 

 

Wenn Rob also seine Wette will, ist hier mein absolut fairer Vorschlag.

 

Gruß JimSommer

[Jakob 0]

Applaus hättest Du verdient, wärest Du nicht ungefähr zwei Jahre zu spät dran.

 

Daß bei Bernoulli-Versuchen die Bernoulli-Verteilung eine Rolle spielt, ist keine ganz neue Erkenntnis, aber trotzdem Glückwunsch zu Deinem Vorschlag.

 

Bitte überflieg die Stereophile-Texte nicht nur, sie sind sehr aufschlußreich, obwohl natürlich der JAES-Artikel noch mehr zu bieten hat.

 

Das Tests mit methodischen Mängeln trotzdem zu reellen Resultaten führen, so man sie nur häufig wiederholt, erscheint überaus zweifelhaft.

 

Grüsse

[Jakob 0]

""Welche Art von Ungenauigkeiten können wir mit dem Fehler 1.Art abfangen?""

 

"Fehler 1. Art: Entscheidung, die Alternativhypothese

anzunehmen, obwohl die Nullhypothese zutritt. Tritt mit der

Wahrscheinlichkeit Alpha ein. In der Regel wird Alpha vor dem

Testbeginn so gewählt, dass es eine bestimmte Schranke (10%,

5%, 1%) nicht überschreitet."

 

Nett.

Ich kopiere Dir nochmals den Teil Deines Beitrages, der mich zu der obigen Frage verleitete:

 

">Leventhal wählte aufgrund dieser Problematik den

>nachvollziehbaren Ansatz von verschiedenen

>Erkennungsprozentsätzen auszugehen, und darauf basierend die

>Auswirkungen auf die Wahrscheinlichkeit von Fehlern 2.Art zu

>berechnen.

Das ist sicherlich schön zu berechnen, aber wie bereits erwähnt für uns absolut uninteressant, da wir von 1 bzw. 0,5 auszugehen haben.

Es gibt hier (abgesehen von Ungenauigkeiten beim Test, die wir aber mit dem Fehler der 1. Art abfangen) keinen Grund, anzunehmen, dass es eine anderer Wahrscheinlichkeit gibt. 0,5 oder 1, Ungenauigkeiten beim Test werden berücksichtigt, basta."

 

Das, was Du dazu schreibst, ist bemerkenswert unsinnig, wie Dir inzwischen aufgefallen sein könnte, oder spätestens auffallen wird, wenn Du Leventhals Beiträge nicht nur überfliegst.

 

Anstatt die Gelegenheit zum Überdenken und Klarstellen zu nutzen, erscheint es Dir sinnvoller, Deinen Diskussionspartner in Mißkredit zu bringen. Erstaunlich.

 

Grüsse

 

 

 

[funkygroove 0]

Gruezi...!;-)

 

Lest mal im Lautsprecher-Selbstbau-Forum unter "Erfahrungsbericht zu Kombi. von ER4" den Post 42 ff. ...

 

und tschüss, Tom

[andreasw 1]

Hallo Amin

 

Du hast Recht, Kauf-CDs und Gebrannte unterscheiden sich natürlich physikalisch. Ob und wie weit diese Unterschiede hörbar sind oder nicht, ist aber letztlich ein anderes Thema. Auch diese Diskussion wird schon lang geführt....meiner Meinung nach gibts keine Unterschiede, aber das ist jetzt an dieser Stelle garnicht wichtig.

 

Es ging darum, ob eine CDR genauso "gut" oder noch "besser" sein kann, als die originale CD. Das kann sie.

Das "Gut" oder "Besser" bezieht sich aber wiederum nur auf die Auslesefehler, solange diese voll korrigierbar sind (C1-Fehler).

Nicht mehr und nicht weniger wurde behauptet.

 

 

 

gruß

Andi

 

 

[Kobe 0]

Noch ein Zitat aus Büning/Trenkler:

 

"Diskussion: Wie haben in diesem Abschnitt den Binomialtest als einen Test auf eine hypotetische Wahrscheinlichkeit p kennengelernt. Wie bereits erwähnt, werden auch bei zahlreichen anderen Testproblemem Statistiken ausgewählt, die binomialverteilt sind. Solche Prozeduren gehören zu den wohl gebräuchlichsten und am einfachsten anzuwendenden Verfahren innerhalb der Testtheorie.

Ein umfangreiches Tabellenwerk zur Binomialverteilung liegt vor; die Angabe von p-Werten und exakte Güteberechnungen sind unmittelbar möglich."

 

Ein Glück habe ich hier ein Standardwerk zur Testtheorie gewählt, und dann auch noch einen leichten und oft benutzen und aus diesem Grund ausgiebig diskutierten Test gewählt, was wäre es wohl für ein Aufschrei gewesen, hätte ich ein Testverfahren gewählt, welches einen tieferen Einblick in die Wahrscheinlichkeitstheorie erfordert hätte oder etwas exotischer gewesen wäre.

Sollte ich irgendwann mal einen Dozenten, der mir Statistik beigebracht hat, treffen, werde ich den Vorschlag machen,die Vorlesung auf die Lektüre von Hifi-Heftchen umzustellen. Allem Anschein nach ist die Diskussion über die 'Macht' des Tests und dieser ganze theoretische Kram nur ein Versuch, Leute durch die Klausur rasseln zu lassen.

 

Das war polemisch.

 

Gruß Kobe

[Jakob 0]

Ein Standardwerk zu zitieren, ist eine feine Sache, aber mit Verstand und Verständnis sinnvolle Tests zu entwickeln, erfordert mehr.

 

Polemisch? Eigentlich nicht.

 

Grüsse

 

 

BTW, falls es Dich beruhigen sollte, Dr.Les Leventhal ist Professor, und hat den Vorteil, in genau dem Fachbereich zu arbeiten, welcher üblicherweise mit der Ausarbeitung von Tests zur Wahrnehmungsforschung beschäftigt ist.

[Robeuten 0]

Hi,

 

kannst Du bitte Deine email noch einmal schicken? Wir hatten hier einen Servercrash...

 

[Robeuten 0]

Hi,

 

hat sich erledigt ;-)...

[Kobe 0]

Gude!

 

Hast du eine Antwort gesendet? Bei mir kam noch nix an.

 

Gruß Kobe

 

[Amin 0]

Hi Andi,

 

>>>Es ging darum, ob eine CDR genauso "gut" oder noch "besser" sein kann, als die originale CD. Das kann sie.

Das "Gut" oder "Besser" bezieht sich aber wiederum nur auf die Auslesefehler, solange diese voll korrigierbar sind (C1-Fehler).

Nicht mehr und nicht weniger wurde behauptet.<<<

 

Das "Gut" oder "Besser" sieht der High Ender aber immer aus der Sicht des Klangs und sieht nicht den Faktor "Auslesefehler" als alleinigen Grund für klangliche Änderungen. Was einmal nicht ausgelesen wurde kann bei der nächsten Generation nicht wieder dazu kommen, das wissen wir alle. Das ist es aber NICHT was den Klang hörbar beeinflusst - zumindest ist das meine Meinung.

Der stärkste klangliche Faktor zwischen CD und CDR ist und bleibt für mich die Beschaffenheit der Oberflächen und der Pit-Struktur. Dazu kommen noch weitere Faktoren über die der "normale" Techniker meistens lacht, wie Jitterreduzierung- oder Entstehung durch weitere Parameter die noch immer nicht alle erforscht sein dürften.

 

Ich habe mich auch schon mit einigen High End Kollegen über Unterschiede im Klang unterhalten. Einige waren davon fest überzeugt, daß unter bestimmten Voraussetzungen eine CDR besser klingen würde als das Original. Ich persönlich habe das nie 100%ig nachvollziehen können. Für mich war es immer eine Geschmacksfrage, ob eine CDR oder das Original nun besser sei. Eine CDR die klanglich besser als das Original sein sollte hat mir bisher keiner zeigen können. In der Tat kaschierten einige Aufnahmen auf CDR kleine Fehler in meist nicht optimalen Anlagen. Hier hatten einige das Gefühl, die CDR wäre jetzt klanglich besser.

Es ist und bleibt aber immer ein Thema mit reichlich Zündstoff.

 

 

Grüße, Amin

[andreasw 1]

Hallo Amin

 

" Was einmal nicht ausgelesen wurde kann bei der nächsten Generation nicht wieder dazu kommen, das wissen wir alle."

 

Ach Amin, bitte nicht schonwieder.....das ist eben bis zu C1 Fehlern falsch. Wie soll ich es denn noch anders sagen?

Sollte die ganze Schreiberei wirklich umsonst gewesen sein?

So hartnäckig kann man doch nicht sein.

 

Ich dachte, die Diskussion würde langsam etwas fruchbarer werden, aber solche Sätze wie dein obiger sind echt herbe Rückschläge.... Hier gehts nicht um subjektive Klangeindrücke sondern meßbare, technische Tatsachen. Warum ignorierst Du permanent die Realität?

Mal ganz im Ernst, ohne Polemik: hast Du das mit der vollständigen Datenrekonstruktion wirklich nicht verstanden?

 

gruß

Andi

[Trancemeister 2]

Hi Andi

 

Langsam dämmert Dir schmerzhaft was, oder?

Eine Zeit lang dachte ich auch einige tun nur so....(ebenfalls ganz ohne Polemik!)

 

Musikalischer Gruss

Michael

[Jakob 0]

Hi Andi,

 

es besteht doch kein Grund für neuerliche Mißstimmung; warum immer gleich vom Schlimmsten ausgehen?

 

So wie Amin es formuliert hat, kann es durchaus richtig sein, wenn man "Auslesen" bis zum endgültigen "Datenübergabepunkt" definiert; was hier nicht ankommt, wird auf der nächsten Generation auch nicht enthalten sein.

 

Bezieht man "Auslesen" nur auf die analoge Laserabtastung der CD, wäre es falsch.

 

Den Rest seines Beitrages berührt dies aber doch nicht.

 

Grüsse

[andreasw 1]

Hallo

 

"Das "Gut" oder "Besser" bezieht sich aber wiederum nur auf die Auslesefehler, solange diese voll korrigierbar sind (C1-Fehler)."

 

Ist das wirklich so mißverständlich?

 

gruß

Andi

[Jakob 0]

Amin hatte ja zu dem "besser oder schlechter" seine Sichtweise beschrieben.

Ich bezog mich auf diesen Satz:

 

"" Was einmal nicht ausgelesen wurde kann bei der nächsten Generation nicht wieder dazu kommen, das wissen wir alle."

 

Ach Amin, bitte nicht schonwieder.....das ist eben bis zu C1 Fehlern falsch. Wie soll ich es denn noch anders sagen?"

 

Und hatte das Gefühl, es sei nicht eindeutig, daß hier Amin etwas falsch verstanden hat. Das war alles.

 

Grüsse

 

[andreasw 1]

Das ist die Frage, hat er es nur falsch verstanden, oder nicht verstanden.

Würde gern Amins Aussage dazu hören.....

 

gruß

Andi

[JimSommer 0]

>Das ist die Frage, hat er es nur falsch verstanden, oder

>nicht verstanden.

>Würde gern Amins Aussage dazu hören.....

 

Hi Andi,

 

willst Du den verbissen Rechthaber raushängen lassen oder sachlich

nett diskutieren? Armin hat doch noch mehr geschrieben ...

 

>Ich habe mich auch schon mit einigen High End Kollegen über

>Unterschiede im Klang unterhalten. Einige waren davon fest

>überzeugt, daß unter bestimmten Voraussetzungen eine CDR

>besser klingen würde als das Original. Ich persönlich habe das

>nie 100%ig nachvollziehen können. Für mich war es immer eine

>Geschmacksfrage, ob eine CDR oder das Original nun besser sei.

>Eine CDR die klanglich besser als das Original sein sollte hat

>mir bisher keiner zeigen können. In der Tat kaschierten einige

>Aufnahmen auf CDR kleine Fehler in meist nicht optimalen

>Anlagen. Hier hatten einige das Gefühl, die CDR wäre jetzt

>klanglich besser ...

 

Warum wird das von Dir kommentarlos ignoriert und Du

hackst nur auf angeblichen Fehlern rum? Echt schade!

 

Meine Erfahrungen decken sich mit Armins und die Geschmacksfrage

stellt sich in der Regel bei Klassik Aufnahmen viel weniger, weil

Feindynamik dort ggf. deutlicher mit der Kopie verloren geht.

 

Und ... also mir ist es pups egal welche technischen Fehler schuld

daran sind, solange sie hörbar sind.

 

Interessanter ist doch die Frage, wo kommen sie her und wie lassen

sie sich deutlich minimierten und warum ggf. nie ganz ausschalten? :*

 

Gruss JimSommer

[JimSommer 0]

>Hallo

>

>>Ich behaupte ganz frech..

>Ja?

>

>Ohne auf die einzelnen Punkte speziel einzugehen, liegt das

>Problem bei Dir, wie sicherlich einer großen Menge anderer

>HighEnder darin, daß Du den technischen Sinn und die

>Arbeitsweise einer >Fehlerkorrektur< nicht ganz erkannt hast.

>Es geht nicht um Interpolation, also einem "Ratespiel", was in

>einer Lücke gewesen sein könnte und dessen möglichst

>realitätsnahen Ersatz, sondern um originalgetreue

>Rekonstruktion von Daten aufgrund ihrer Redundanz.

>

>Solange da Wissenslücken bestehen, denke ich mir, brauchen wir

>nicht weiterdiskutieren. Wir tun uns da beide einen Gefallen.

 

 

Hi Andi,

 

Ich habe meine freche Behauptung aber auch konkretisiert ... ist Dir ggf. völlig entgangen ...

oder war es nur Mittel zum Zweck, die Aussage aus dem Zusammenhang zu reissen und

polemisch abzufeiern?

 

Tolle Leistung - was soll das?

 

Währe die originalgetreue Rekonstruktion von Audiodaten aufgrund ihrer

Redundanz immer möglich, würden wir keine Unterschiede hören und sicher

nicht über das Thema streiten! :*

 

Gruß JimSommer

[JimSommer 0]

>Hi JimSommer,

>

>tatsächlich sind alle Varianten denkbar; Kopien können besser

>oder schlechter sein, Laufwerke können aus einer Audio-CD

>identische Daten auslesen oder oder auch nicht, es hängt von

>vielen Faktoren ab.

>

>Genau deswegen muß man vorsichtig sein mit pauschalen Aussagen

>zur Hörbarkeit, denn es kann von Mal zu Mal unterschiedliche

>sein.

 

 

Hi Jakob,

 

wir sind uns also auch einig ...

 

Darf ich wie folgt meine Aussage relativieren?

 

Ich glaube auch es ist kaum möglich eine Top Kopie zu erstellen, die objektiv

besser als das original ist, wenn Original und Kopie in einem High-End CDP

Laufwerk verglichen werden.

 

Gruß JimSommer

 

PS: Da sind wir ja schon wieder beim der Bewertung von CD-LW gelandet.

Ich erinnere noch mal Robeuten an SEINE Wette!

[Kobe 0]

Gude!

 

Ja, das mit der Redundanz und den Daten... Was soll ich sagen, letzens habe ich einen Text über was BWL auf 'ne CD gebrannt, und als ich's gelesen habe, war's ein Kochrezept...

[Trancemeister 2]

Moin Kobe!

 

Würden sich auf 'ne CD gebrannte BWL-Daten aufgrund ihrer Redundanz nicht immer in Kochrezepte

verwandeln, dann gäbe es keine Unterschiede und ihr bräuchtet nicht über das Thema streiten!

Aber natürlich zerfallen letztlich alle CD-R Daten in Kochrezepte, darum sind Kopien so selten!

 

Oder vorsichtiger ausgedrückt:

Ich will ja gar nicht sagen es ist nicht unmöglich das es keine Unterschiede gibt.

Aber keiner weiss es besser und somit bleibts ein ewiges Wunder (blabla)!

 

Musikalischer Gruss

Michael

[Kobe 0]

>Oder vorsichtiger ausgedrückt:

>Ich will ja gar nicht sagen es ist nicht unmöglich das es

>keine Unterschiede gibt.

>Aber keiner weiss es besser und somit bleibts ein ewiges

>Wunder (blabla)!

 

Hä? Ich glaube, du erreichst momentan locker das Niveau anderer Teilnehmer. Darf ich auch mal? Wenn es keine Unterschiede gibt, die man locker in einem nichtblinden Hörtest unterscheiden könnte, wenn nur deine Fähigkeiten zur Erkennung der Unterschiede durch einen Test nicht grundlegend durch Stress gestört sein könnten, würde man es nicht vermuten können.

 

 

 

[Werner 1]

>Hi Andi!

>

>1. Wer würde Rob trauen, er könnte doch versuchen 20 Kopien

>als 20 Generationen zu verkaufen.

 

Och, ich würde das noch anders machen...

Ich schick Dir eine CD, auf der 20x die gleiche 1. Kopie drauf ist.

 

Allerdings mit der scheinbaren Maßgabe, das es sich um 1., 10. und 25. Generation handelt, die es rauszufinden gilt.

 

Falls Du dann Unterschiede "erhörst" und die gar noch begründest, hätte es einen schönen Beweis für Autosuggestion.