Resümee: Blindtest-Problematik

[gh 0]

Hi.

 

Wenn ich das einigermaßen richtig zusammenfasse, führt die weiter unten geführte (interessante) "Blindtest-Problematik" zu (etwa) folgendem Ergebnis:

 

A) Es kann sein, daß vorhandene Unterschiede NICHT gehört werden. Mögliche Gründe:

 

a) man achtet nicht gezielt auf bestimmte Feinheiten (die aber den Unterschied ausmachen)

man ist mit der Anlage (und ihren klanglichen Eigenheiten) nicht gut genug vertraut

c) man kennt die Musikstücke nicht so genau, oder ist sonstwie unkonzentriert, abgelenkt, oder ähnliches

d) man ist fest davon überzeugt, daß (aus theoretischen Gründen) gar kein Unterschied da sein kann

 

Das wären, sozusagen, mögliche "Fehler erster Art". Der Fall d) kann natürlich nur auftreten, wenn man weiß, worum es in dem Test geht, bzw. durch was die evtl. vorhandenen Unterschiede zustanden kommen sollen.

 

Aber man sieht schon, wenn KEINE Unterschiede gehört werden, kann das mancherlei Ursachen haben! Bei eher feinen/kleinen Unterschieden stehen die Chancen daher wohl nicht schlecht, daß der Blindtest hier zu einem nicht-korrekten Ergebnis kommt.

 

Kann es nun ebenfalls sein, daß NICHT vorhandene Unterschiede "gehört" werden? Auch das kann natürlich, auch bei einem Blindtest, passieren. Die Funktionsweise/Gedächtnisschärfe unseres akustischen Gehirns ist halt nicht so genau und zuverlässig, um immer verläßliche und reproduzierbare Ergebnisse zu garantieren. Wir MEINEN dann schon mal, gewisse Unterschiede gehört zu haben, täuschen uns aber darin.

 

Aber dies passiert nicht verläßlich und systematisch. In einer statistischen Versuchsreihe aus genügend vielen Einzeltests wird dieser (mögliche) Fehler eliminiert. Der "Fehler zweiter Art" kann also bei einem Blindtest nicht auftreten: NICHT vorhandene Unterschiede können reproduzierbar NICHT gehört werden.

 

Resümee also:

 

Ein Blindtest mit "positivem" Ausgang ist offenbar hinreichend, um etwaige oder vermutete Unterschiede definitiv nachzuweisen.

Ein Blindtest mit "negativem" Ausgang ist problematischer, da kommt es sehr auf die näheren Umstände an. Man kann evtl. nicht ausschließen, daß eine Wiederholung mit geänderten/verbesserten Randbedingungen zu einem anderen Ergebnis führen würde.

 

Gruß, gh

 

PS: Man kann es auch anders formulieren: Wenn auf jeden Fall ein "positiver" Ausgang erwünscht ist, dann ist ein Blindtest ungeeignet.

 

[Engert 0]

Auch Hi,

 

bei den oben genannten Punkte a) - d) kann ich nur zustimmen.

 

Die eigentliche Probelamtik ist aber, dass die

 

Fraktion A unbedingt einen Unterschied hören möchte

 

und die

 

Fraktion B auf keinen Fall einen Unterschied hören will.

 

Wie man sich auch dreht, da es sich um subjektive Eindrücke handelt (es sei denn mit Geräten ist etwas meßbar) wird man nicht zu einer gemeinsamen Meinung kommen können.

 

Es lebe die Diskussion

 

JE was here !

 

 

[Trancemeister 2]

Hallo JE

 

Deine Aussage -zu Fraktion B- halte ich für absolut unhaltbar!

 

Fraktion B neigt nach meiner Erfahrung deutlich mehr zu

wirklich brauchbaren Hörtests.

Hier hört man selten:

"Dann habe ich umgebaut und Riesenunterschiede gehört!"

Fraktion B neigt auch nicht dazu völlig unmögliche Klangbeschreibungen abzugeben.

 

Mach zB mechanisch mit einer CD wasimmmer Du willst:

Eine Höhen- oder Bassanhebung (Beispiel) ist definitiv nicht möglich.

Die Digitaltechnik macht das nicht her...somit gibt es keine Diskussionsgrundlage.

Eher könnte es natürlich Erklärungsansätze geben, die aber unter Tränenfluten von Fraktion A

abgestritten werden - natürlich unter Vernächlässigung jeder Art von sachlichen Argumenten!

Naja - ein Argument kommt natürlich doch: "Aber ich kann´s doch ganz dolle hören!"

 

 

    Musikalischer Gruß

 

          Michael

 

         http://www.centric-project.de/audiomap/Ball.jpg

 

[Engert 0]

Hallo Michael,

 

vorab erstmal meine Aussage, dass ich an dieser Stelle keine Partei ergreifen möchte/wollte/will.

 

Nun zu Deiner Antwort:

>....

>Fraktion B neigt auch nicht dazu

>völlig unmögliche Klangbeschreibungen abzugeben.

>....

 

Ich denke hier ist ein kleiner psychologischer Haken, denn

wenn Du bei einem Hörtest/Blindtest (auch meiner Meinung nach die beste Methode, innerhalb eines genau definierten Testumfeldes) nun der Musik lauschst, dann hast Du folgende Möglichkeiten

a) ich höre einen Unterschied

ich höre keinen Unterschied

c) ich höre einen Unterschied, dass kann aber garnicht sein, also ist da kein Unterschied

d) ich höre keinen Unterschied, habe aber doch etwas geändert, also muß da ein Unterschied sein

e) evtl./vielleicht/womöglich höre ich einen Unterschied, aber...

 

Denke ich so falsch ???

 

 

Der zweite Haken ist

>....

>Naja - ein Argument kommt natürlich doch: "Aber ich kann´s doch ganz dolle hören!"

>....

 

Wenn der Probant dies in einem klar/sauber definiertem Test diese Meinung äußert, kann man meiner Meinung nach nicht sagen z.B´. Du spinnst etc.

Wo auch immer die Begründung liegt, er hört es doch, oder ???

 

living for discussion

 

JE was here !

 

 

[Trancemeister 2]

Hallo JE

 

Nungut - ich sehe die Sache nicht Wertungsfrei und bin in Fraktion B.

 

Bei einem wirklich brauchbaren Test wird am Ende ein Ergebnis sein.

 

Das sind bei Dir die Punkte A&B (ich höre einen Unterschied&ich höre keinen Unterschied).

 

Punkt C betrachte ich als absolut unmöglich*, denn hier wurde dann eine Aussage

getroffen, die dem Hörtest wiedersprach, wodurch dieser natürlich entfallen könnte.

 

Punkt D: Halte ich bei "unhörbaren" Sachen (Höhenanhebung nach CD Anfasung) für die Regel.

Hier fallen viele in eine Psychofalle, die durch brauchbare Vergleichstests natürlich

leicht verifizierbar wäre....genau dieses (brauchbare!) überprüfen ist völlig unüblich!

Letztlich müßte das aber eigentlich nachweislich somit in Punkt A&B enden.

Diesen Punkt hatten wir zB beim Zauberbrettchen-Test, zu dem es ja leider nicht kam.

Es wurde aber klar signalisiert, daß der Teilnehmer nun eh so einen Test nicht wieder

zustimmen wolle, und stattdessen lieber "zum denken anregen" oder "drüber klönen" wolle.

Mir persönlich sagt sowas übrigens alles (Punkt

 

Punkt E hingegen erfüllt die Grundforderung "brauchbarer Test" nicht.

Hier wäre dann ein Nachtest angesagt um zu A&B zu kommen.

Dieser Punkt ist aber nach Nachfrage (Beweise bitte!) oftmals Deckungsgleich mit D.

 

Ich könnte mir vorstellen, daß man dem klar folgen kann.

 

"Wenn der Probant dies in einem klar/sauber definiertem Test diese Meinung äußert"

Nun...wenn er es in einem brauchbaren Test äussert, dann gibt es keinen Grund ihn

irgendwie zu beleidigen....den gibt es generell meines Erachtens kaum.

Andererseits hat der Test aber ein Ergebnis, womit kein Platz mehr für "Meinung" ist!

Wohl niemand wird etwas bewiesenermassen nicht hören, aber auf seine Meinung beharren wollen *hihi*.

Genau das ist aber der Grund warum solche Tests so ungern gemacht werden ;-)

 

"Wo auch immer die Begründung liegt, er hört es doch, oder ???"

Dann wäre es keine Meinung!

Er hätte den Beweis damit angetreten und somit wäre es (für ihn) hörbar.

Sagte ich aber schon, daß sowas bei bestimmten Tests, wie zB

CDs einfrieren, entmagnetisieren, anfasen, anmalen, SPDIF-Kabel, Zauberbrettchen usw.

üblicherweise nie vorkommt? Sowas muß doch aufrütteln, meine ich

Wollen wir ehrlich sein: Was gibt es denn einfacheres, als seine Aussage zu beweisen?

Bei einem Punkt hatten wir die Gelegenheit...sie wurde vertan.

Wo wir schon ehrlich sind: Glaubst Du mich wundert das?

Nicht nur mir war vorher schon klar, daß der Brettchentest nicht kommen wird.

Und ich kann Dir versichern, daß ich noch einer der letzten war, der davon ausging

 

 

    Musikalischer Gruß

 

          Michael

 

         http://www.centric-project.de/audiomap/Ball.jpg

 

* Völlig verstörte Hobby-Lügner mal aus der Bewertung genommen!

 

[holli 0]

Hallo Günther,

 

deinem Resümee möchte ich noch folgendes hinzufügen: ob ein positiver Test hinreichend ist, entscheidet die Statistik. Darauf muß man mit Nachdruck hinweisen, denn die Anforderungen an statistische Signifikanz müssen VORHER klar definiert werden.

 

Und statistisch signifikant ist ganz sicher nicht, dass von drei Hanseln zwei einen Unterschied hören. Hier sind schon Trefferquoten von 90% und mehr von Nöten....

 

Gruß, Holli.

 

[holli 0]

Hi Michael,

 

obwohl ich dir im großen und ganzen zustimme, möchte ich ich noch mal auf was hinweisen, was ich früher schon sagte:

 

Ein Blindtest beweist weder, das ein Unterschied nicht existiert noch das ein Unterschied existiert. Noch nicht mal dann, wenn er ein "Ergebnis" hat.

 

Das Einzige, was der BT beweist, ist dass ein konkreter Hörer in einer konkreten Situation einen etwas hört oder nicht hört. Und daraus kann man nur eine Schlußfolgerung für den konkreten Hörer ableiten, nicht aber für die Allgemeinheit.

 

Und die statistischen Anforderungen, die gestellt werden müssen, um mit einer "gewissen Wahrscheinlichkeit" ein "halbwegs allgemingültige" Aussage zu erreichen, sind enorm. Ich würde mir sowas mit weniger als 100 Teilnehmern und 10 unabhängigen Testreihen nicht trauen. Und das wäre dann nicht bloß ein Forums-"Treffen", das wäre schon ein Forums-Festival ;-)

 

Gruß. Holli.

 

[andreasw 1]

Hallo JE

 

zu c:

Natürlich wird ein "Techniker" keinen Unterschied hören, wenn es um zB Clarifier geht. Auch nicht im BT. Wie auch? Er weiß ja definitiv, daß es keinen Unterschied geben kann.

In so einer Testsituation ist ja eher die Esoterikfraktion im Beweiszwang, und nicht umgekehrt! Also muß auch ein Entmagetisierfreak als Testhörer herhalten und per Blindtest, also ohne Eigensuggestion, nachweisen, daß real ein Unterschied existiert, noch dazu ein "riesengroßer". Sowas gabs bisher bloß noch nicht. Komisch.

zu d: Der Testhörer weiß im BT eben nicht, ob gerade etwas verändert ist oder nicht. Das macht ja den BT aus ;-)

 

Zum zweiten Haken:

"Ich kanns doch hören" wäre im BT ja eine eindeutige Aussage, und bei Reproduzierbarkeit absolut korrekt!

"Ich kanns doch hören" ist beim klassischen HighEnder-Test mit Esoteriktuning vollkommen wertlos.

Da ist schon ein kleiner Unterschied...-)

 

gruß

Andi

 

 

 

[Trancemeister 2]

Huhu Holli

 

Es freut mich, daß Dir mein kleiner Beitrag gefallen hat.

Mit Deinem Hinweis rennst Du bei mir offene Türen ein...denn wie schrieb ich selbst?

"...und somit wäre es (für ihn) hörbar"

 

Im Umkehrschluß bedeutet das, daß die Leute, die bei einem 128KBit MP3-Tests

keinen Unterschied hören sich nicht irren..sie hören ihn wirklich nicht!*

Trotzdem ist er natürlich hörbar, was die beweisen können, die es hören

(Dieser Vorgang nennt sich "DrumIt-Test" *hihi*)

Für so einen Test muß man aber mE. nicht hunderte von Probanden einladen.

Zumindest für einen konkreten Track, bei DIESEM Encoder (usw.) würde mE. auch eine Person

auf der Welt langen, die zB von 1000 willkürlichen Umschaltungen 1000 mal richtig liegt.

Das wäre zwar nicht reif für eine Doktorarbeit....aber würde mir absolut reichen

Es wäre zumindest der Beweis erbracht, daß JEMAND überprüfbar den Unterschied hört.

Ob der nun persönlich ein Evolutions-Wunder ist, wäre mir für die Aussage egal.

 

Auch ein einziger "Zauberbrettchenraushörer" würde mir beweisen, daß konkret

bei dieser Kombination/Testumgebung ein Unterschied für JEMANDEN nachweislich hörbar ist.

Allerdings erwarte ich (bei dieser konkreten SPDIF-Sache) niemals so ein Ergebnis

 

Ich hoffe genug "JEMANDs" und "mEs" eingebracht zu haben um durchzukommen *hihi*.

 

 

 

    Musikalischer Gruß

 

          Michael

 

         http://www.centric-project.de/audiomap/Ball.jpg

 

* Hobby-Lügner wieder nicht bewertet!

 

[holli 0]

 

 

[sveswi 0]

Hi!

 

Also das mit Fraktion A oder B möchte ich doch etwas relativieren.

 

Sicherlich gibt es diese Fraktionen,und wahrscheinlich hat jeder eine gewisse Erwartungshaltung.

 

Wenn ich BTs gemacht habe,hatte ich meistens eine gewisse "Neugiershaltung":höre ich was oder nicht?

 

Von "ich will nix hören" kann bei mir die Rede nicht sein,wie das bei anderen ist,weiß ich allerdings nicht.

 

Z.B. ziehe ich keine MP3,weil sie mir zu oft zu schlecht klingen.

Ob anderen die Qualität gefällt,ist für mich persönlich irrelevant.Ich höre lieber CD:-)

 

Mfg,Sven

 

 

[gh 0]

Hi Holli,

 

>> Und statistisch signifikant ist ganz sicher nicht, dass von drei Hanseln zwei einen Unterschied hören. Hier sind schon Trefferquoten von 90% und mehr von Nöten.... <<

 

Klar, eine statistische Sicherheit von z.B. 95% wäre wohl angemessen. Allerdings, daß von 3 Hanseln alle 3 einen Unterschied hören, darf man nicht verlangen.

 

Rein theoretisch: Falls auch nur ein einziger Mensch auf der ganzen Welt (oder sogar im gesamten Universum) mit hinreichender Sicherheit (sagen wir 99.999%, denn 100% sind ja in endlicher Zeit nicht möglich) es hört, dann ist der Nachweis eines Unterschiedes damit praktisch erbracht (auch wenn das ausgerechnet bei angefasten CDs passieren sollte).

 

Für den Nachweis der Existenz eines Phänomens reicht es nämlich, wenn EIN "Meßinstrument" ausschlägt (es wird das empfindlichste sein). "Allgemeine Hörbarkeit" und "Existenznachweis" sind entsprechend zwei Paar Stiefel, aber das ist ja logisch.

 

Gruß, gh

 

 

[Engert 0]

Hi Leute,

 

ich wollte dieses Thema mal wieder nach oben bringen, denn ich finde hier gibt es noch etwas mehr zu diskutieren.

 

Hier dann auch mal ein neuer Ansatz meinerseits.

 

Vielleicht ist die Definition des Blindtests ein Ansatzpunkt !

 

Wenn ich einen Blindtest mache mit der Variation A = Veränderung xy (z.B. Brettchen) oder Variation B = keine Veränderung (z.B. kein Brettchen), dann kann man selbst durch raten/tippen eine gewisse Trefferquote erreichen.

Daraus folgere ich, wenn ich verschiedene Änderungen durchführe; sinngemäß Variation A bis Z, kann ich die Rater/Tipper aus meiner Statistik 'verkleinern'.

Der Knackpunkt ist natürlich, dass verschiedene Änderungen auch verschiedenartige Veränderungen hervorrufen müssen.

 

2. kann man bei einer Vielzahl von Probanten (je mehr desto besser) die Rater/Tipper ebenfalls auf einen marginalen Prozentsatz drücken.

 

Also ??

 

JE was here !

 

 

[holli 0]

LETZTE BEARBEITUNG AM 06-Jun-2001 UM 13:27 (GMT)[p]Hi!

 

>>Wenn ich einen Blindtest mache mit der Variation A = Veränderung xy (z.B. Brettchen) oder Variation B = keine Veränderung (z.B. kein Brettchen), dann kann man selbst durch raten/tippen eine gewisse Trefferquote erreichen.<<

 

Das macht nix. Nach dem Gesetz der großen Zahlen verliert sich diese "gewisse Trefferquote" in einer Zufallsfunktion ohne jegliche statistische Signifikanz. Und daraus folgt, egal wie viele verschiedene Variationen du zusätzlich einbaust:

1. Zufallstreffer bleiben immer Zufallstreffer.

2. Da sie statistisch vorher schon nicht relevant waren, sind sie es hinterher auch nicht.

 

>>2. kann man bei einer Vielzahl von Probanten (je mehr desto besser) die Rater/Tipper ebenfalls auf einen marginalen Prozentsatz drücken.<<

 

Da du aber nicht a priori wissen kannst, dass die neu hinzugekommen keine Rater sind, wird sich der Prozentsatz auch nicht verändern. Nur eines stimmt: durch Verbreitern der Datenbasis steigt die statistische Signifikanz!

 

Jedenfalls muß man seine Versuchanordnung erstmal VORHER durchrechnen und VORHER sagen, was "statistisch Signifikant" für diesen Fall bedeutet. Eine Trefferquote von 51% ist es jedenfalls nicht....

 

Beispiel: Nehmen wir mal einen Test mit 10 Hörproben. Die HaiEnte behauptet einen Unterschied zu hören, es wäre aber schon "schwer", also traut sie sich eine Trefferquote von 6 : 4 zu. Das Problem ist, das 60% Trefferquote bei 10 Proben eben nicht signifikant ist.

Verfeinern kann man den Test so: Als Erwartungswert nehmen wir mal 6, zulässig für positives Ergebnis wäre auch noch 5 oder 7. Dann wäre der Test zu 30% erfolgreich, wenn der Proband sich auf's Raten verlässt. Nun wird der Test aber 10 mal hintereinander durchgeführt. Als Nicht-HiEnte verlangen wir nun, er möge mindestens 6 von 10 Tests erfolgreich bestehen. Unter der Hypothese "HiEnte rät" ist die Wahrscheinlichkeit, dass er mehr als 6 Tests besteht, lediglich 4,73% (hab's nachgerechnet;-)). Und Das ist nun endlich hinreichend niedrig. (D.h. besteht HiEnte lediglich höchstens 5 Tests erfolgreich, kann Nicht-HighEnte mit 95,27% Wahrscheinlichkeit sicher sein, dass HighEnte rät).

Die Einzelanforderungen (Trefferquote 60%+/-10% sowie mindestens 60% bestandene Tests) sind einzeln für sich genommen einerseits recht lasch und für HiEnte sollten sie daher akzeptabel sein. Anderseits sind sie für sich genommen statistisch jedoch nicht signifikant, sie werden es erst durch geschicktes Anordnen der Tests.

 

Gruß, Holli

 

[Kobe 0]

Gude!

 

Also, falls es euch weiterbringt, und ihr eure Brettchen oder so mal testen wollt, stelle ich mich gerne für die Berechnung von Signifikanzniveaus und so zur Verfügung.

 

Gruss Kobe

 

[Robeuten 0]

 

Beste Grüsse

 

Viele Menschen würden eher sterben, als damit anfangen, zu denken.

BERTRAND RUSSELL

 

Es gibt nur eine einzige sichere Methode, die zu wissenschaftlichem Fortschritt führt: Die Methode von Versuch und Irrtum.

GEORGE BERNARD SHAW

 

[Kobe 0]

Hallo Andi,

 

deswegen sollte man auch irgendwas 'testen', das ABSOLUT den Klang verändert (sonst haben die Esoteriker wirklich keine Chance...).

 

Gruss

Kobe