DBT - Der Worte sind genug gewechselt...

[gh 0]

Hallo,

 

bei diesem Dauerthema DBT geht es doch, man erinnere sich, primär um das Problem, ob angeblich gehörte Unterschiede (nicht: gehörte angebliche ...) auch wirklich vorhanden sind. Das sollte insbesondere auch diejenigen interessieren, die solches behaupten.

 

Gefordert ist somit eine praktikable Lösung für einen solchen Nachweis. Also ein gewisses Test-Setup, das die techn. Vorraussetzungen schafft und die Minimalanforderungen eines möglichst einfachen, aber trotzdem sicheren DBT erfüllt.

 

Eine weitere wichtige Vorraussetzung, nämlich das Interesse an einem möglichst positiven Ausgang des Tests ist ja in diesem Fall gegeben. (Es ist klar, daß man jeden DBT zum Scheitern bringen kann, wenn man (bewußt oder unbewußt) nichts hören will.)

 

Ich schlage also (ernsthaft) vor, hier einmal (als Beispiel vielleicht für einen Kabeltest):

 

a) das erforderliche "Setup" zu beschreiben (sollte zu Hause durchführbar sein), und

die Ausführung eines solchen DBT (konkret und im Einzelnen) zu definieren.

 

(Wer macht's?)

 

Dann wird man

 

a) sehen, ob das in dieser Form praktikabel ist, und, falls ja,

ob sich dann hoffentlich auch einige "Betroffene" bereitfinden, das so durchzuführen,

 

um ihre eigenen, vielfach angezweifelten, belächelten, etc. Behauptungen endlich einmal zu belegen - oder eben auch nicht, je nachdem, wie es ausgeht. Dann hätten wir jedenfalls endlich ein ERGEBNIS.

 

Gruß, gh

 

 

[Bernhard 0]

LETZTE BEARBEITUNG am: 27-Jul-02 UM 12:35 Uhr (GMT) [p]Hallo gh,

 

>>> Gefordert ist somit eine praktikable Lösung für einen solchen Nachweis. Also ein gewisses Test-Setup, das die techn. Vorraussetzungen schafft und die Minimalanforderungen eines möglichst einfachen, aber trotzdem sicheren DBT erfüllt. <<<

 

Für den Privatmann ist IMHO ein "sicherer" DBT ein sehr aufwendiges Unterfangen. Nehmen wir mal an, wir wollten Cinchkabel dem DBT aussetzen. Einen noch halbwegs einfachen, praktikablen (keineswegs perfekten) Testaufbau könnte ich mir folgendermaßen vorstellen:

 

- CD-Player

- Umschaltstation ("1 auf 3") und ("3 auf 1")

- 1 Cinch-Referenzkabel

- 1 Cinch-Kabel, das getestet werden soll

- 1 hochwertiger Equalizer

- Vorverstärker+Endstufe+Boxen

 

Die Umschaltstation beinhaltet 2 Schalter, die synchron geschaltet werden, ein Schalter 1 schaltet ein Quellensignal (vom CD-Player) auf 3 mögliche Ausgänge; an einem Ausgäng ist das Referenzkabel angeschlossen, am zweiten das zu testende Kabel und am dritten der Equalizer; Schalter 2 der Umschaltstation ermöglicht ein von 3 Quellensignalen auf den Ausgang zu schalten An den Eingängen von Schalter 2 werden Referenzkabel, Testkabel und Equalizer angeschlossen, am Ausgang von Schalter 2 wird der Vorverstärkers bzw. der Rest der Stereoanlage angeschlossen.

 

Der Zweck des Testaufbaus besteht darin, entweder das Referenzkabel, das zu testende Cinchkabel oder den Equalizer zwischen CD-Player und Vorverstärker zu schalten ohne daß gegenseitige Beeinflussungen möglich sind.

 

Es wird darüberhinaus mittels einer Frequenzgangmessung und Klirrfaktormessung geprüft (Equalizer in Linearstellung), daß am Vorverstärker für alle Schalterstellungen der gleiche Frequenzgang und Pegel (innerhalb einer Toleranz von < +/-0.1dB) von 10Hz bis 20kHz vorliegt, und ansonsten keine auffälligen nichtlinearen Verzerrungen auftreten.

 

Der DBT muß nun mit einer gewissen Anzahl von Versuchspersonen durchgeführt werden. Die Sicht auf die Umschaltstation ist verdeckt. Derjenige der die Umschaltstation bedient, arbeitet eine vorher bestimmte Liste von Schalterstellungen ab und weiß auch nicht wie die Umschaltstation verschaltet ist.

 

Der DBT wird in 4 Durchgängen a N (aber mehr als 20) Umschaltversuchen durchgeführt:

 

Dabei wird immer zwischen dem Referenzkabel und dem Testobjekt ODER dem Referenzkabel hin und hergeschaltet; d.h. man hört also erst das Referenzkabel und dann wird auf das Testkabel ODER wieder auf das Referenzkabel umgeschaltet. Die Testperson muß nun herausfinden, ob sie beim Umschalten einen Unterschied wahrgenommen hat oder nicht und notiert das Ergebnis auf einem Zettel.

 

Für jeden Duchgang wird das gleiche Musikprogramm verwendet.

 

Nach jedem Durchgang wird die Einstellung des Equalizeres verändert; der Equalizer wird jeweils abweichend von "linear" eingestellt und zwar an der Grenze der Hörbarkeit. Geeignete Einstellungen müssen in Vorversuchen ermittelt werden.

 

Bei einem der 4 Durchgänge wird das zu testende Kabel eingeschleift, bei den anderen 3 der Equalizer; natürlich weiß keiner, wann der Equalizer im Spiel ist. Der Equalizer dient der "Motivation" zum genauen Hinhören; wenn eine Testperson "nie" einen Unterschied hört, im Vergleich zu den anderen Testpersonen, auch wenn welche (dank Equalizer) objektiv vorhanden sind, dann sind die Ergebnisse dieser Testperson nicht verwertbar.

 

Die richtige Bestimmung von N ist ein weiteres Thema; auf eine statistische Betrachtung verzichte ich erstmal.

 

Noch was zum Referenzkabel: es muß natürlich ein gutes Kabel sein; muß aber nicht notwendigerweise das beste auf dem Markt sein (sofern man Kabelunterschiede unterstellt).

 

Grüße

 

Bernhard

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

[Mwf 0]

Hallo Bernhard,

 

deine Variante mit EQ/Exciter o.ä. als Motivationshilfe und laufende Konzentrationskontrolle find ich gut.

 

Könnte als AB/C-X ins Test-Repertoire aufgenommen werden.

 

 

Gruß,

Michael

 

[gh 0]

Hallo Bernhard,

 

zunächst einmal Danke für Deine ausführliche Stellungnahme.

 

>> Für den Privatmann ist IMHO ein "sicherer" DBT ein sehr aufwendiges Unterfangen. <<

 

Das erste Ziel, denke ich, sollte sein, daß diese Art Test überhaupt gemacht wird. Deswegen sollte die Durchführung möglichst einfach gestaltet werden, auch wenn die Sicherheit vielleicht ein wenig darunter leidet.

 

Ich hatte auch gedacht, daß Ganze zunächst als "Self-assessment" durchzuführen. Hier haben wir ja bereits gute Randbedingungen: Jemand ist fest davon überzeugt, einen Unterschied zu hören, wandelt aber den Hörtest nun dergestalt um, daß subjektive Einflüsse eliminiert werden. Alles andere (Musikauswahl, Umschaltzeiten, Lautstärke, etc.) kann bleiben wie gehabt und wie gewohnt.

 

Je nach Ausgang des Tests ist die Sache damit möglicherweise bereits erledigt. Das bleibt aber zunächst mal abzuwarten, und dann sieht man ggfls. weiter.

 

Wenn das soweit vernünftig erscheint, würde ich aus dem momentanen Testvorschlag (Version-1) gerne eine weitere (abgespeckte) Variante ableiten (Version-2), die die obige Zielsetzung stärker berücksichtigt. So ist z.B. der Equalizer dann wohl nicht mehr von Nöten, wenn ich das richtig sehe.

 

>> Dabei wird immer zwischen dem Referenzkabel und dem Testobjekt ODER dem Referenzkabel hin und hergeschaltet <<

 

Wie sieht denn hier die Auswertung aus? Vielleicht kann man das an einem Beispiel (ohne EQ) einmal erläutern (2 Cinchkabel a und b, 10 Versuche):

 

Geschaltet: a-b-b-b-a-a-b-a-a-b

Propand...: a-b-b-a-b-a-b-a-b-b

 

Hört er einen Unterschied?

 

(Natürlich gab es vorher die Gelegenheit, sich ausführlich einzuhören, also beliebig oft umzuschalten, und dabei zu wissen, was jeweils läuft.)

 

Anmerkung/Frage: Um WELCHEN Unterschied (welchen Vergleich im Kopf) handelt es sich hier eigentlich: zum jeweils unmittelbar davor Gehörten, oder zum vor dem eigentlich Test sich fest eingeprägten Höreindruck? Im obigen Beispiel also z.B. beim ersten b: höre ich da primär nicht-a, oder wirklich b? (Also Gleich oder Ungleich? Vielleicht sind diese Spitzfindigkeiten aber nicht so wichtig.)

 

Möglicherweise benötigt man auch eine zunächst variabel gehaltene Anzahl von Durchgängen. Je nach Lage der Dinge, kann die gewünschte statistische Sicherheit ja relativ früh oder eben auch erst nach sehr vielen Versuchen auftreten.

 

Soviel erst mal...

 

Gruß, gh

 

 

[Bernhard 0]

LETZTE BEARBEITUNG am: 28-Jul-02 UM 13:14 Uhr (GMT) [p]Hallo gh,

 

>>> Wie sieht denn hier die Auswertung aus? Vielleicht kann man das an einem Beispiel (ohne EQ) einmal erläutern (2 Cinchkabel a und b, 10 Versuche):

 

Geschaltet: a-b-b-b-a-a-b-a-a-b

Propand...: a-b-b-a-b-a-b-a-b-b

 

<<<

 

ich habe mich in diesem Punkt zugegebenermaßen unpräzise ausgedrückt, wie befürchtet hast zumindest Du es auch prompt anders verstanden als von mir beabsichtigt.

 

Meine Idee war eigentlich, daß von der Referenz auf das Testobjekt ODER die Referenz und dann auf jeden Fall wieder auf die Referenz zurückgeschaltet wird. Eine Testsequenz könnte dann z.B. folgendermaßen aussehen:

[p style =font: bold normal 12pt Courier]

Versuch:-------1---2---3---4---5---6---7---8---9---10

Schaltsequenz: R-T-R-R-R-R-R-T-R-T-R-T-R-T-R-R-R-T-R-T

Prob. notiert: --T---R---T---T---R---T---T---R---R---T

[/p]

 

Der Proband hätte in diesem Fall 7 mal richtig und 3 mal falsch getippt (was immer man jetzt daraus ableiten mag).

 

Ich meine, es ist nicht Ziels des DBTs die Merkfähigkeit für Klänge zu testen, deshalb sollte jeder Umschaltvorgang mit dem Hören der Referenz beginnen, so daß der Höreindruck der Referenz möglichst präsent ist. Die Versuchsperson muß auch wissen, wann umgeschaltet wird bzw. etwas aufzuschreiben ist, so daß die einzelnen Phasen durch optische Signale gekennzeichnet werden könnten; z.B. rote Lampe == Referenz, grüne Lampe == Testobjekt oder Referenz; das Umschalten selbst sollte möglichst knackfrei und übergangslos vonstatten gehen um wirklich die besten Voraussetzungen zu schaffen, einen möglichen Unterschied zu hören.

 

Grüße

 

Bernhard

 

[gh 0]

Hallo Bernhard,

 

da stellt sich natürlich die Frage nach dem wesentlichen Unterschied zwischen den beiden Verfahren:

 

A)

Geschaltet: a-b-b-b-a-a-b-a-a-b

Propand...: a-b-b-a-b-a-b-a-b-b

 

und

 

Versuch:-------1---2---3---4---5---6---7---8---9---10

Schaltsequenz: R-T-R-R-R-R-R-T-R-T-R-T-R-T-R-R-R-T-R-T

Prob. notiert: --T---R---T---T---R---T---T---R---R---T

 

scheint die etwas "sauberere" Methode zu sein (warum eigentlich?), während A) allerdings auch funktionieren müßte, zumindest wenn die Unterschiede einigermaßen deutlich sind.

 

Zu habe ich aber noch einige Detailfragen, die beispielhaft an folgenden 4 "Grenzfällen" erörtert werden können. In der Praxis wird es natürlich Resultate geben, die irgendwo "dazwischen liegen", aber prinzipiell muß man natürlich wissen, wie jedes beliebige Resultat korrekt zu bewerten ist.

 

1. angenommenes Ergebnis:

 

Versuch:-------1---2---3---4---5---6---7---8---9---10

Schaltsequenz: R-T-R-R-R-R-R-T-R-T-R-T-R-T-R-R-R-T-R-T

Prob. notiert: --T---R---R---T---T---T---T---R---T---T

 

d.h. alles richtig. 10 Versuche, 10 Richtige. Statistische Sicherheit: (kann man wohl leicht berechnen).

 

 

2. angenommene Ergebnis:

 

Versuch:-------1---2---3---4---5---6---7---8---9---10

Schaltsequenz: R-T-R-R-R-R-R-T-R-T-R-T-R-T-R-R-R-T-R-T

Prob. notiert: --T---T---T---T---T---T---T---T---T---T

 

Hier wurde ebenfals das Testobjekt jedesmal richtig erkannt. Allerdings die Referenz jedesmal falsch. Wie ist das zu bewerten?

 

 

3. angenommenes Ergebnis:

 

Versuch:-------1---2---3---4---5---6---7---8---9---10

Schaltsequenz: R-T-R-R-R-R-R-T-R-T-R-T-R-T-R-R-R-T-R-T

Prob. notiert: --R---R---R---R---R---R---R---R---R---R

 

Hier wurde das Testobjekt niemals richtig erkannt, die Referenz aber immer. Was ist daraus zu folgern?

 

 

4. angenommenes Ergebnis:

 

Versuch:-------1---2---3---4---5---6---7---8---9---10

Schaltsequenz: R-T-R-R-R-R-R-T-R-T-R-T-R-T-R-R-R-T-R-T

Prob. notiert: --R---T---T---R---R---R---R---T---R---R

 

Diesmal wurde sowohl das Testobjekt als auch die Referenz jedesmal falsch "erkannt". Wie lautet jetzt die Schlußfolgerung?

 

Ich denke, diese Fragen muß man vorab beantworten, denn ein echtes Ergebnis wird ja eine "Mischform" dieser Grenzfälle sein. In einigen der Fälle liegt zwar eine Antwort nahe, aber ich selber möchte mich hier erstmal zurückhalten.

 

Gruß, gh

 

 

[gh 0]

Hallo Bernhard,

 

da stellt sich natürlich die Frage nach dem wesentlichen Unterschied zwischen den beiden Verfahren:

 

A)

[pre]

Geschaltet: a-b-b-b-a-a-b-a-a-b

Propand...: a-b-b-a-b-a-b-a-b-b

[/pre]

und

 

[pre]

Versuch:-------1---2---3---4---5---6---7---8---9---10

Schaltsequenz: R-T-R-R-R-R-R-T-R-T-R-T-R-T-R-R-R-T-R-T

Prob. notiert: --T---R---T---T---R---T---T---R---R---T

[/pre]

scheint die etwas "sauberere" Methode zu sein (warum eigentlich?), während A) allerdings auch funktionieren müßte, zumindest wenn die Unterschiede einigermaßen deutlich sind.

 

Zu habe ich aber noch einige Detailfragen, die beispielhaft an folgenden 4 "Grenzfällen" erörtert werden können. In der Praxis wird es natürlich Resultate geben, die irgendwo "dazwischen liegen", aber prinzipiell muß man natürlich wissen, wie jedes beliebige Resultat korrekt zu bewerten ist.

 

1. angenommenes Ergebnis:

[pre]

Versuch:-------1---2---3---4---5---6---7---8---9---10

Schaltsequenz: R-T-R-R-R-R-R-T-R-T-R-T-R-T-R-R-R-T-R-T

Prob. notiert: --T---R---R---T---T---T---T---R---T---T

[/pre]

d.h. alles richtig. 10 Versuche, 10 Richtige. Statistische Sicherheit: (kann man wohl leicht berechnen).

 

 

2. angenommene Ergebnis:

[pre]

Versuch:-------1---2---3---4---5---6---7---8---9---10

Schaltsequenz: R-T-R-R-R-R-R-T-R-T-R-T-R-T-R-R-R-T-R-T

Prob. notiert: --T---T---T---T---T---T---T---T---T---T

[/pre]

Hier wurde ebenfals das Testobjekt jedesmal richtig erkannt. Allerdings die Referenz jedesmal falsch. Wie ist das zu bewerten?

 

 

3. angenommenes Ergebnis:

[pre]

Versuch:-------1---2---3---4---5---6---7---8---9---10

Schaltsequenz: R-T-R-R-R-R-R-T-R-T-R-T-R-T-R-R-R-T-R-T

Prob. notiert: --R---R---R---R---R---R---R---R---R---R

[/pre]

Hier wurde das Testobjekt niemals richtig erkannt, die Referenz aber immer. Was ist daraus zu folgern?

 

 

4. angenommenes Ergebnis:

[pre]

Versuch:-------1---2---3---4---5---6---7---8---9---10

Schaltsequenz: R-T-R-R-R-R-R-T-R-T-R-T-R-T-R-R-R-T-R-T

Prob. notiert: --R---T---T---R---R---R---R---T---R---R

[/pre]

Diesmal wurde sowohl das Testobjekt als auch die Referenz jedesmal falsch "erkannt". Wie lautet jetzt die Schlußfolgerung?

 

Ich denke, diese Fragen muß man vorab beantworten, denn ein echtes Ergebnis wird ja eine "Mischform" dieser Grenzfälle sein. In einigen der Fälle liegt zwar eine Antwort nahe, aber ich selber möchte mich hier erstmal zurückhalten.

 

Gruß, gh

 

 

[Bernhard 0]

Hallo gh,

 

>>> da stellt sich natürlich die Frage nach dem wesentlichen Unterschied zwischen den beiden Verfahren <<<

 

den wesentlichen Unterschied (und auch Nachteil) von Verfahren A) gegenüber Verfahren sehe ich darin, daß es das "Klang-Gedächtnis" wesentlich stärker beansprucht. Es ist ja eine Erfahrungstatsache, daß sich das Gehör an einen neuen Klang relativ schnell gewöhnt. Ein Klang "a" wird voraussichtlich unterschiedlich gehört, je nachdem ob die Sequenz a-a-a-a-a-a oder die Sequenz b-b-b-b-b-b vorausgegangen ist. Verfahren vermeidet das Problem, indem immer zuerst die Referenz gehört wird und dann das Testobjekt; weil die Referenz in durchschnittlich in 75% aller Fälle gehört wird, dürfte sich ihr Klang dem Gedächtnis am ehesten einprägen.

 

Wenn man aber unterstellt, daß Verfahren vorzuziehen ist, dann fällt die Behandlung der Grenzfälle leicht: natürlich darf eine rein "taktische" Beantwortung der Hörtestfragen nicht zum "Erfolg" führen. Wenn also der Versuchshörer nur "T" (Grenzfall 2) oder nur "R" (Grenzfall 3) ankreuzt, dann darf dies nicht zum Schluß führen, daß die Versuchsperson sicher zwischen Referenz und Testobjekt unterscheiden konnte. Daraus folgt, daß sowohl die Sequenzen "R-R" als auch die Sequenzen "R-T" relativ sicher erkannt werden müssen wobei "relativ sicher" bedeutet, daß ein gewisser (geringer) Prozentsatz der Antworten falsch sein darf.

 

(Die Diskussionen in dem "Monsterthread "Glaubenskriege..." zum teilweise gleichen Thema habe ich nur bruchstückhaft verfolgt; die Autoren in diesem Thread mögen es daher nachsehen, daß ihre Argumente hier nicht explizit diskutiert werden.)

 

Grenzfall 1) ist ohnhin eindeutig, Grenzfall 4 ist eher unwahrscheinlich und als ein Indiz zu werten, daß mit dem Hörtest etwas grob "schief" läuft.

 

D.h. meine Schlußfolgerung wäre, daß nur beim Ergebnis 1) die Versuchsperson sicher zwischen Referenz und Testobjekt unterscheiden konnte; in allen anderen Fällen war keine Unterscheidung möglich.

 

Grüße

 

Bernhard

 

[ONY 0]

Hallo gh,

ich hab "für mich" einen Blindtest mit dem "Wunderrohling" (der vor ein paar Monaten hier mal diskutiert wurde) durchgeführt.

Mein einfaches Testdesign:

Getestet wurde der Wunderrohling, ein Markenrohling und die Orginal-CD.

Ich lag auf der Couch, keinen Blickkontakt zum "Schaltknecht" und hatte meinen Kopfhörer auf (kein akustischer Kontakt zum Schaltknecht).

Es wurden vier Musiktitel ausgewählt und die Reihenfolge der Probanten gewürfelt (natürlich nicht von mir).

Ich versuchte die Rohlinge zuzuordnen.

 

Ähnlich würde ich es mit den Kabeln machen. Für mich muß gewährleistet sein, daß KEINERLEI Verbindung (optisch & akustisch) zwischen mir und dem Schaltknecht vorhanden ist.

Allerdings würde ich es dabei belassen die Kabel umzustecken.

Die entstehende "Schaltpause" kann bestenfalls zu ungunsten des zu testenden "besseren" Probanten gehen, was mir pers. allerdings egal wäre. Wenn ich nach fünf Sekunden den Unterschied nicht mehr verifizieren kann ist dieser mir auch keine Mark (sorry Euro) wert.

 

Ob "dieser DBT" nun wissenschaftlichen Anforderungen genügt weis ich nicht - wohl eher nicht. Aber er gibt mir ausreichend Sicherheit nicht auf Suggestionseffekte hereinzufallen.

 

Auf grobe Fehlermöglichkeiten bitte ich hinzuweisen, man ist ja lernfähig.

GrußOny

 

 

[gh 0]

Hallo Bernhard,

 

>> Wenn man aber unterstellt, daß Verfahren vorzuziehen ist, dann fällt die Behandlung der Grenzfälle leicht <<

 

Das sehe ich nicht ganz so, siehe folgende Begründungen.

 

>> natürlich darf eine rein "taktische" Beantwortung der Hörtestfragen nicht zum "Erfolg" führen. Wenn also der Versuchshörer nur "T" (Grenzfall 2) oder nur "R" (Grenzfall 3) ankreuzt, dann darf dies nicht zum Schluß führen, daß die Versuchsperson sicher zwischen Referenz und Testobjekt unterscheiden konnte. <<

 

Ich hatte nicht an eine "taktische" Beantwortung gedacht, sondern es soll jedesmal ein echtes Ergebnis sein.

 

Zunächst zum Fall 3:

 

Dies müßte doch der klassische Fall des negativen Ausgangs sein. Der Proband hört niemals einen Unterschied, und ist somit der Meinung, jedesmal das R zu hören. Aber genau diesen Fall, obwohl vom Resultat her "maximal negativ", kann man insofern anzweifeln, daß hier auch immer andere Gründe für das "Scheitern" vorgelegen haben könnten (wenn man die genauen Details nicht kennt).

 

Zum Fall 2:

 

Dieser Fall dürfe eigentlich nicht vorkommen. Jedenfalls wüßte ich keine plausible Erklärung für diesen Ausgang. Entweder ist ein systematischer Fehler im Testaufbau, oder der Proband mogelt. Der Test ist meiner meinung nach einfach ungültig.

 

Zum Fall 4:

 

Der ist zwar anders als Fall 3, müßte aber ebenfalls als ungültig qualifiziert werden, d.h. man kann mit dem Ergebnis nichts anfangen.

 

>>D.h. meine Schlußfolgerung wäre, daß nur beim Ergebnis 1) die Versuchsperson sicher zwischen Referenz und Testobjekt unterscheiden konnte; in allen anderen Fällen war keine Unterscheidung möglich.<<

 

Meine Wertung wäre:

 

Fall 1: Unterschied (statistisch) bewiesen

Fall 2: ungültig, darf eigentlich nicht vorkommen

Fall 3: Unterschied (statistisch) widerlegt (evtl. aber anzweifelbar)

Fall 4: ungültig, ähnlich wie Fall 2

 

Vielleicht hat ja jemand Einwände. Richtig überzeugend ist fast nur der Fall 1. Aber auf den kommt es hier ja eigentlich auch primär an. Wollte also z.B. Taedsch oder sonstwer einen (allgemein bezweifelten) Unterschied objektiv nachweisen, dann müßte das mit einem vereinfachten DBT dieser Art völlig problemlos möglich sein.

 

Gruß, gh

 

 

[ONY 0]

Hallo gh,

meiner Meinung nach sollte die "Bewertung" getrennt betrachtet werden.

 

Maßgeblich ist doch ob man zwischen zwei Probanten einen, statistisch relevanten, Unterschied feststellen kann oder nicht. Dabei ist es vollkommen egal ob das Referenzkabel oder die Beipackstrippe als "besser" empfunden wurde. Auch ein "Vergleichshören" mit Zuornung zu einem dritten Probant gehört in die Ecke "Bewertung". Diese Ergebnisse können zwar sicherlich auch interessant sein, sind aber zur Klärung der Frage "Höre ich einen Unterschied zwischen A und B" nicht maßgeblich.

 

Wenn ich in zehn Durchgängen zehn Mal einen Probanten "treffe" ist doch davon auszugehen das tatsächlich ein Unterschied gehört wurde und zugeordnet werden konnte.

 

Es ging doch um einen "einfachen" DBT der Zuhause ohne viel Aufwand realisiert werden kann?

GrußOny

 

[gh 0]

Hallo ONY,

 

>> Maßgeblich ist doch ob man zwischen zwei Probanten einen, statistisch relevanten, Unterschied feststellen kann oder nicht <<

 

Absolut richtig.

 

>> Wenn ich in zehn Durchgängen zehn Mal einen Probanten "treffe" ist doch davon auszugehen das tatsächlich ein Unterschied gehört wurde und zugeordnet werden konnte. <<

 

Nach der Statistik (wenn ich das richtig sehe) ergibt sich in diesem Fall bereits eine Sicherheit von > 99%, die für diesen Zweck mehr als ausreichend sein sollte.

 

>> Es ging doch um einen "einfachen" DBT der Zuhause ohne viel Aufwand realisiert werden kann? <<

 

Ja genau darum ging (und geht) es. Es ist die einzige Möglichkeit, die Spreu vom Weizen zu trennen. Also eigentlich interessant für alle, die daran ein Interesse haben.

 

Gruß, gh

 

[Jakob 0]

Hi gh,

 

DBTs sind zu Hause doch schwer durchzuführen, denn die zwingende Vorausetzung ist ja, daß weder Experimentator noch Testperson wissen, welche Variante gerade unter Test steht.

 

Bernhards Verfahren beeinhaltet für mich wieder das Problem, daß ein Test auf Gleichheit inkludiert ist, und, wie Du schon angemerkt hast, wie ist ein Versagen der TP bei diesem Test zu werten, und was bedeutet das für den Test auf Unterschiedlichkeit?

 

Für Dinge wie den Kabeltest wäre es für die geschickten Selbstbauer unter uns vermutlich möglich, eine Switch-Box zu entwickeln, die über 2 Eingänge verfügt, an denen die beiden Kabel hängen, wobei die Switch-Box zufällig eines der beiden als A auswählt und danach beliebig oft zwischen beiden Testsubjekten umgeschaltet werden kann. Intern wird der Zustand abgespeichert und kann nach Ende des Tests ausgelesen werden.

Das Verfahren wäre ähnlich zum ABX-Test, aber würde die Verquickung mit einem Test auf Gleichheit ausschließen.

Die TP muß in jedem Durchgang die beiden Kabel identifizieren für einen gültigen Versuch.

 

Eine Alternative ist der Anschluß von 2 Kabelpaaren bspw. am CD-Spieler, die auf 2 Eingänge des Verstärkers laufen, wobei eine Hilfsperson den zufälligen Anfangszustand für jeden Durchgang herstellen muß. Überprüfung auf Klangbeeinflussung durch 2 angschlossene Kabel vorausgesetzt.

 

Leider ist eine relativ große Anzahl von Durchgängen zur Erzielung einigermaßen sicherer Ergebnisse nötig. Leventhal hat in seinem Papier nochmals daraufhingewiesen, daß auch die Fähigkeit der Testperson, hörbare Unterschiede auch tatsächlich zu hören, nicht immer gleich gut vorhanden ist. Das bedeutet, das eigentlich die Zahl der Durchgänge noch erhöht werden muß.

Bei großen Unterschieden werden die Auswirkungen nicht problematisch sein, je kleiner die Unterschiede tatsächlich sind, desto größer die Chance, einen tatsächlich hörbaren Unterschied als nicht gehört auszuwerten.

 

Bei einem SL von 0.05 müssen bei 16 Durchgängen 12 richtig sein, bei 50 Durchgängen reichen 32 richtige aus, aber in beiden Fällen wäre die Wahrscheinlichkeit, fälschlicherweise einen hörbaren Unterschied als nicht gehört auszuwerten, hoch, falls die TP nur in 60 % der Fälle diesen Unterschied überhaupt erkennen kann. Da man über diese Fähigkeit der Testperson aber i.d.R. keine Information hat, bleibt als Ausweg nur, die Anzahl der Versuche zu erhöhen.

Sofern die Anzahl der richtigen Ergebnisse höher liegt, ist man schneller auf der sicheren Seite.

 

Grüße

 

[gh 0]

Hallo Jakob,

 

>> DBTs sind zu Hause doch schwer durchzuführen, denn die zwingende Vorausetzung ist ja, daß weder Experimentator noch Testperson wissen, welche Variante gerade unter Test steht. <<

 

Der Grundgedanke ist eigentlich, sich möglichst an einen (in der Regel bereits stattgefundenen) "offenen" Test anzulehnen. In diesem offenen Test wurden ja bereits (angeblich) Unterschiede, z.B. Original-CD im Vergleich zur angefrästen CD, gehört, und es geht lediglich noch darum, die (angeblichen) Ergebnisse objektiv nachzuweisen. (Ob dann Teilbereiche der Physik neu geschrieben werden müssen, wird sich zeigen.)

 

Man läßt also alles völlig unverändert, außer das (in diesem Beispiel) nunmehr nicht bekannt ist, welche CD gerade läuft (d.h. jemand muß nach einer Zufallsliste die CDs austauschen). Hier ergäbe sich z.B. bei 8 Richtigen von 10 Versuchen bereits etwa 96% Sicherheit (Rechnung ohne Gewähr).

 

Das würde bedeuten, daß man zusätzlich zum Ablauf eines entsprechenden offenen Tests, eigentlich nur noch die (unbekannte) "Randomisierung", die Anzahl der Versuche, und die Auswertung der Ergebnisse hat.

 

Müßte doch eigentlich gut machbar sein.

 

>> Bernhards Verfahren beeinhaltet für mich wieder das Problem, daß ein Test auf Gleichheit inkludiert ist, und, wie Du schon angemerkt hast, wie ist ein Versagen der TP bei diesem Test zu werten, und was bedeutet das für den Test auf Unterschiedlichkeit? <<

 

Darum habe ich mir auch die Mühe gemacht, einige mögliche Grenzfälle konkret zu betrachten. Und obwohl das ja Standardverfahren sind, scheint (mir jedenfalls) da noch manches nicht ganz klar zu sein (das kann aber an mir liegen). Jedenfalls hat (bisher) für einige meiner konkreten Beispiele niemand gesagt, wie sie nun genau zu Bewerten sind, und warum.

 

Vielleicht ist es bei manchem DBT mit der strengen Wissenschaftlichkeit gar nicht so weit her, wie man immer annimmt und vorraussetzt??

 

Gruß, gh

 

 

[Jakob 0]

Hi gh,

 

>>> DBTs sind zu Hause doch schwer durchzuführen, denn die zwingende Vorausetzung ist ja, daß weder Experimentator noch Testperson wissen, welche Variante gerade unter Test steht. <<

>

>Der Grundgedanke ist eigentlich, sich möglichst an einen (in

>der Regel bereits stattgefundenen) "offenen" Test

>anzulehnen. In diesem offenen Test wurden ja bereits

>(angeblich) Unterschiede, z.B. Original-CD im Vergleich zur

>angefrästen CD, gehört, und es geht lediglich noch darum,

>die (angeblichen) Ergebnisse objektiv nachzuweisen. (Ob dann

>Teilbereiche der Physik neu geschrieben werden müssen, wird

>sich zeigen.)

>

>Man läßt also alles völlig unverändert, außer das (in diesem

>Beispiel) nunmehr nicht bekannt ist, welche CD gerade läuft

>(d.h. jemand muß nach einer Zufallsliste die CDs

>austauschen). Hier ergäbe sich z.B. bei 8 Richtigen von 10

>Versuchen bereits etwa 96% Sicherheit (Rechnung ohne

>Gewähr).

>

>Das würde bedeuten, daß man zusätzlich zum Ablauf eines

>entsprechenden offenen Tests, eigentlich nur noch die

>(unbekannte) "Randomisierung", die Anzahl der Versuche, und

>die Auswertung der Ergebnisse hat.

Genau das wollte ich mit diesem vereinfachten Verfahren erreichen, der gesamte Ablauf bleibt genauso wie in dem offenen Test, es kann beliebig oft umgeschaltet werden, es kann beliebig lang gehört werden etc.

Die TP kann sich, genau wie in einem offenen Test, auf die Unterschiede konzentrieren.

Da in einem offenen Test, sofern ein Unterschied gehört wurde, auch eine Meinung besteht, worin die Unterschiede liegen ( "klingt räumlicher, klingt dynamischer" etc.) sollte es möglich sein, anhand dieser Unterschiede die beiden Testsubjekte zu identifizieren.

 

>Müßte doch eigentlich gut machbar sein.

>

>>> Bernhards Verfahren beeinhaltet für mich wieder das Problem, daß ein Test auf Gleichheit inkludiert ist, und, wie Du schon angemerkt hast, wie ist ein Versagen der TP bei diesem Test zu werten, und was bedeutet das für den Test auf Unterschiedlichkeit? <<

>

>Darum habe ich mir auch die Mühe gemacht, einige mögliche

>Grenzfälle konkret zu betrachten. Und obwohl das ja

>Standardverfahren sind, scheint (mir jedenfalls) da noch

>manches nicht ganz klar zu sein (das kann aber an mir

>liegen). Jedenfalls hat (bisher) für einige meiner konkreten

>Beispiele niemand gesagt, wie sie nun genau zu Bewerten

>sind, und warum.

>

>Vielleicht ist es bei manchem DBT mit der strengen

>Wissenschaftlichkeit gar nicht so weit her, wie man immer

>annimmt und vorraussetzt??

Die strenge Wissenschaftlichkeit ist nur bezüglich der "Doppelblindheit" und der Auswertung gegeben, die nach mathematischen Methoden erfolgt. Bezüglich der Testauslegung, Auswahl der TP et cetera kann man natürlich nahezu jeden Unsinn veranstalten.

Aber die von Dir skizzierten Fälle werden bis auf Fall 1 alle bei der Auswertung ergeben, daß ein Unterschied nicht gehört werden konnte.

Die Betrachtung der Grenzfälle kann nur Hinweise darauf geben, daß die TP ungeeignet war oder das Testdesign Schwächen aufwies.

In den üblichen Testverfahren ist der Test auf Gleichheit nur enthalten, damit nicht allein durch ständiges Ankreuzen von Unterschiedlichkeit der Test zu bestehen wäre.

Einen Test so durchzuführen und sich dann bei der Auswertung nur die genehmen Ergebnisse herauszupicken, wäre grob fahrlässig!

 

Grüße

 

 

>Gruß, gh

 

 

[gh 0]

Hallo Jakob,

 

>> Die strenge Wissenschaftlichkeit ist nur bezüglich der "Doppelblindheit" und der Auswertung gegeben, die nach mathematischen Methoden erfolgt. Bezüglich der Testauslegung, Auswahl der TP et cetera kann man natürlich nahezu jeden Unsinn veranstalten. <<

 

Eben. Und das macht den Test "unsymmetrisch": Nur bei positivem Ausgang ist die Sache wirklich klar und eindeutig (innerhalb der statistischen Sicherheit). Bei negativem Ausgang kann es an vielem gelegen haben, das muß man einfach sehen.

 

>> Die Betrachtung der Grenzfälle kann nur Hinweise darauf geben, daß die TP ungeeignet war oder das Testdesign Schwächen aufwies. <<

 

Aber ich möchte natürlich nicht den Test testen, sondern das Testobjekt! Man muß bekanntlich eine Waage vorher eichen, sonst sind nur Aussagen möglich wie "der Schweinebraten wiegt 3,2 Kilo, oder die Waage zeigt evtl. falsch an".

 

An dieser Stelle könnte vielleicht der von Bernhard ins Spiel gebrachte Equalizer gute Dienste tun, nämlich in entsprechenden Vortests (oder Eichtests) erst einmal herausfinden, welche (definitiv vorhandenen) Unterschiede überhaupt verläßlich gehört werden.

 

>> In den üblichen Testverfahren ist der Test auf Gleichheit nur enthalten, damit nicht allein durch ständiges Ankreuzen von Unterschiedlichkeit der Test zu bestehen wäre. <<

 

Natürlich muß dabei Zufälligkeit gewährleistet sein. Aber dazu sind unterschiedliche Ansätze denkbar, z.B.:

 

1) a-b-b-a-b-a-a-b-b-a usw... (zufällige Folge)

2) a-b, a-a, a-a, a-b, usw... (jeder Versuch fängt mit a an)

3) a-b-a, a-a-a, a-b-a, usw.. (hier hätte man beide Übergänge innerhalb eines Versuchs, a-b und b-a)

 

Ich habe keine Ahnung, ob die prinzipiellen Unterschiede z.B. dieser Verfahren genau bekannt sind (Literatur?). Und von Testeichung habe ich in diesem Zusammenhang auch niemals etwas gehört. Ich bin und bleibe also bezüglich DBT weiterhin skeptisch (ist ja gottseidank nicht verboten).

 

Gruß, gh

 

 

[Jakob 0]

Hi gh,

 

>>> Die strenge Wissenschaftlichkeit ist nur bezüglich der "Doppelblindheit" und der Auswertung gegeben, die nach mathematischen Methoden erfolgt. Bezüglich der Testauslegung, Auswahl der TP et cetera kann man natürlich nahezu jeden Unsinn veranstalten. <<

>

>Eben. Und das macht den Test "unsymmetrisch": Nur bei

>positivem Ausgang ist die Sache wirklich klar und eindeutig

>(innerhalb der statistischen Sicherheit). Bei negativem

>Ausgang kann es an vielem gelegen haben, das muß man einfach

>sehen.

Es ging ja explizit um eine Testperson, die bei einem offenem Test einen Unterschied gehört hatte. Sofern man hier nur eine "Doppelverblindung" hinzufügt, aber ansonsten den Testablauf unverändert läßt, kann man bei negativem Ausgang mit einiger Sicherheit ( endgültige Sicherheit ist bei statistischen Verfahren leider nicht zu ereichen) davon ausgehen, daß kein hörbarer Unterschied in diesem Fall vorhanden war. Natürlich kann man aus diesem negativen Ausgang nicht schlußfolgern, es könne generell niemand unter keinen Umständen jemals einen Unterschied hören.

Aber das, was nach vorherschender Lehrmeinung hörbar sein dürfte, liegt halbwegs fest, insofern bestätigen negative Ausgänge diese Meinung, anderseits reicht bereits ein ( reproduzierbarer ) Ausgang zum Umsturz dieser Meinung. Allerdings natürlich wieder mit einer gewissen statistischen Unsicherheit behaftet.

 

>>> Die Betrachtung der Grenzfälle kann nur Hinweise darauf geben, daß die TP ungeeignet war oder das Testdesign Schwächen aufwies. <<

>

>Aber ich möchte natürlich nicht den Test testen, sondern das

>Testobjekt! Man muß bekanntlich eine Waage vorher eichen,

>sonst sind nur Aussagen möglich wie "der Schweinebraten

>wiegt 3,2 Kilo, oder die Waage zeigt evtl. falsch an".

Es geht ja um die Verifikation der Aussage einer Testperson, die einen Unterschied in einem offenem Test hören konnte, insofern, kann für diesen Fall der Test als sinnvoll gelten, da er gegenüber dem offenen Test eben nur die "Doppelverblindung" als Unterschied beeinhaltet. Das ist ja auch genau der Grund für den ausschließlichen Test auf Unterschiedlichkeit, denn in einem offenem Test, soweit ich es bislang erlebt habe, wird eben auch nur auf Unterschiedlichkeit getestet.

Ein Test, der untersuchen soll, ob überhaupt ein Mensch irgendeinen Unterschied hören kann, muß natürlich anders gestaltet sein.

 

>An dieser Stelle könnte vielleicht der von Bernhard ins

>Spiel gebrachte Equalizer gute Dienste tun, nämlich in

>entsprechenden Vortests (oder Eichtests) erst einmal

>herausfinden, welche (definitiv vorhandenen) Unterschiede

>überhaupt verläßlich gehört werden.

Das ist ebenfalls interessant, aber in diesem Zusammenhang eine andere Frage. :-)

 

>>> In den üblichen Testverfahren ist der Test auf Gleichheit nur enthalten, damit nicht allein durch ständiges Ankreuzen von Unterschiedlichkeit der Test zu bestehen wäre. <<

>

>Natürlich muß dabei Zufälligkeit gewährleistet sein. Aber

>dazu sind unterschiedliche Ansätze denkbar, z.B.:

Die Zufälligkeit wäre bei meinem Ansatz durch die zufällige Anfangsbedingung bei jedem Testdurchlauf gegeben.

 

>1) a-b-b-a-b-a-a-b-b-a usw... (zufällige Folge)

>2) a-b, a-a, a-a, a-b, usw... (jeder Versuch fängt mit a an)

>3) a-b-a, a-a-a, a-b-a, usw.. (hier hätte man beide

>Übergänge innerhalb eines Versuchs, a-b und b-a)

>

>Ich habe keine Ahnung, ob die prinzipiellen Unterschiede

>z.B. dieser Verfahren genau bekannt sind (Literatur?). Und

>von Testeichung habe ich in diesem Zusammenhang auch niemals

>etwas gehört. Ich bin und bleibe also bezüglich DBT

>weiterhin skeptisch (ist ja gottseidank nicht verboten).

Meines Wissens ist die erstaunlich hohe Zahl von Fehlversuchen bei dem Test auf Gleichheit ( innerhalb eines generellen Tests auf Unterschiedlichkiet ) nur selten einbezogen worden - ich kenne auch keine Untersuchung- ist aber genau ein Faktor, der ausgeschlossen werden sollte.

 

Grüße

 

 

 

[gh 0]

Hallo Jakob,

 

>> Es ging ja explizit um eine Testperson, die bei einem offenem Test einen Unterschied gehört hatte. Sofern man hier nur eine "Doppelverblindung" hinzufügt, aber ansonsten den Testablauf unverändert läßt, kann man bei negativem Ausgang mit einiger Sicherheit (endgültige Sicherheit ist bei statistischen Verfahren leider nicht zu ereichen) davon ausgehen, daß kein hörbarer Unterschied in diesem Fall vorhanden war. <<

 

Völlig einverstanden. Das ist ja in diesem Fall der große Vorteil: Die TP WILL ja einen Unterschied nachweisen, und glaubt, daß sie es auch kann. In dieser Situation ist sowohl ein positiver als auch ein negativer Ausgang aussagekräftig.

 

Die Betrachtung von Grenzfällen (oder generell von ungewöhnlichen oder unerwarteten Ausgängen) ist aber meiner Meinung nach bei einer allgemeinen Analyse eines Testverfahrens durchaus erforderlich, nämlich um den Test (und die dazugehörigen Randbedingungen) selbst zu testen. Unbrauchbare Ergebnisse (wodurch auch immer verursacht) muß man als solche erkennen können.

 

>> Meines Wissens ist die erstaunlich hohe Zahl von Fehlversuchen bei dem Test auf Gleichheit ( innerhalb eines generellen Tests auf Unterschiedlichkiet ) nur selten einbezogen worden <<

 

Was meinst Du genau mit "Test auf Gleicheit" bzw. "Test auf Ungleichheit"? Jedes Umschalten führt doch zu der Frage "Gleich oder Ungleich" (und beide Möglichkeiten müssen natürlich objektiv vorliegen können). Vielleicht kannst Du Deinen Punkt an einem Beispiel erläutern.

 

Gruß, gh

 

 

[Jakob 0]

Hi gh,

 

>>> Meines Wissens ist die erstaunlich hohe Zahl von Fehlversuchen bei dem Test auf Gleichheit ( innerhalb eines generellen Tests auf Unterschiedlichkiet ) nur selten einbezogen worden <<

>

>Was meinst Du genau mit "Test auf Gleicheit" bzw. "Test auf

>Ungleichheit"? Jedes Umschalten führt doch zu der Frage

>"Gleich oder Ungleich" (und beide Möglichkeiten müssen

>natürlich objektiv vorliegen können). Vielleicht kannst Du

>Deinen Punkt an einem Beispiel erläutern.

Geschaltet: a-b-b-b-a-a-b-a-a-b

Propand...: a-b-b-a-b-a-b-a-b-b

In Deinem Beispiel muß in der Folge b-b-b und a-a die Testperson jeweils richtigerweise erkennen, daß hier keine Veränderung vorgenommen wurde, das ist für mich ein Test ob "Gleichheit" erkannt wird; in den Fällen, in denen tatsächlich eine Veränderung vorgenommen wurde - a-b oder b-a - ist es ein Test auf "Unterschiedlichkeit"

 

Grüße

 

 

 

>Gruß, gh

 

 

[gh 0]

Hallo Jakob,

 

inzwischen wird ja das liebe Thema DBT von allen Seiten und entsprechend vielschichtig diskutiert. Mein Fazit bisher ist etwa folgendes:

 

1. Ein relativ einfacher DBT ist in der Regel zu Hause gut möglich und machbar. Wer daher zukünftig mit irgendwelchen stark Voodoo-verdächtigen Hörergebnissen daherkommt, muß damit rechnen, daß man ihm diese Möglichkeit nahelegt.

 

2. Ein DBT kann durch zufälliges Umschalten (a-b-a-a-b-b-b-a-b...) oder (vermutlich besser) durch einen festen Anfangspunkt gefolgt von einem mögl. Umschalten (a-b, a-a, a-b, a-b, a-a,...) durchgeführt werden.

 

Die Variante a-b Ergebnis, b-a Ergebnis, b-a Ergebnis... scheint mir weniger gut geeignet, weil hier an entscheidender Stelle keine Zufälligkeit gegeben ist (als Folge davon, unbedingt den Test auf "Gleich" zu vermeiden). Ein geeigneter "Ungleich-Hörer" ist aber meiner Meinung nach nur jemand, der auch in der Lage ist "Gleich" zu hören.

 

3. Für einen erfolgreichen Test muß beides, Gleich UND Ungleich statistisch signifikant richtig erkannt werden. Da man sich nicht beliebig lange konzentrieren kann, muß man die Anzahl der Versuche auf ein vernünftiges Maß beschränken. Wie gesagt, ergeben bereits 8 Treffer bei 10 Versuchen eine statistische Sicherheit von 96%.

 

 

4. Möchte ich gerne nochmal auf den Punkt 1 hinweisen. (Irgend jemand wird sich doch wohl angesprochen fühlen...)

 

Gruß, gh

 

 

[Jakob 0]

Hallo gh,

>

>inzwischen wird ja das liebe Thema DBT von allen Seiten und

>entsprechend vielschichtig diskutiert. Mein Fazit bisher ist

>etwa folgendes:

>

>1. Ein relativ einfacher DBT ist in der Regel zu Hause gut

>möglich und machbar. Wer daher zukünftig mit irgendwelchen

>stark Voodoo-verdächtigen Hörergebnissen daherkommt, muß

>damit rechnen, daß man ihm diese Möglichkeit nahelegt.

Wie Trance schon schrieb, es ist eine einfache Möglichkeit, sich selbst und das eigenen Hörvermögen gelegentlich zu testen.

 

>2. Ein DBT kann durch zufälliges Umschalten

>(a-b-a-a-b-b-b-a-b...) oder (vermutlich besser) durch einen

>festen Anfangspunkt gefolgt von einem mögl. Umschalten (a-b,

>a-a, a-b, a-b, a-a,...) durchgeführt werden.

>

>Die Variante a-b Ergebnis, b-a Ergebnis, b-a Ergebnis...

>scheint mir weniger gut geeignet, weil hier an

>entscheidender Stelle keine Zufälligkeit gegeben ist (als

>Folge davon, unbedingt den Test auf "Gleich" zu vermeiden).

>Ein geeigneter "Ungleich-Hörer" ist aber meiner Meinung nach

>nur jemand, der auch in der Lage ist "Gleich" zu hören.

Wieso die Zufälligkeit hier eingeschränkt sein sollte, erschließt sich mir nicht. Der Zuordnung der Testsubjekte zu A und B erfolgt zufällig zu Beginn eines jeden Durchlaufs.

Bei einem Münzwurf reicht mir die Zufälligkeit der beiden Seiten ja auch, ich benötige nicht noch eine dritte Seite, auf der Kopf und Zahl vorhanden sind. ( Ich weiß, mit den Analogien ist es so eine Sache)

Das ich den Test auf Gleichheit vermeiden will, liegt einfach in der möglichst geringen Abweichung gegenüber dem offenen Test, indem in aller Regel eben nicht auf Gleichheit getestet wurde.

 

>3. Für einen erfolgreichen Test muß beides, Gleich UND

>Ungleich statistisch signifikant richtig erkannt werden. Da

>man sich nicht beliebig lange konzentrieren kann, muß man

>die Anzahl der Versuche auf ein vernünftiges Maß

>beschränken. Wie gesagt, ergeben bereits 8 Treffer bei 10

>Versuchen eine statistische Sicherheit von 96%.

Kleines Gedankenspiel: in den 10 Versuchen ist 6 mal Test auf Gleichheit enthalten sowie 4 mal Test auf Ungleichheit. Die TP erkennt korrekt 6mal Gleichheit, aber nur 2mal den Unterschied.

Mithin 8 richtige Versuche, aber kann man jetzt daraus schließen, die TP könne wirklich einen Unterschied hören?

Muß man sich dieses Problem wirklich einhandeln?

 

>4. Möchte ich gerne nochmal auf den Punkt 1 hinweisen.

>(Irgend jemand wird sich doch wohl angesprochen fühlen...)

Das wollen wir doch schwer hoffen :-)

 

Grüße

 

 

 

[gh 0]

Hallo Jakob,

 

>> Wieso die Zufälligkeit hier eingeschränkt sein sollte, erschließt sich mir nicht. Der Zuordnung der Testsubjekte zu A und B erfolgt zufällig zu Beginn eines jeden Durchlaufs.

Das ich den Test auf Gleichheit vermeiden will, liegt einfach in der möglichst geringen Abweichung gegenüber dem offenen Test, indem in aller Regel eben nicht auf Gleichheit getestet wurde. <<

 

Du hast recht, in einem offenen Test schaltet man normalerweise zwischen a und b hin und her, und versucht die Unterschiede herauszuhören (und zu bewerten). Man weiß natürlich, daß a das neue teure Superkabel ist, und b das bisherige alte Kabel (was nach der letzten Ausgabe des HiFi-Magazins nur noch zum Wegwerfen taugt).

 

Der typische Testdurchgenag ist also z.B. a-b-a-b-a-b-a, immer abwechselnd.

 

Wie machen wir nun daraus (mit möglichst geringen Änderungen) einen Zufallstest, das ist ja hier die Frage.

 

Die üblichen Methoden führen dazu nach zufälligem Muster den Test auf Gleichheit ein, mit dem man sich allerdings, das stimmt schon, für die Auswertung evtl. ein paar "Probleme" einhandelt, wie Dein Beispiel zeigt. Man muß dann ggfls. die Anzahl der Versuche leider erhöhen.

 

Welche Lösungsmöglichkeiten gibt es also sonst noch? Da haben wir z.B. Deinen Vorschlag, wo mit Sicherheit immer gewechselt wird, mit zufälligem Anfang:

 

Nehmen wir mal nur 3 Versuche: a-b, a-b, b-a. Worauf kommt es hier an? Um a und b korrekt zuordnen zu können, muß man offenbar nicht nur heraushören, daß (irgend-)ein Unterschied besteht, sondern auch welcher Art er ist. (Gleich oder Ungleich ist ja hier nicht die Frage, es ist ja immer "Ungleich".) Methodisch ist so ein Test sicher ok, es fragt sich aber, ob er die Sache, zumal bei sehr geringen Unterschieden, nicht doch ein wenig erschwert.

 

Eine weitere Möglichkeit fällt mir auch noch ein:

 

Nehmen wir an, der offene Test wurde wie folgt gemacht: a-b-a-b-a (wie üblich, immer abwechselnd), dann könnte man in einigen von weiteren Durchgängen (zufällig) alle b's durch a's ersetzen. Das sähe dann z.B. so aus (wird schön kompliziert):

 

1) a-b-a-b-a (exakt wie offener Test)

2) a-a-a-a-a (Placebo)

3) a-a-a-a-a (Placebo)

4) a-b-a-b-a (exakt wie offener Test)

usw.

 

Jetzt wäre jedenfalls der ursprüngliche (offene) Testablauf völlig unverändert, nur das jetzt ein paar Placebo-Durchgänge eingeschoben werden.

 

Sehr vielseitiges Thema, das Ganze. ;-)

 

Gruß, gh

 

 

[Jakob 0]

Hi gh,

 

>>> Wieso die Zufälligkeit hier eingeschränkt sein sollte, erschließt sich mir nicht. Der Zuordnung der Testsubjekte zu A und B erfolgt zufällig zu Beginn eines jeden Durchlaufs.

>Das ich den Test auf Gleichheit vermeiden will, liegt

>einfach in der möglichst geringen Abweichung gegenüber dem

>offenen Test, indem in aller Regel eben nicht auf Gleichheit

>getestet wurde. <<

>

>Du hast recht, in einem offenen Test schaltet man

>normalerweise zwischen a und b hin und her, und versucht die

>Unterschiede herauszuhören (und zu bewerten). Man weiß

>natürlich, daß a das neue teure Superkabel ist, und b das

>bisherige alte Kabel (was nach der letzten Ausgabe des

>HiFi-Magazins nur noch zum Wegwerfen taugt).

>

>Der typische Testdurchgenag ist also z.B. a-b-a-b-a-b-a,

>immer abwechselnd.

>

>Wie machen wir nun daraus (mit möglichst geringen

>Änderungen) einen Zufallstest, das ist ja hier die Frage.

>

>Die üblichen Methoden führen dazu nach zufälligem Muster den

>Test auf Gleichheit ein, mit dem man sich allerdings, das

>stimmt schon, für die Auswertung evtl. ein paar "Probleme"

>einhandelt, wie Dein Beispiel zeigt. Man muß dann ggfls. die

>Anzahl der Versuche leider erhöhen.

>

>Welche Lösungsmöglichkeiten gibt es also sonst noch? Da

>haben wir z.B. Deinen Vorschlag, wo mit Sicherheit immer

>gewechselt wird, mit zufälligem Anfang:

>

>Nehmen wir mal nur 3 Versuche: a-b, a-b, b-a. Worauf kommt

>es hier an? Um a und b korrekt zuordnen zu können, muß man

>offenbar nicht nur heraushören, daß (irgend-)ein Unterschied

>besteht, sondern auch welcher Art er ist. (Gleich oder

>Ungleich ist ja hier nicht die Frage, es ist ja immer

>"Ungleich".) Methodisch ist so ein Test sicher ok, es fragt

>sich aber, ob er die Sache, zumal bei sehr geringen

>Unterschieden, nicht doch ein wenig erschwert.

Es ist durchaus eine schwierige Bedingung, beruht aber auf dem Erfahrungswert, daß normalerweise ein Tuning-Tip ( oder allgemeiner: ein Veränderungsvorschlag ) durchaus mit einer Beschreibung der Verbesserung einhergeht ( z.B CD klingt nach Behandlung räumlicher, dynamischer etc.). Diese Verbesserung muß ja auch bei diesem Testverfahren weiter bemerkbar sein, und somit eine eindeutige Identifizierung erlauben.

 

>Eine weitere Möglichkeit fällt mir auch noch ein:

>

>Nehmen wir an, der offene Test wurde wie folgt gemacht:

>a-b-a-b-a (wie üblich, immer abwechselnd), dann könnte man

>in einigen von weiteren Durchgängen (zufällig) alle b's

>durch a's ersetzen. Das sähe dann z.B. so aus (wird schön

>kompliziert):

>

>1) a-b-a-b-a (exakt wie offener Test)

>2) a-a-a-a-a (Placebo)

>3) a-a-a-a-a (Placebo)

>4) a-b-a-b-a (exakt wie offener Test)

>usw.

Ist sicher eine Möglichkeit, die TP zu testen. Aber worauf? ;-)

 

>Jetzt wäre jedenfalls der ursprüngliche (offene) Testablauf

>völlig unverändert, nur das jetzt ein paar

>Placebo-Durchgänge eingeschoben werden.

>

>Sehr vielseitiges Thema, das Ganze. ;-)

Genau, der Schwierigkeiten gibt es viele :-)

Wie gesagt, die Rechtfertigung für dieses Testverfahren liegt allein in der Behauptung von Hörern in offenen Tests eindeutige Unterschiede gehört zu haben.

 

Grüße

 

[gh 0]

Hi Jakob,

 

>> Wie gesagt, die Rechtfertigung für dieses Testverfahren liegt allein in der Behauptung von Hörern in offenen Tests eindeutige Unterschiede gehört zu haben. <<

 

Einverstanden. (Statt Rechtfertigung würde ich allerdings Notwendigkeit sagen.)

 

Gruß, gh

 

 

[sommerfee 0]

LETZTE BEARBEITUNG am: 02-Aug-02 UM 15:00 Uhr (GMT) [p]Ihr kennt das ja schon, wenn die Diskussion gelaufen ist kommt die blöde Sommerfee angehechelt und meint noch was dazu beitragen zu müssen :-) Sorry, der Einwand ist mir nicht früher eingefallen. Nun aber:

 

Was ist eigentlich mit denjenigen Unterschieden, die gar nicht per einfachem (D)BT getestet werden können, weil sie quasi irreversibel sind? Oft hört man ja Klangverbesserungsbeschreibungen wie etwa "Ich habe vorher nie einen bestimmten Zwischenruf bei einer Liveaufnahme verstehen können, egal wie laut ich gedreht habe. Mit dem neuen CD-Spieler Wunderkiste CXGZ-772Z habe ich es aber plötzlich verstanden, sogar ohne daß ich bewußt hingehört habe!" oder auch "Mit dem neuen CD-Spieler/Verstärker/Kabel/Bedini/Taschentuch höre ich plötzlich nicht nur bei einer meiner Lieblings-CDs, daß das 2 Violinen sind, sondern auch, daß es zwei *unterschiedliche* Violinen sind." Im Zusammenhang mit dem Bedini oder Kabeln hört man auch oft, daß jetzt plötzlich Kleinigkeiten/Feinheiten in der Musik bemerkt werden, die man vorher eben nicht bemerkt hat.

 

Das dumme daran ist, daß all diese Klangverbesserungen bei der Rückkehr zur alten Komponente natürlich bestehen bleiben, hat man einmal den Zwischenrufer verstanden, wird man es immer tun, weil man jetzt ja weiß, was er da vor sich hin ruft. Hat man einmal gemerkt, daß die Violinen unterschiedlich klingen, so wird man es in Zukunft immer merken, ganz einfach weil man es weiß. Usw.

 

Irgendwelche Vorschläge/Kommentare dazu? Wie soll man herausfinden, ob diese "Verbesserung" nun durch die neue Komponente oder das aufmerksamere Hören (was sich bei einer neuen Komponente ja immer einstellt) zustande kommt?

 

(Bzgl. der Klangunterschiede von CD-Spielern hatte ich ja schonmal hier den Sotschek-Test vorgeschlagen, weiß eigentlich jemand, ob es solche oder ähnliche Untersuchungen, also z.B. Sprachverständlichkeits- bzw. Sprachqualitätstests an Hifi-Geräten gibt?)

 

Die Sommerfee

 

"Als Lautsprecherhersteller könnte ich schon noch konkreter werden. Aber wen interessiert's? Muss man denn alles begründen? Wir Deutschen sind das Idealbild eines Pennises: Aufrecht und ziemlich steif..." (HGP)