Ślepe testy

[Fafniak]

Dyskutujesz z pomysłami które nie mają w tym wypadku zaistnieć, po co ?

[Kraft]

8 minut temu, DiBatonio napisał:

że nie ma opcji, aby przejść ślepe testy, nie ma i na pewno nie z takim wynikiem 8/10, jak ktoś by się zbliżył do 6/10, to już sukces.

Nie masz racji. Zamieszczałem wyniki udanych ślepych testów, gdzie rozpoznawano różnice w brzmieniu sprzętu audio.

A wypowiedź "jak ktoś by się zbliżył do 6/10, to już sukces." jest kuriozalna. Najwyraźniej nie rozumiesz mechanizmu takich testów.

 

[Chyba Miro 84]

Dnia 10.12.2021 o 22:17, Kraft napisał:

Zamiast 8/10 może być 9/12 albo 10/14

Tak naprawdę to "idziemy na rękę" testujacemu. Bo moim zdaniem ślepy test powinien mieć 10 trafien na 10 możliwych (ale niech będzie jak powyżej). 

Dlaczego 100% trafień? 

Wyobrazmy osobe poddana ślepej próbie polegajacej na odróżnieniu soku pomaranczowego od truskawkowego🤣

(Załóżmy że dwa razy spróbował truskawkowego a dał odpowiedz ze pomaranczowy - buhaha🤣)

Albo wiemy co pijemy, albo nie!

Jest to przyklad przejaskrawiony, ale jednak. Dlatego 8/10 itp. i tak juz jest mocno naciagane na korzyść testujacego.

[Kraft]

11 minut temu, Chyba Miro 84 napisał:

Tak naprawdę to "idziemy na rękę" testujacemu.

Nie. Chodzi o statystykę i prawdopodobieństwo. Im więcej prób, tym mniejsza szansa, że wynik jest dziełem przypadku. Nikomu nie idziemy na rękę. Zwiększamy tylko pewność wyniku. Przypominam, że 5 trafnych odpowiedzi na 10 prób statystycznie uzyska nawet głucha małpa*

* dlatego 6/10, to nie  "sukces" tylko bardzo prawdopodobny wynik przypadkowych typowań (równie prawdopodobny, co 4/10)

Edytowano 15 grudnia 2021 przez Kraft

[Chyba Miro 84]

1 godzinę temu, Chyba Miro 84 napisał:

Tak naprawdę to "idziemy na rękę" testujacemu.

Miało być "osobie testowanej". Jest testujacy i zmieniajacy. Testujacy (osoba testowana) odgaduje. Myślę że teraz jest bardziej "czytelnie". Tak wiec podtrzymuje ze testujacej (osbie, ktora zgduje) idziemy na rękę. 

Widocznie zostało to zle zinterpretowane

 

[DiBatonio]

1 godzinę temu, Kraft napisał:

Nie. Chodzi o statystykę i prawdopodobieństwo. Im więcej prób, tym mniejsza szansa, że wynik jest dziełem przypadku.

Im więcej prób tym więcej pomyłek również, więc dalej będziesz w czarnej d.....

Edytowano 15 grudnia 2021 przez DiBatonio

[Kraft]

15 minut temu, DiBatonio napisał:

Kraft, może kiedyś, może,  bo mieszkamy blisko siebie.

Zrobię Ci test mp3 ze zmiennym VBR vs plik 16/44.1 i leżysz.

Zapewne. Ważniejsze jednak, żebyś Ty rozpoznał te pliki w ślepym teście. Może się okazać, że położysz się koło mnie;)

17 minut temu, Chyba Miro 84 napisał:

Miało być "osobie testowanej". Jest testujacy i zmieniajacy. Testujacy (osoba testowana) odgaduje. Myślę że teraz jest bardziej "czytelnie". Tak wiec podtrzymuje ze testujacej (osbie, ktora zgduje) idziemy na rękę. 

Widocznie zostało to zle zinterpretowane

Zrozumiałem Cię dobrze za pierwszym razem. Zwiększenie ilości prób nie jest pójściem na rękę żadnej ze stron. Zwiększa jedynie wiarygodność samego testu. Konieczność uzyskania 10/10 wcale nie jest taka logiczna, jak się wydaje. Taki próg może nawet doprowadzić do tego, że nie wyłapiemy w teście różnic, które faktycznie istnieją i są możliwe do wychwycenia. Naprawdę. Ślepe testy są wałkowane przez naukowców od dawna. Zaufajmy ich praktyce.

[MariuszZ]

1 godzinę temu, Fafniak napisał:

Czy moderacja może tego trolla wywalić z tego tematu?

Czytam. Zaraz przewietrzę 😉

Proszę pisać na temat w tym wątku bez personalnych odnośników. Pisanie nie na temat, personalne wycieczki będą karane terminowym  zakazem pisania na forum. 

Pozdrawiam. 

[Karaluch]

3 godziny temu, Kraft napisał:

Konieczność uzyskania 10/10 wcale nie jest taka logiczna, jak się wydaje. Taki próg może nawet doprowadzić do tego, że nie wyłapiemy w teście różnic, które faktycznie istnieją i są możliwe do wychwycenia.

Zgadza się. Ludzki umysł jest podatny na wpływy i nieprecyzyjny, a co za tym może słyszeć zmiany, których obiektywnie nie ma (vide fenomen grających kabli), ale i może się pomylić, kiedy zmiana obiektywnie jest, stąd drobny margines [ludzkiego] błędu jest potrzebny. Człowiek rzecz niedoskonała.

[Chyba Miro 84]

Ok. Brzmi przekonująco. Niech będzie zatem że...

4 godziny temu, Kraft napisał:

Ślepe testy są wałkowane przez naukowców od dawna. Zaufajmy ich praktyce.

 

Ps: @Karaluch fajny avatar 👍

[Rafał S]

5 godzin temu, Kraft napisał:

 Ślepe testy są wałkowane przez naukowców od dawna. Zaufajmy ich praktyce.

Ja tam nie ufam. Pozwolę sobie skopiować fragment z Wikipedii (bez sprawdzania faktów)

https://en.wikipedia.org/wiki/Statistical_significance

"In 2019, over 800 statisticians and scientists signed a message calling for the abandonment of the term "statistical significance" in science,[64] and the American Statistical Association published a further official statement [65] declaring (page 2):

We conclude, based on our review of the articles in this special issue and the broader literature, that it is time to stop using the term "statistically significant" entirely. Nor should variants such as "significantly different," " p ≤ 0.05 " and "nonsignificant" survive, whether expressed in words, by asterisks in a table, or in some other way."

A streszczając cały wpis na WIkipedii: ogólnie odchodzi się od stosowania poziomu istotności statystycznej do weryfikacji hipotez naukowych. Jeden z problemów polegał na doborze wartości progowej. Często przyjmowano próg 5% bez specjalnego uzasadnienia. I robiono tak przez lata, byle tylko wykazać się rzekomym odkryciem i upchnąć artykuł w branżowym czasopiśmie.

Wracając do naszych liczb. Przypomnę, że co najmniej 8/10 to około 5.5% szansy przy "głuchym" zgadywaniu. Co najmniej 15/20 to już tylko 2%. 66/100 to szansa mniejsza niż 0.1%. 600/1000 - znikome 0.0001%.

https://stattrek.com/online-calculator/binomial.aspx

(ustawiamy prawdopodobieństwo na 0.5 i odczytujemy wynik  z ostatniego pola)

Nie potrzeba więc wcale dużego odsetka trafień, żeby zredukować niemal do zera szansę przypadkowego zaliczenia testu. Wystarczy duża próbka wiarygodnych wyników. Tylko jak ją uzyskać?

Dopóki ograniczamy się do małej próbki (nie do uniknięcia przy pojedynczej testowanej osobie) pozostaje problem arbitralnego wyboru progu zaliczenia z jednej strony i ułomności czynnika ludzkiego z drugiej.

Prywatnie jestem bardzo nakręcony na ten test, ale umówmy się - nie damy rady zrobić tego na serio w kategoriach eksperymentu naukowego.

[Kraft]

46 minut temu, Rafał S napisał:

Prywatnie jestem bardzo nakręcony na ten test, ale umówmy się - nie damy rady zrobić tego na serio w kategoriach eksperymentu naukowego.

Nie chodzi o serio. Test tak, czy tak może być wartościowy. Załóżmy, że testowany go nie zaliczy, mimo, iż wcześniej był pewien wyraźnych słyszalnych różnic. Czy to nie będzie dla niego ważna lekcja? A dla czytających jego słowa, gdy przyzna się, że gdy nie wiedział co gra, to wcześniejsze różnice znikały? To może być pouczająca lektura dla osób z otwartymi umysłami i zdolnością do refleksji. 

[Rafał S]

18 minut temu, Kraft napisał:

Załóżmy, że testowany go nie zaliczy, mimo, iż wcześniej był pewien wyraźnych słyszalnych różnic. Czy to nie będzie dla niego ważna lekcja? A dla czytających jego słowa, gdy przyzna się, że gdy nie wiedział co gra, to wcześniejsze różnice znikały?

 Szczerze mówiąc, powyższe pachnie satysfakcją z samokrytyki składanej przez kogoś na zebraniu partii. Naprawdę tylko o to tu chodzi?

[Kraft]

Nie, to nie to. Wręcz przeciwnie. Od początku mam wątpliwości, czy osoby, które znam i lubię powinny podchodzić do tego testu. Mam mieszane uczucia. 

[Karaluch]

Przyjmijmy na potrzeby dyskusji, że jest możliwy test, który w mniejszym lub większym stopniu udowadnia, że bóg nie istnieje. Przyjmijmy na potrzeby dyskusji, że osoby wierzące w ogóle zdecydowałyby się wziąć w nim udział.

Nie ważne,  jak trudne do podważenia byłyby konkluzje testu, bo natychmiast po opublikowaniu wyników każdy wierzący, niczym za sprawą grawitacji, zacząłby "opadać" w kierunku swoich wcześniejszych przekonań; starano by się znaleźć najmniejszą rysę na metodologii testu i użyć jej do podważenia całego przedsięwzięcia, wygrzebano by z odmętów internetu najwątlejsze dowody i najbardziej zapomniane wypowiedzi różnych autorytetów jako kontrę.

W tym przypadku jest dokładnie tak samo. Nie jest to bowiem konflikt o podłożu naukowym, tylko o podłożu psychologicznym. Ktoś chce w coś wierzyć i co mu zrobisz - będziesz z nim polemizował do końca świata, czemu coś nie ma sensu? Zresztą, jeśli o podłoże naukowe chodzi, to sam test różnicowy kończy temat, a do tego nie potrzeba ludzi i żadnej statystyki.

Dla kogoś, dla kogo wiara jest kompasem moralnym i fundamentem jego rzeczywistości, jej porzucenie jest zbyt trudne. Dla kogoś, kto wydaje 2 tysiące funtów na kabel (duży plus/mały minus), to... lepiej, żeby ten kabel jednak grał.

Edytowano 15 grudnia 2021 przez Karaluch

[Kraft]

Oczywiście, za dużo nie ma co sobie po takim teście obiecywać. Mimo tego jednak warto.

[kaczadupa]

A czyje uszy będą testowane, można wiedzieć? I ile wiosen te uszy mają? Przecież nie posadzimy chyba 50, 60 czy 70 latków do testów kabli. I nie chcę przez to nikogo obrazić, żeby nie było...

[Karaluch]

6 minut temu, Kraft napisał:

Oczywiście, za dużo nie ma co sobie po takim teście obiecywać. Mimo tego jednak warto.

Jeśli organizator zapewni dobrą whisky do... zrelaksowania psychiki, to tak. W przeciwnym wypadku skończy się na wklejeniu jakichś linków i pdfów, gdzie ktoś wyjaśnia, dlaczego test od początku nie miał sensu.

5 minut temu, kaczadupa napisał:

Przecież nie posadzimy chyba 50, 60 czy 70 latków do testów kabli. I nie chcę przez to nikogo obrazić, żeby nie było...

No tych prawdziwych kabli, z serii real deal, to co do zasady nie słuchają przecież ludzie młodzi, którzy nie zdążyli się dorobić.

[Kraft]

13 minut temu, kaczadupa napisał:

A czyje uszy będą testowane, można wiedzieć?

Tego kto słyszy kable. To chyba oczywiste. Patrzenie w tym przypadku w metrykę byłoby niegrzeczne.

[Sqter83]

Nie siejcie zamętu.... albo ktoś słyszy albo wydaje mu się że słyszy..  W tym wypadku kolega Rafał chce udowodnić sobie i nam że słyszy.

Jak widzę mało kto ze słyszących  ma tyle odwagi żeby zmierzyć się przede wszystkim z samym sobą.

A czy wynik będzie taki czy inny to nie ma za bardzo znaczenia. Ci co chcą słuchać kabli dalej będą to robić. Ale tacy jak ja początkujący będą wiedzieć w jakim kierunku iść w tym hobby.

p.s. Dla mnie wystarczyłoby 5 trafień z rzędu żebym wyrobił sobie zdanie o kablach.

[Karaluch]

2 minuty temu, Sqter83 napisał:

albo ktoś słyszy albo wydaje mu się że słyszy.. 

p.s. Dla mnie wystarczyłoby 5 trafień z rzędu żebym wyrobił sobie zdanie o kablach.

Słyszenie to de facto interpretacja przez mózg tego, co zarejestrowały uszy. Osoba w psychozie może więc słyszeć rzeczy, których nie ma. Zresztą nawet we śnie widzisz i słyszysz, chociaż leżysz w ciemnym, cichym pomieszczeniu z zamkniętymi oczami. Niektórym potwornie ciężko uwierzyć, że na jawie też mogą słyszeć nieistniejące różnice - tylko dlatego, że chcą albo ich szukają. Co więcej, mogą to zasugerować - świadomie lub podświadomie - innym osobom, które to potwierdzą.

Jak ktoś ci każe zgadnąć 10 razy z rzędu, w której kieszeni ma cukierka, to możesz zupełnie na ślepo trafić 3 razy, ale i 6. Krótko mówiąc, przyjęte standardy co do ilości prób nie wzięły się z kosmosu.

[slaw0001]

51 minut temu, Karaluch napisał:

Słyszenie to de facto interpretacja przez mózg tego, co zarejestrowały uszy. Osoba w psychozie może więc słyszeć rzeczy, których nie ma. Zresztą nawet we śnie widzisz i słyszysz, chociaż leżysz w ciemnym, cichym pomieszczeniu z zamkniętymi oczami. Niektórym potwornie ciężko uwierzyć, że na jawie też mogą słyszeć nieistniejące różnice - tylko dlatego, że chcą albo ich szukają. Co więcej, mogą to zasugerować - świadomie lub podświadomie - innym osobom, które to potwierdzą.

Jak ktoś ci każe zgadnąć 10 razy z rzędu, w której kieszeni ma cukierka, to możesz zupełnie na ślepo trafić 3 razy, ale i 6. Krótko mówiąc, przyjęte standardy co do ilości prób nie wzięły się z kosmosu.

Karaluch spod poduchy...ciągnie zwierza do lasu.😁

[nowy78]

👍🤣

[Karaluch]

55 minut temu, slaw0001 napisał:

Karaluch spod poduchy...ciągnie zwierza do lasu.😁

Nie wiem, co się kryje za tym kodem, ale karaluchy cięgnie raczej do szczelin stworzonych przez człowieka, a także w samym człowieku. Mogą np. wejść do ucha.

No ale może trzymajmy się meritum, jak już o to wielokrotnie prosił moderator.

[Butler]

8 godzin temu, Karaluch napisał:

Osoba w psychozie może więc słyszeć rzeczy, których nie ma.

Dlaczego zakładasz że w przypadku testu może ktoś dochodzić do psychozy? Psychoza to zaburzenie które się leczy. Wątpię by osoba testująca kable cierpiała na urojenia i halucynacje, dopiero wówczas Twoja teza miała by sens, chyba że masz na myśli potoczną mowę.

Edytowano 16 grudnia 2021 przez Butler