Zasada jest jedna i brzmi banalnie, dopóki się jej nie zastosuje: każda liczba w tych tekstach musi pochodzić z pełnego tekstu badania, a nie z omówienia.
Banalna przestaje być w momencie, w którym okazuje się, ile twierdzeń jej nie przechodzi.
Co to znaczy w praktyce
Zanim liczba trafi do artykułu, ktoś otwiera źródło i szuka w nim tego konkretnego zdania. Nie streszczenia w serwisie popularnonaukowym, nie akapitu w innym artykule, nie karty produktu. Pracy.
Przy każdym źródle na dole każdego tekstu stoi data, kiedy to zrobiono. Jeśli tej daty nie ma, tekst nie przechodzi testu i nie da się go opublikować — pilnuje tego skrypt uruchamiany przy każdej zmianie w repozytorium.
Cztery twierdzenia, które sami mieliśmy błędnie
Pierwsza wersja planu tego produktu zawierała cztery rzeczy, które nie przetrwały sprawdzenia. Zostawiamy je tu wypisane, bo artykuł o tym, jak się człowiek pomylił, jest wart więcej niż artykuł udający nieomylność.
„31% niższe ryzyko raka prostaty”. Tej liczby nie ma w pracy, do której ją przypinaliśmy. Rider i wsp. raportują HR 0,78, czyli około 20% — i to niemal wyłącznie dla nowotworów niskiego ryzyka; dla postaci zaawansowanej i śmiertelnej wynik nie jest istotny statystycznie[1]. Około jednej trzeciej pochodzi z wcześniejszej analizy tej samej grupy z 2004 roku[2], którą aktualizacja z 2016 osłabiła.
„80,8% zaburzeń nastroju w klinicznych próbach CSBD”. To jedno badanie z 1994 roku, na 26 osobach, według kryteriów starszych o ćwierć wieku od pojęcia CSBD. 80,8% to po prostu 21 z 26. Nie da się tego nazwać „danymi o CSBD”.
„Efekt naruszenia abstynencji prowadzi do wpadki”. Nie istnieje metaanaliza tego konstruktu. Najlepszy dostępny test prospektywny nie potwierdził, żeby samoobwinianie czy poczucie winy przewidywały powrót do zachowania.
„Dłuższa abstynencja pogarsza ruchliwość plemników”. W metaanalizie samych badań z losowym przydziałem efekt na ruchliwość jest nieistotny statystycznie. Potwierdzona jest wyłącznie fragmentacja DNA.
Skąd biorą się takie pomyłki
Zawsze tak samo: liczba jest w omówieniu, omówienie jest wiarygodne, a praca źródłowa jest długa i za paywallem. Wszystkie cztery powyższe błędy powstały w ten sposób i żaden nie wyglądał na błąd.
Drugi mechanizm jest subtelniejszy: liczba przeżywa badanie. Mocniejszy wynik z 2004 roku zostaje w obiegu, a osłabiająca go aktualizacja z 2016 — nie. To samo dzieje się z wycofaniami: praca o testosteronie została wycofana w 2021 roku[3], a liczba 145,7% ma się dobrze do dziś.
Czego tu nie znajdziesz
Odsetków dla Polski. Zespół, który badał rozpowszechnienie kompulsywnych zachowań seksualnych w polskich próbach, publikuje za płatnym dostępem. Dopóki nie sprawdzimy tych prac w pełnym tekście, nie podajemy żadnej liczby dla Polski — nawet takiej, która krąży po innych stronach.
Obietnic zdrowotnych. Nie ma badania, które pozwalałoby obiecać cokolwiek z abstynencji. Jest badanie miesiąca, które nie wykazało ani korzyści, ani szkód[4].
Progów diagnostycznych. Kwestionariusz w aplikacji jest orientacyjny i jawnie niediagnostyczny, wynik jest opisowy, nie punktowy, a odpowiedzi nie są nigdzie zapisywane. Wersje z progami klinicznymi zbliżyłyby ten produkt do definicji wyrobu medycznego, a to zupełnie inna kategoria zobowiązań.
Kto to pisze
Redakcja HardModeChallenge. To nie jest zespół medyczny i nie udaje nim być. Kompetencja, którą tu wnosimy, to czytanie prac źródłowych i podawanie liczb razem z ich zastrzeżeniami — a nie stawianie diagnoz.
Jeśli znajdziesz liczbę, która nie zgadza się ze źródłem, to jest błąd i chcemy o nim wiedzieć. Zmieniony tekst dostaje nową datę aktualizacji, widoczną nad artykułem.