Връзка между легализацията на марихуана и автомобилните катастрофи? Глупости

През октомври Институтът за данни за загубите на магистрали и Застрахователният институт за безопасност на пътищата публикуваха самостоятелно публикуван доклад, в който се предполага, че има силна корелационна връзка между честотата на автомобилните катастрофи и легализацията на марихуаната в щатите. Това би било мъчителна новина, ако откритието се основава на сериозни научни доказателства.

За съжаление на тези институти обаче данните от изследванията в най-добрия случай са мътни. И тъй като тези организации са публикували доклада, вместо да преминат през процеса на научна рецензия, е трудно да приемат констатациите си сериозно.

Преди да започнем да разглеждаме данните, читателите трябва да разберат, че въпреки че Институтът за данни за загубите на магистрали (HLDI) и Институтът за застраховка за безопасност на магистралите (IIHS) са две различни законно организации, те споделят едно и също висше ръководство, един и същ физически адрес и вероятно много повече. Звучи сякаш това са две независими, несвързани организации, които са намерили подобни резултати, когато са обединили колективните си умове, но това не е така.

Също така трябва да започна тази статия с обичайното научно напомняне - корелацията не е равна на причинно-следствена връзка. Ако направя проучване за ефекта от хората, които отварят чадърите си в градска зона в центъра на града, ще открия много силна положителна връзка между това действие и наличието на дъжд. Но знаем, че отварянето на чадър не води до дъжд. И все пак науката лесно ще покаже силна връзка между двете - като накара някои тъжни, неволни изследователи да предположат, че определено има причинно-следствена връзка.

Нека да изберем нашите контролни държави

В новото проучване изследовател разгледа данните за катастрофи на магистрали за три целеви държави, където марихуаната е станала легализирана извън медицинската употреба (Monfort, 2018). След това той сравнява нивата на произшествия в тези държави с пет контролни държави (държави, които обикновено граничат с легализираните държави с марихуана). Например, Колорадо беше съчетано с три щата: Небраска, Юта и Уайоминг.

Вече виждате проблема, нали? Колорадо има граници с шест щата, а не само с три: Аризона, Ню Мексико и Канзас. Виждаме подобен проблем и с другите избрани контролни състояния. Контролните щати на Орегон бяха Айдахо (правилно състояние за сравнение) и Монтана - държава без излаз на море, с която споделя малко общо и няма граница.

Изследователят обосновава този избор, тъй като сестринската организация на IIHS публикува предишен доклад за избора на тези държави. Тези неназовани изследователи избраха състоянията въз основа на съотношение - понякога не много силно - на приликите между скоростта на техните данни за сривове. Не демографски данни, география (изкривени планински пътища срещу равни полета) или някаква друга причина.1 Спорно е дали „сезонните модели на катастрофи преди 2014 г.“ са легитимна научна сравнителна променлива за избор на контролни състояния, когато други променливи изглеждат далеч по-подходящи.

В последващ имейл с говорителя на IIHS той каза, че изследователят иска „да използва два различни набора от данни и да види дали резултатите ще бъдат подобни. Използването на различни контролни състояния не би имало смисъл. "

Както дългогодишните читатели знаят, изследователите могат в голяма степен да манипулират своите данни, анализи или хипотези, за да демонстрират резултатите, които искат да намерят. Това е една от причините, поради които много хора по принцип са скептични към изследванията. Има толкова много начини, по които изследователят може да манипулира данните - често поради много легитимни, основателни причини - че може да бъде предизвикателство да се открие въведената пристрастност.

Това обаче не беше случаят с това проучване. Мисля, че пристрастията според мен са доста ясно изложени.

11 анализа, но само 3 значими

Вторият признак на този изследователски доклад е пълна глупост е, че дори когато тестето карти е подредено по начин, който самият изследовател е избрал, той все още не може да намери голямо значение в данните за повечето статистически анализи, които е провел. Вижте сами:

Виждате ли тези три звездички? Това са единствените три анализа, които са статистически значими. Забележете как само една от тези звездички се появява в реално сравнение между щатите - между Колорадо и Юта. Всички останали държавни анализи не показват значителна разлика между контролната държава и правната държава с марихуана.

В седемте анализа на състоянието само на държава само един се оказа толкова важен. Това е доста значителна констатация, която беше отразена в доклада (и изобщо не е спомената от IIHS). В моите изследователски кръгове бихме нарекли това „слабо“.

Нека обединим данните!

Едва когато изследователят обедини цял куп контролни състояния, той откри още две значими корелации.

Като цяло разбирам, че изследователите се въздържат да обединяват данни от различни източници, освен ако не могат да обосноват решението си за това, и да гарантират, че основните променливи са еднородни (или подобни).

Не само трябва да осигурите това за група държави, както е в настоящото изследване. Но изследователят също така обединява данни за няколко години.

Не е очевидно какво оправдание е използвал изследователят, за да избере годините, които е направил (2012-2016 г.), освен да каже, че това са годините, в които такива данни са били налични във всички тези държави. Въпреки това, при моето бегло търсене на всеки от правителствените уебсайтове на тези щати, като цяло открих, че данните за сривове са налични надеждно от 2005 г. насам.

Знаем, че годишните данни за катастрофите не са еднородни - те могат да варират значително от година на година. Например във всички щати процентът на катастрофите се е увеличил през 2014, 2015 и 2016 г., независимо от щата. И така, това, което изследователят се опитва да измери дали нарастването на Айдахо със 7,84 процента през 2015 г. е различно от увеличението на Орегон за 7,09 процента, благоприятно за Марджуана Или дали процентът на катастрофите в Колорадо за 2015 г. с 4,37 процента по-голям от броя на катастрофите е значително по-различен от 9,96 процента в Юта или 10,19 процента от Ню Мексико.

Освен това различните щати получиха различни размери на басейна за изследваните месеци, в зависимост от това кога техните продажби на дребно на марихуана са влезли в сила. Това означаваше за Орегон, изследователят събра 2012, 2013, 2014 и по-голямата част от 2015 г. като един набор от данни, а 2016 + 2 месеца през 2015 г. като втори набор от данни (46 месеца срещу 14 месеца). Но Колорадо легализира марихуаната през януари 2014 г., така че имаше само две години данни преди легализацията и три години данни след легализация.

При справедливо и точно научно сравнение, всички набори от данни трябва да са с еднакъв размер по отношение на разглеждания период от време преди и след променливата, която се опитвате да измервате във вашия анализ. Особено когато тези данни, както знаем, не са еднородни.

И така, какво показват данните?

Изследователят не предостави обичайните подробности, които ще са необходими, за да се възпроизведе работата му. Затова трябва да проучим необработените данни и просто да разгледаме по-очевидните проблеми.

Като разгледаме Колорадо, можем да сравним степента на произшествия с течение на времето с две други държави. Преди 2013 г. Колорадо се радваше на годишен спад в общите нива на произшествия (всички данни от уебсайта на всяка съответна държава). След това през 2013 г. държавата отбеляза скок от 6,29% в катастрофите, което продължи през 2014 г. (6,79%) и 2015 г. (4,37%). През 2016 г. държавата е отчела само 0,35 процента.

Сравнете тези числа с едно от контролните състояния, Юта, което изследователят е включил. Юта също отчита ръст на катастрофите през 2013 г. (9,05%), които намаляват през 2014 г. (-2,96%). Процентът на катастрофите в тази държава отново се повиши през 2015 и 2016 г. (съответно 9,96% и 3,94%).

Сега нека сравним тези числа с едно от контролните състояния, което не е избрано от изследователя, Ню Мексико. През 2013 г. се наблюдава спад в процента на катастрофите (-4,78%), но след това две години на възход през 2014 и 2015 г. (съответно 3,64% и 10,19%). През 2016 г. в Ню Мексико се наблюдава спад от -0,53 процента.

Вярвам, че причината Юта да бъде избран за Ню Мексико беше проста. Процентът на катастрофите му през 2014-2016 г. (те са ключови години за сравнение на марихуаната в Колорадо) е повишил кумулативно само 10,94%. Ако вместо това институтите бяха използвали Ню Мексико, процентът на катастрофи за същия период от време беше 13,3 процента. В сравнение с кумулативните 11,51% от Колорадо, можете да видите, че Юта е по-ниска - но Ню Мексико (също съседен щат Колорадо) е близо 2 процентни пункта по-високо.

Хвърлете всичко това в анализ, който отчита „държавни характеристики“ (който включва само нивата на безработица и времето), и вуаля! Данните, които привидно показват, че продажбите на марихуана влияят върху нивата на сривове.

Какво означава това за марихуаната?

Данните, дори от настоящото изследване, не показват основно статистическо значение между продажбите на дребно на марихуана и броя на автомобилните катастрофи в дадена държава. Ако изобщо съществува корелация, тя е много слаба и е установена само когато изследователят е използвал, по мое мнение, съмнителни анализи в изследването. Някои съседни на Колорадо държави - например Ню Мексико - не бяха включени в анализа и показаха по-голямо увеличение на нарастването на процента на произшествията им за същия период от време, отколкото Колорадо.

Смятам, че този вид доклад се отразява зле както на IIHS, така и на HLDI. Според мен тези организации, финансирани предимно от застрахователни компании, публикуват страшни констатации, за да постигнат политическа и бизнес цел. Те класифицират тези констатации като „изследвания“, въпреки факта, че понякога се публикуват само на собствения уебсайт на организацията и очевидно не са рецензирани, както се прави в традиционните научни изследвания. („Последното ни проучване за легализация на развлекателна марихуана и докладвани от полицията катастрофи е изпратено за публикуване в списанието Анализ и предотвратяване на злополуки, ”Отбелязва говорителят на IIHS.)

Това, което имаме тук, е това, което бих нарекъл „фалшиво изследване“ - изследване, което се простира, за да покаже значителна връзка, където очевидно има само голям въпросителен знак. И дори да е имало корелационно значение, това изследване няма нулева подкрепа за причинно-следствена връзка. Свързахме се с организациите за коментар и те просто ни върнаха в проучването за отговори. Например говорителят на IIHS заяви: „Данните за катастрофите от състоянията на марихуана в проучването на IIHS не се събират, но индивидуалните резултати от всяко състояние са комбинирани в мета-анализ, което е приет метод за изследване. Индивидуалните резултати за Колорадо и Вашингтон в анализа на HLDI са статистически значими. "

Когато посочих, че настоящото проучване показва значение само за един щат - Колорадо (и то само в сравнение с един друг щат, Юта) - говорителят ме насочи към предишното проучване. Явно не са наясно, че ако по-нова изследванията противоречат на по-ранните изследвания, не можете просто да продължите да посочвате, че по-ранните изследвания все още са валидни. Новото проучване на IIHS показва, че вече няма значителна връзка между марихуаната и катастрофите във Вашингтон - точно обратното на това, което твърди говорителят.

IIHS е организация, която се опитва да образова и информира политиците по отношение на безопасността на автомобилистите. За съжаление, повечето политици и граждани няма да разберат или да осъзнаят, че са били измамени и вместо това вярват, че този вид проучване всъщност е научно.

Накратко, няма силни данни, свързващи продажбите на дребно на марихуана с увеличаване на автомобилните произшествия. Данните, с които разполагаме, показват само много ограничена, слаба корелация - не причинно-следствена връзка - чрез статистически трикове.

Отсега нататък ще бъда далеч по-скептичен към всичко, което IIHS или HLDI публикуват.

Бележки под линия:

1. По-конкретно, „Контролните състояния бяха избрани въз основа на близостта до състоянието на изследването, както и на сходството на сезонните модели на катастрофи преди 2014 г. Това сходство се основава на корелациите между месечните честоти в състоянието на изследването и всяко потенциално контролно състояние по време на 24 месеца на 2012–13. Коефициентът на корелация на Пиърсън за Колорадо и Небраска е бил 0,85; за Уайоминг, 0.79; и за Юта, 0,60. За Вашингтон като контроли бяха избрани щатите Монтана (0.67) и Айдахо (0.63). За Орегон бяха използвани щатите Айдахо (0,67) и Монтана (0,83). “ [↩]