Discrepâncias entre resultados pré-especificados e reportados

Tags

,

A mais recente publicação de Ben Goldacre é um estudo de coorte prospectivo que dá conta da real dimensão do problema das discrepâncias entre os outcomes pré-especifícados (antes do estudo) e os outcomes reportados (após o estudo) em 67 ensaios clínicos publicados num de cinco principais jornais científicos em saúde – New England Journal of MedicineThe LancetJournal of the American Medical AssociationBritish Medical Journal, and Annals of Internal Medicine.[1] O estudo considera ainda as tentativas de corrigir essas descrepâncias.[2] Todos estes jornais estão publicamente comprometidos com o CONSORT (Consolidated Standards of Reporting Trials). Para ler, com preocupação, em duas partes:

1. COMPare: a prospective cohort study correcting and monitoring 58 misreported trials in real time

2. COMPare: Qualitative analysis of researchers’ responses to critical correspondence on a cohort of 58 misreported trials

 

Advertisements

The Global Gender Gap Report

Tags

,

The World Economic Forum just issued The Global Gender Gap Report and the best-ranked countries are:

GenderGap_2018_2018_top10_global-1.png

The best-ranked countries in western Europe are:

GenderGap_2018_2018_globaltop10_westerneurope-1.png

Progress has been done and there is an improvement to close the gap. However, at this rate, it will take 108 years for the world to close the Gap. In western Europe, it may be about 61 years.

2018_Regions_to_Close_Gap.png

Portugal dropped to the 37th position compared to the 33rd position in 2006. The economic and educational indicators also dropped from the 33rd to the 44th and from the 57th to the 82nd positions respectively. Only the health and survival indicators have improved from the 71st to the 54th position. Regarding gender inequality, we still have a long road ahead of us. You can further explore the data here.

gender gap portugal.jpg

 

They finally did it | Parachute use to prevent death and major trauma when jumping from aircraft

Tags

,

A randomized controlled trial about parachute use to prevent death and major trauma when jumping from aircraft was finally published by Robert W Yeh in BMJ.

Since 2003 Smiths’ Systematic Review that was unable to identify any randomised controlled trials of parachute intervention and thus concluded that the effectiveness of parachutes had not been subjected to rigorous evaluation by using randomised controlled trials, the world was expecting such a trial.

aviao.jpgThe conclusions: ‘Parachute use did not reduce death or major traumatic injury when jumping from aircraft in the first randomized evaluation of this intervention. However, the trial was only able to enroll participants on small stationary aircraft on the ground, suggesting cautious extrapolation to high altitude jumps. When beliefs regarding the effectiveness of an intervention exist in the community, randomized trials might selectively enroll individuals with a lower perceived likelihood of benefit, thus diminishing the applicability of the results to clinical practice’.

Scientific Publications | Christmas Pearls

Tags

,

Several journals have developed a tradition of publishing slightly different papers in their December issues. These papers are intended to either make a provocative statement, making us reflect upon unusual topics, or provide unusual examples of scientific topics. I like to call them Christmas Pearls. This year my favorite Christmas Pearls:

“Death is certain, the time is not”: mortality and survival in Game of Thrones

Kaplan-Meier survival analysis with Cox proportional hazard regression modeling was used to quantify survival times and probabilities to identify independent predictors of mortality among ‘important characters’ (n = 330) appearing in Seasons 1 to 7 of Game of Thrones.

Although the statistics are quite sound and the data extensive some remarks are mandatory.

First, resuscitation bias was not considered (e.g. John snow). Neither were white walkers. Not clear what justifies the exclusion of these non-less important characters. From a mixed-methods perspective, white walkers could have participated in a focus group discussion of the results, for example.

Secondly, the effectiveness of wall policies for security purposes is clearly understated.

Finally, the authors conclude:

There is great potential for preventing violent deaths in the world of Game of Thrones. Stable democratic governments, resilient institutions that deliver public goods, and implementation of evidence-based violence prevention policies can decrease the risk of violent deaths considerably“.

Given that winter is coming this is clearly an unrealistic and utopic worldview of Game of Thrones.

 

Is it time to start using the emoji in biomedical literature?

 

The lack of standardisation in emoji artwork that may cause ambiguity in interpretation is quite disturbing. Also, the emoji based alternatives to the denotation of statistical significance can’t really apprehend the need to consider the enunciation of the null hypothesis for adequate interpretation of P-values. The smiling-face-with-sunglasses_1f60e.png in a Kolmogorov-Smirnov to check distribution assumptions for parametric testing may be actually hiding

crying_emoji_small_classic_round_sticker-r4c998b077b254fe69908fa4ca57ce521_v9waf_8byvr_540.jpg.

table 01

F8.large.jpg

Research on self-treatment of “writer’s block” – a timeline critical appraisal

Tags

,

Research on the self-treatment of ‘Writer’s Block’ is vast and diversified. You might enjoy reading these articles, they are a fun and fast read. Please, do pay attention to the notes on them. My critical appraisal on the research about ‘Writter’s Block’ may be found at the end of this post.

1974 – the classical CASE REPORT by Dennis Upper:

  • Upper, Dennis (Fall 1974), “The unsuccessful self-treatment of a case of “writer’s block””, Journal of Applied Behavior Analysis, 7 (3): 497, doi:10.1901/jaba.1974.7-497a PDF Here

1983 – a REPLICATION study is performed by Molloy:

  • Molloy, G. N. (1983). The unsuccessful self-treatment of a case of “writer’s block”: A replication. Perceptual and Motor Skills, 57(2), 566-566. PDF Here

1984 – a new REPLICATION, however it partially failed, by Hermann:

  • Hermann, B. P. (1984). Unsuccessful self-treatment of a case of “writer’s block”: a partial failure to replicate. Perceptual and Motor Skills, 58(2), 350-350. PDF Here

1984 – a first REVIEW OF THE LITERATURE on the topic. Still, it was a narrative literature review, we have to wait until 2014 for the first systematic review and meta-analysis

  • Olson, K. R. (1984). Unsuccessful Self-Treatment of “Writer’s Block”: A Review of the Literature. Perceptual and Motor Skills, 59(1), 158–158. doi:10.2466/pms.1984.59.1.158 PDF Here

1985 – a CLINICAL TRIAL by Skinner:

  • Skinner, N. F., Perlini, A. H., Fric, L., Werstine, E. P., & Calla, J. (1985). The Unsuccessful Group-Treatment of “Writer’s Block”. Perceptual and Motor Skills, 61(1), 298-298. PDF Here

1996 – a COHORT study by Skinner:

  • Skinner, N. F., & Perlini, A. H. (1996). The unsuccessful group treatment of “writer’s block”: a ten-year follow-up. Perceptual and motor skills, 82(1), 138-138. PDF Here

2007 – a MULTICENTER REPLICATION study, an attempt to address statistical power issues by Didden:

  • Didden, R., Sigafoos, J., O’Reilly, M. F., Lancioni, G. E., & Sturmey, P. (2007). A multisite cross‐cultural replication of upper’s (1974) unsuccessful self‐treatment of writer’s block. Journal of applied behavior analysis, 40(4), 773-773. PDF Here

2014 – an evidence synthesis in a META-ANALYSIS by McLean:

  • McLean, D. C., & Thomas, B. R. (2014). Unsuccessful treatments of “Writer’s Block”: a meta-analysis. Psychological reports, 115(1), 276-278. PDF Here
Captura de ecrã 2018-10-05, às 16.11.03

McLean, D. C., & Thomas, B. R. (2014). Unsuccessful treatments of “Writer’s Block”: a meta-analysis. Psychological reports, 115(1), 276-278

 

After systematic and iterative readings on the ‘Writer’s Block’ scientific literature my critical appraisal is

 

 


If you have updates on this topic, please let me know

Acknowlegements: to Professor Pedro Lopes dos Santos and Professor Isabel Menezes for sharing with me several ideas on “Writer’s Block” and useful literature about it. I would like to say to them tha

 

 

 

p-Hacking – A call for ethics

Tags

p-hacking consists of the exhaustive exploitation of data through the use of different analytical models and/or the manipulation of the application criteria of these models until statistically significant results are obtained.

p-hacking can be described in a simpler manner has the art of torturing data until they confess something.

While publication bias removes from the scientific literature true or false negatives the p-hacking brings to the scientific literature true or false positives.

Conditioned scientific literature (i.e. the absence of false negatives and the presence of false positives) will bias the results of secondary studies aiming to synthesise scientific evidence, such as meta-analyses, that inform clinical guidelines and evidence-based decision making.

Here, I present a call for health ethics committees to assess the manifestation of researchers’ analytical intent in research protocols (i.e. pre-specified or exploratory) as a way to help prevent and further study the p-hacking bias.


p-Hacking – A call for ethics | PDF. Available from: https://www.researchgate.net/publication/324231282_p-Hacking_-_A_call_for_ethics

Luto pela ciência

Serei bastante claro: quando digo ‘luto’ não me refiro ao substantivo, estou mesmo a conjugar o verbo. Digo que luto pela ciência e digo-o porque é necessário lutar pela ciência em Portugal. É estranho que seja assim, mas é.

  • Portugal nunca foi um país de ciência.

Sim, Coimbra é das Universidades mais antigas da Europa. Remonta ao século XIII, nascida em Lisboa, é transferida para Coimbra no século XVI. Nesse mesmo período abre portas a Universidade de Évora. Entretanto, na vizinha Espanha abrem portas, durante o século XVI, catorze novas Universidades. Catorze!

Estima-se que no início do século XX, quando abrem portas as Universidades do Porto e de Lisboa, estudavam cerca de 1500 estudantes na Universidade de Coimbra e apenas 25% da população ativa sabia ler e escrever. A Finlândia tem desde o século XIX 95% da população ativa a saber ler e escrever. Portugal atingiria essa mesma marca de desenvolvimento social em 2008. Sim, já no século XXI.

Na década de 90, do século XX, Mariano Gago, enquanto Ministro da Ciência e da Tecnologia, dinamizou um conjunto de políticas que permitiram a Portugal desenvolver recursos humanos e centros de investigação de qualidade a nível Europeu em várias áreas cientificas e tecnológicas. ‘Massificou-se’ o Ensino Superior. Tive o enorme privilégio de ser bolseiro de Doutoramento da FCT graças a essas políticas visionárias.

Contudo, nos últimos vinte anos a falta de visão e de estratégia política para a ciência em Portugal degenerou numa FCT Kafkiana. Portugal não tem uma agência de financiamento de ciência e tecnologia capaz de fornecer o que o país necessita:  consistência, transparência, seriedade.

  • Vivemos numa era de Manifestos

Em Maio de 2018 vários cientistas, reconhecidos em diversas áreas, elaboraram um Manifesto apontando falhas e solicitando soluções urgentes para a ciência portuguesa. O inesperado aconteceu: o cidadão cientista Manuel Heitor também subscreveu o manifesto. A expectativa foi grande. A desilusão não tardou, o ministro ‘centeno’ Manuel Heitor nada fez que dignifique o conteúdo subscrito.

A precariedade laboral na sociedade portuguesa enquistou de tal forma que se tornou a norma. A não existência de vinculo laboral caracteriza agora as relações laborais e em ciência, tal como nas empresas, isto tem custos associados. Já ninguém se preocupa em apagar a luz quando sai. O que parte, partido fica. Os melhores emigram a cada dia que passa. A mediocridade está a tomar conta das instituições. Um outro Manifesto apela às instituições que mudem de rumo em direção ao mérito científico e pedagógico.

Em Janeiro de 2017, Foi publicado na Nature um Manifesto que defende a melhoria da fiabilidade e da eficiência do processo de investigação científica. Problemas de ausência de transparência no financiamento ou de meritocracia não serão um exclusivo português, no entanto, não é disso que este texto fala. O sistema de produção e de disseminação científica está em crise e discutem-se atualmente formas de o melhorar metodologicamente. Este artigo discute ciência, não a política de financiamento ou de contratação.

Cá, por terras lusas, a crise parece ser ontologicamente distinta. O meio académico ainda não foi capaz de integrar os seus goliardos, que aparecem tardiamente no século XXI sob a designação de bolseiros. Ironicamente, os diretores e reitores são agora empossados ao som de Gaudeamus igitur!

  • Luto pela ciência

Não me surpreende que hoje um grupo de investigadores tenha virado as costas ao primeiro ministro durante o seu discurso. Nos últimos vinte anos políticos, reitores e diretores têm, ativa ou inativamente, contribuído para o estado negligenciado e deteriorado da ciência em Portugal. Estoicamente alguns, poucos, centros de investigação produzem ciência em Portugal. Orgulho-me de estar integrado num deles.

Escolhi fazer ciência. Como eu, muitos outros. Amanhã e depois faremos o que escolhemos e sabemos fazer, por isso, lutaremos pela ciência em Portugal. Não se enganem, não estamos de Luto, estamos em Luta.