12 de maio de 2010

Análise crítica de artigo científico: Um exercício para aprendizado e avaliação

COSTA, M. C. et al. Fatores associados ao baixo risco cardiometabólico em mulheres obesas. Arq Bras Endocrinol Metab 54 (1): 68-77, 2010.
A avaliação escrita de MCO3 em 2010.1 teve como objetivo a análise crítica de um artigo científico original (referência acima). Trata-se de um bom artigo, bem redigido, sobre um tema relevante e atual. Diferentemente da maioria dos artigos publicados, este apresenta explicitamente a hipótese de pesquisa.

Contudo, mesmo bons artigos têm falhas. Este foi o exercício proposto à turma. O estudante de Medicina precisa ser capaz de julgar os argumentos apresentados em cada artigo, contra ou a favor de evidências, resultados, dados, interpretações ou intervenções.

Ajuda muito, ao se ler um trabalho, ter uma lista de pontos específicos que precisam ser observados. Assim, foi fornecida, uma semana antes da prova, uma lista de questões que poderia ser usada na análise de qualquer tipo de pesquisa, tornando o trabalho de leitura crítica mais fácil, principalmente quando se tem em conta que é mais difícil detectar uma omissão do que um erro. Obviamente, avaliou-se não apenas o seguimento da lista, mas o julgamento dos alunos em termos de profundidade e senso crítico na leitura do artigo.

As questões propostas na avaliação foram as seguintes:

(1) Analise criticamente a seção de Introdução.

(2) A metodologia é suficientemente descrita possibilitando sua replicação? Justifique.

(3) As tabelas são auto-explicativas? Estão apresentadas de forma completa e adequada conforme as normas ABNT?IBGE?

(4) Todos os dados apresentados são descritos na metodologia (e vice-versa)?

(5) As limitações do trabalho são discutidas pelos autores? Se não, que limitações apresenta a pesquisa?

Comentários sobre a análise e elementos essenciais a serem considerados nas respostas à avaliação

Quanto à Introdução (primeira questão), considerou-se como essencial na análise, a consideração do problema e hipótese de pesquisa, a delimitação do tema, sua relevância e a qualidade da fundamentação teórica, assim como o estilo e correção da redação.

Outros aspectos que agregaram valor às respostas foram:
a) Não foi definido o que se considerou como baixo risco cardiometabólico, sendo este o desfecho do estudo e, portanto, deveria ser conceituado nominalmente na Introdução. [Foi feita a conceituação operacional da seção de Métodos].
b) As autoras não mencionaram se havia estudos anteriores abordando o mesmo problema de pesquisa; se havia, quais seriam as lacunas daqueles trabalhos e portanto, qual a contribuição deste estudo; se não havia, este deveria ser um aspecto salientado como originalidade do trabalho.
c) Não foram referidos na Introdução outros fatores cardioprotetores já bem estabelecidos na literatura, como níveis adequados de HDL-colesterol, dieta pobre em gorduras saturadas, prática regular de exercícios físicos, baixos níveis de homocisteína e consumo alimentar de fibras/frutas.
d) A sigla FRCM, presente no texto da Introdução, não foi escrita por extenso nenhuma vez.
e) Foram usados termos pouco precisos, tais como "mais recentemente" e "nas últimas décadas".
f) Nos objetivos (último parágrafo da Introdução), não foi especificada a população-fonte invertigada no estudo, ou seja, mulheres obesas atendidas em ambulatórios especializados do SUS, Salvador, BA, embora esteja redigido de forma completa nor esmo. Porém este é independente do texto do artigo e este último deve estar refletir de forma fidedigna no resumo e vice-versa.
g) As referências empregadas na revisão da literatura foi recente, incluindo trabalhos publicados nos últimos cinco anos em 55,6% das citações contidas na Introdução.
h) Não foi feita uma introdução com lista exaustiva de citações bibliográficas, o que foi adequado, havendo apenas as citações que mostraram que o problema existe e é relevante (ressalvando-se a observação feita no item [b] acima).
Quanto à segunda questão, sobre a seção de Métodos, a resposta é não, apesar de ter sido razoavelmente descrita; considerou-se como fundamental a inclusão dos seguintes aspectos na resposta ao quesito:
a) A falta de esclarecimentos sobre o cálculo do tamanho da amostra não permite a concreta replicação do estudo, a não ser fazendo-se nova estimativa daquele. Tem surgido, mais recentemente, muita discussão em torno do tamanho das amostras. Isto porque muitas pesquisas que não detectaram diferença estatística entre tratamentos tinham, na verdade, pouca chance de fazê-lo devido ao pequeno tamanho. É preciso muita atenção neste ponto. Ainda, são poucos os trabalhos que relatam como foi estabelecido o tamanho da amostra. Aliás, a idéia de calcular o tamanho da amostra é pouco conhecida na pesquisa médica e, por causa disso, muitos trabalhos são feitos com amostras muito pequenas. O cálculo do tamanho da amostra deste trabalho poderia ter se baseado em estudo anterior que estimasse a prevalência de obesidade em mulheres, que poderia ser em torno de 20%, com uma aceitável uma margem de erro de 2,5% e nível de confiança de 95%. Por outro lado, para estudar a associação com os fatores de risco, deveria ter sido considerado o sedentarismo como a exposição de maior frequência. b) Deveria ter ficado mais claro como foi verificada a existência de obesidade dos pais das participantes da pesquisa (poderia ter sido esclarecido, por exemplo, que tinha sido referida pela entrevistada através da pergunta se seu pai/mãe é ou era gordo/gorda);
c) A determinação do índice de massa corporal também não foi feita de modo preciso; e qual terá sido o tipo e a marca da balança usada e qual a sua capacidade e precisão?.
d) Não foi especificado o período em que foi realizado o trabalho de campo, apenas se sabe que começou em 2006.
e) Quantos entrevistadores participaram? Estes trabalharam em duplas com a finalidade de obter medidas antropométricas mais fidedignas?
f) Não foram mencionados os critérios de exclusão da pesquisa; será que foram excluídas as mulheres com obesidade mórbida?
- Outros aspectos da análise da metodologia no sentido de avaliar se o estudo é replicável são o esclarecimento de se no modelo hierárquico empregado, foram analisadas as variáveis de cada bloco conjuntamente, ajustadas para aquelas que se encontravam no nível imediatamente superior, e se foram mantidas no modelo as variáveis que apresentavam significância estatística; também não há menção a ajustes realizados na metodologia em virtude de resultados dos pré-testes, nem se faz alusão aos resultados destes.
Quanto à terceira questão, as tabelas não estavam auto-explicativas nem totalmente de acordo com a Associação Brasileira de Normas Técnicas (ABNT). Esta define normas para tabelas e figuras através das normas NBR 6029 e NBR 6822. As tabelas devem permitir, o mais possível, uma leitura direta sem que seja necessário recorrer ao texto, ou seja, toda tabela deve ter significado próprio, dispensando consultas ao texto. Nas tabelas 1 e 2 deveria haver notas de rodapé com a explicação das siglas usadas e sinais; os títulos das tabelas 2, 3 e 4 estavam incompletos; como as tabelas 3 e 4 não couberam na página, deveriam ter sido subdivididas, pois, ao não caber na página, foram partidas, continuando na página seguinte, mas com final não delimitado por traço horizontal na parte inferior, e o cabeçalho deveria ter sido repetido.
- Claro que as tabelas não devem conter um título muito extenso, mas este deve indicar a natureza e abrangência do seu conteúdo, tornando-a auto-suficiente em relação ao texto. A inclusão do ano e do local no título da tabela não é obrigatória, mas deve ser feita quando for necessário à compreensão dos dados tabulados. O título está limitado a uma linha em duas tabelas, quando deveria ter duas linhas. Os títulos com apenas uma linha deveriam ter sido centralizados.
Em relação à questão quatro, a resposta é sim. Não foi necessário justificar esta resposta.
Finalmente, em relação à questão cinco, a resposta é sim, as autoras relataram a maior parte das limitações do estudo. Em grande parte das provas (exceto três), os alunos enumeraram as limitações consideradas no trabalho; em algumas provas, houve indicação de outras limitações que não foram apresentadas pelas autoras. Esse aspecto tornou-se um diferencial entre as respostas a esta questão e, por comparação, as que apresentaram as respostas expandidas receberam maior pontuação.