TESTE DE PROGRESSO - CLIQUE NA PÁGINA DESEJADA

TESTE DE PROGRESSO: UMA FERRAMENTA AVALIATIVA PARA A GESTÃO ACADÊMICA

Osni Lázaro PinheiroI Maria Angélica SpadellaI Haydée Maria MoreiraI Zilda Maria Tosta RibeiroI Ana Paula Ceolotto GuimarãesI Odilon Marques Almeida FilhoI Maria de Lourdes Marmorato Botta HafnerI Faculdade de Medicina de Marília, Marília, SP, Brasil.REVISTA BRASILEIRA DE EDUCAÇÃO MÉDICA 39 (1) : 68-78; 2015

APRENDIZAGEM BASEADA EM PROBLEMAS (ABP) A Faculdade de Medicina de McMaster, no Canadá, foi pioneira,na década de 1970, na implantação da Aprendizagem Baseada em Problemas (ABP) no currículo médico1. Posteriormente, houve a implementação de modelos curriculares pautados na ABP em diversos cursos da área da saúde de países da América do Norte e em outras partes do mundo2. No Brasil, a ABP foi implantada no final da década de 1990 nos cursos de Medicina e Enfermagem da Faculdade de Medicina de Marília (SP) e no curso de Medicina da Universidade Estadual de Londrina(PR)3.Neste modelo, o ensino é centrado no estudante, e as situações-problema são discutidas em pequenos grupos em reuniões denominadas sessões de tutoria. Nas discussões, o estudante compartilha informações com seu grupo, na presença de um professor que exerce o papel de facilitador do processo de ensino-aprendizagem. Após a abertura da situação-problema, o grupo de estudantes levanta questões de aprendizagem que são estudadas individualmente, e as informações obtidas são compartilhadas com o grupo em uma nova sessão de tutoria4. Para proporcionar uma compreensão melhor das etapas envolvidas na resolução das situações-problema nas sessões de tutoria, o Quadro 1 ilustra os sete passos envolvidos na ABP. A resolução da situação-problema ao final das discussões não represntaúnico objetivo neste processo de ensino e aprendizagem, pois diversas outras ações secundárias vão se desenvolvendo durante o processo tutorial:aquisição de uma base de conhecimentos integrada e estruturada em torno de problemas da vida real, promoção de habilidades de trabalho em grupo, aprendizagem autônoma e desenvolvimento de atitudes tais como cooperação, ética e respeito pela opinião dos companheiros. Embora originalmente concebida no curso de Medicina, a Aprendizagem Baseada em Problemas tem sido utilizada não apenas na área da saúde,mas também nas áreas de Exatas e Humanas7,8. A expansão deste modelo de aprendizagem em diversos países e áreas de conhecimento tem propiciado a realização de encontros específicos sobre ABP, a exemplo do VI Congresso Internacional PBL (Problem Based Learning)2010, promovido na Universidade de São Paulo9.Este modelo de ensino-aprendizagem centrado no estudante,que está em consonância com as diretrizes curriculares nacionais dos cursos da área da saúde,também apresenta um modelo de avaliação diferente daquela dos modelos tradicionais. Na instituição em que foi realizado este estudo, uma destas avaliações é conhecida como Exercício de Avaliação Cognitiva (EAC), caracterizado por um instrumento de avaliação da capacidade individual dos estudantes em dar respostas às perguntas formuladas para outras situações-problema relacionadas às trabalhadas nas sessões de tutoria10. A outra modalidade de avaliação cognitiva nesta instituição é o Teste de Progresso (TP), que não é utilizado para a progressão do estudante nas séries do curso, mas constitui uma importante ferramenta avaliativa de caráter formativo. TESTE DE PROGRESSO Originalmente, o TP foi desenvolvido na Faculdade de Medicina da Universidade de Missouri (Estados Unidos) e na Universidade de Limburg (Maastricht, Holanda)no início dos anos 1970. Após ampla utilização nas universidades de origem, este modelo de avaliação tem se tornado mais popular no cenário mundial. O TP é constituído por testes de múltipla escolha, e seu conteúdo compreende uma amostra do conhecimento de todas as áreas que compõem o currículo do curso de Medicina e reflete os objetivos finais do curso. Nesta modalidade de avaliação, os testes de múltipla escolha apresentam um novo significado, voltado a proporcionar ao estudante um feedback sobre seu desempenho à medida que vai progredindo de uma série para outra. No TP, as questões de múltipla escolha são elaboradas com diferentes graus de dificuldade, englobando conhecimentos que deverão ser incorporados durante a graduação. No local onde este estudo foi realizado, a aplicação sistemática do TP no curso de Medicina iniciou-se a partir do ano 2000. O Teste de Progresso nesta instituição é composto por cem questões de múltipla escolha, com cinco alternativas, divididas em seis áreas: Pediatria, Clínica Médica, Ginecologia e Obstetrícia, Clínica Cirúrgica, Saúde Coletiva e Áreas Básicas, sendo aplicado a todas as séries do curso médico em um mesmo dia e horário. A duração do teste é de no máximo quatro horas, e a presença se tornou obrigatória a partir de 2003. Os estudantes que participam do TP recebem o escore de seu desempenho e o escore do desempenho da sua série, podendo compará-los e realizar sua autoavaliação. Além disto, a cada série que avança no curso,o estudante poderá verificar o ganho percentual de acertos que obteve. Um aspecto importante é que o TP não fornece informações apenas para autoavaliação do estudante, mas representa também uma valiosa ferramenta para a gestão acadêmica. Um TP com ampla abrangência das áreas que compõem o currículo de um curso, associado a uma abordagem de temas-chave para a formação do estudante durante a graduação, poderá fornecer importantes subsídios para a gestão curricular. Embora tenha sido concebido no curso de Medicina, o TP pode ser usado também em outros cursos, da área da saúde ou não, graças a sua lógica de construção e aplicação. As informações geradas por esta ferramenta avaliativa têm importância especial quando o processo de ensino-aprendizagem é centrado no estudante. O desempenho do estudante no TP irá permitir que este se avalie em relação a seus pares, e a avaliação do desempenho das séries possibilitará que as equipes de construção das unidades educacionais que compõem o currículo de um curso reformulem as situações-problema utilizadas na ABP. Este modelo de avaliação também pode ser aplicado em currículos com métodos de ensino e aprendizagem não centrados no estudante. Para atender a este propósito de fornecer subsídios ao andamento do curso para os órgãos gestores, este tipo de avaliação deve ser bem estruturado, preferencialmente organizado por uma equipe multidisciplinar e com uma visão integral do currículo do curso. Aliada a isto, a estruturação dos enunciados e das alternativas nos testes de múltipla escolha para utilização no TP constitui também um aspecto importante para a fidedignidade dos resultados. Neste sentido, os enunciados dos testes não devem exigir do estudante apenas a memorização, mas principalmente abordar categorias taxonômicas mais elevadas, como a síntese ou avaliação.

O presente estudo teve por objetivo averiguar as potencialidades do Teste de Progresso no auxílio à gestão acadêmica, utilizando-se como objeto de estudo o Teste de Progresso aplicado em curso de Medicina. Espera-se que esta análise forneça subsídios para outras instituições empregarem o Teste de Progresso como potencial ferramenta de gestão curricular, independentemente de possuírem ou não cursos da área da saúde ou adotarem ou não a ABP como método de ensino.

MATERIAL E MÉTODOSFoi realizado um estudo transversal, por meio da avaliação do desempenho dos estudantes nos Testes de Progresso aplicados no primeiro semestre dos anos de 2008 e 2011 aos estudantes da primeira à sexta série do curso de Medicina. Nestes testes, foram aplicadas as mesmas questões, sendo que a única diferença se refere à inversão proposital da sequência das questões na avaliação de 2011. Com a adoção desta medida de repetição da mesma avaliação, foi possível garantir igual controle de qualidade das questões.As avaliações utilizadas neste estudo foram compostas por cem questões de múltipla escolha, cada uma contendo cinco alternativas. Estas questões foram divididas em seis áreas de conhecimento: Pediatria (20), Clínica Médica (20), Ginecologia e Obstetrícia (15), Clínica Cirúrgica (20), Saúde Coletiva (9), Áreas Básicas (16). Estes Testes de Progresso foram organizados pelo Comitê de Avaliação Cognitiva, que é responsável pela solicitação dos testes de múltipla escolha aos professores, análise dos testes e, quando necessário, sugestão de modificações nas questões junto aos professores responsáveis.

Estes testes foram aplicados aos estudantes de todas as séries do curso médico dos anos de 2008 (n = 457) e 2011 (n = 446), em um mesmo dia e horário, com duração de quatro horas e permanência obrigatória de duas horas na sala.Após a aplicação e correção dos TPs, foi avaliado o desempenho dos estudantes por série e área de conhecimento, por meio do cálculo da média percentual de acerto e desvio padrão. Não foi utilizada qualquer técnica para exclusão de acertos casuais de questões por parte dos estudantes.A comparação do desempenho dos estudantes da primeira até a sexta série para cada teste foi feita por meio de análise de variância (Anova), seguida pelo pós-teste de Comparações Múltiplas, de Bonferroni. Para a comparação entre dois grupos, como no caso de uma série do ano de 2008, com a sua correspondente em 2011, ou uma área de conhecimento de 2008 e a sua correspondente em 2011, foi utilizado o Teste T de Student.As diferenças na progressão de acertos foram consideradas significativas quando “p” < 0,05.O presente estudo foi avaliado e autorizado pelo Comitê de Ética em Pesquisa Envolvendo Seres Humanos da Faculdade de Medicina de Marília, resolução 196/96, sob o protocolo de estudo no 483/12.

RESULTADOS E DISCUSSÃOTanto o Teste de Progresso de 2008, como o de 2011 mostraram aquisição de conhecimentos cognitivos dos estudantes no decorrer do curso de Medicina, porém o perfil de progressão nestas duas avaliações foi diferente(Figuras 1 e 2).

Inicialmente, serão apresentados os resultados por área de conhecimento do TP realizado em 2008 (Figura 3). Na área de Pediatria, os estudantes apresentaram índices de acertos a partir da primeira série de, respectivamente,23,75%, 25,2%, 29%, 36,3%, 48,2% e 50,7%, tendo havido diferenças significativas a partir da terceira série e manutenção desta progressão de maneira significativa (p<0,05) até a quinta série, estabilizando-se na última série, que não apresentou progressão (p>0,05). Na Clínica Médica, os índices de acertos a partir da série inicial foram,respectivamente,de 34,3%, 35,4%, 41,4%, 41,8%, 53,5% e 55,6%. A progressão pôde ser verificada de maneira significativa (p<0,05) entre a segunda e terceira séries e em seguida entre a quarta e quinta séries. Na área de Ginecologia, os índices de acertos do início ao final do curso foram,respectivamente,de 25%, 29,7%, 37,8%, 40,9%, 53,7% e 58,5%, tendo havido diferenças significativas (p<0,05) apenas entre a segunda e terceira séries e entre a quarta e quinta séries. Na Clínica Cirúrgica, o desempenho dos estudantes a partir da primeira série foi, respectivamente, de 34,1%,29,1%, 37,9%, 40,5%, 47,8% e 53,4%, tendo havido incorporação de conhecimentos de maneira significativa (p<0,05) apenas entre a segunda e terceira séries e entre a quarta e quinta séries. Nas disciplinas básicas, houve acertos de 39%,39,2%, 42%, 44,8%, 50,9% e 49,8%,respectivamente, da primeira à sexta série, porém não houve progressão significativa entre cada uma das séries e a seguinte(p>0,05). Na Área de Saúde Coletiva, os percentuais de acerto a partir da primeira série foram de 45,2%, 45,9%, 52%, 47,5%, 57,4% e 58%, e a progressão somente foi considerada significativa entre a quarta e quinta série do curso (p<0,05).Com relação ao desempenho dos estudantes nas áreas específicas do conhecimento do TP 2011 (Figura 3),foi observada, na Pediatria, uma frequência de acertos de 27%, 30,6%, 37,2%, 44,6%, 51,6% e 60,2%, respectivamente,entre a primeira e sexta série. A análise destes resultados mostrou que houve progressão estatisticamente significativa a partir da terceira série (p<0,05). Na Clínica Médica, os estudantes obtiveram índices de acerto de 31,9%, 29,6%, 37,2%, 40,9%, 46,9% e 58,2%, respectivamente,entre a primeira e sexta série, e foram considerados como progressão em relação à série anterior os desempenhos obtidos na terceira, quinta e sexta séries. Na área de Ginecologia e Obstetrícia, os índices de acertos a partir da primeira série foram,respectivamente,de 31,2%, 28,2%, 40,8%, 45,5%, 53,8% e 66,9%. Do ponto de vista estatístico, foram considerados como progressão de acertos em relação à série anterior os resultados obtidos na terceira, quinta e sexta séries. Na Clínica Cirúrgica, a frequência de acertos entre a primeira e a sexta série foi,respectivamente,de 28,8%, 29,2%, 33,7%,37,6%, 44,9% e 54%,e a progressão em relação à série anterior foi considerada significativa apenas nas últimas duas séries (p<0,05).Nas disciplinas básicas, os índices de acerto foram, respectivamente,de 29,8%, 30,9%, 36,1%, 40,9%, 39,6% e 50,6%,e foram considerados como progressão em relação à série anterior apenas os resultados da última série (p<0,05). Na área de Saúde Coletiva, os resultados obtidos a partir da primeira série foram,respectivamente,de 37,7% 32,9%, 35,5%, 40,7%, 40,1% e 51,9%, e houve diferença significativa nos índices de acertos em relação à série precedente apenas na sexta série. Novamente, cabe ressaltar que estas informações são fundamentais para a organização curricular, principalmente porque identificam as áreas que necessitam de maior atenção.No presente caso,as áreas que requerem atenção são representadas pela Clínica Cirúrgica, Disciplinas Básicas e Saúde Coletiva. Para um detalhamento ainda maior, poderia ser verificado se nessas áreas houve algum problema particular com alguma questão específica do TP que viesse a justificar o baixo desempenho dos estudantes. Um meio de identificar estas questões é o cálculo de outliers, que permite verificar se alguma questão propiciou um índice de erro do estudante muito distante da média14. Entretanto, por meio deste cálculo não foi encontrada nenhuma observação que estivesse fora desta faixa de resultados, o que mostra que a ausência de progressão em algumas áreas de conhecimento não se deveu a alguma questão de múltipla escolha em especial, mas representou,de forma geral, um desempenho insuficiente nessas áreas.No tocante à área que engloba as disciplinas básicas, os resultados obtidos neste trabalho diferiram em relação aos encontrados por Tomic et al.15 em instituição cujo curso de Medicina não apresenta o currículo organizado por ABP. Nesse estudo, houve progressão no desempenho dos estudantes nas questões relacionadas às disciplinas básicas em seis dos oito TPs aplicados entre os anos de 2001 e 2004. Em outro estudo realizado em instituição que adota a ABP como método de ensino e aprendizagem, foi observada uma tendência de retenção do conteúdo básico nas séries finais do curso de Medicina13.Do ponto de vista da gestão acadêmica, esta análise de desempenho dos estudantes por área é importante, pois permite identificar focos a serem trabalhados nas diversas séries que compõem o curso que está sendo avaliado.No caso de cursos que adotam a Aprendizagem Baseada em Problemas como estratégia de ensino, este diagnóstico apresenta um significado especial, pois a forma de abordagem destes conteúdos deve ser imediatamente revista pelos professores especialistas que participam da construção das situações-problema.Estas devem promover a integração básico-clínica por meio da utilização de casos que reproduzam a prática profissional16.

Quanto à retenção de conhecimentos de áreas básicas em currículos organizados por ABP, Prince et al.17verificaram que não houve diferenças significativas no conhecimento de Anatomia entre estudantes provenientes de escolas que adotam a ABP e escolas com modelos curriculares tradicionais. Esse estudo também demonstrou que os estudantes de escolas com ABP experimentam as mesmas dificuldades no aprendizado de Anatomia que os estudantes de escolas tradicionais.A utilização de casos clínicos na abordagem de conhecimentos de áreas básicas aumenta o interesse do estudante, favorecendo o raciocínio e a integração do conhecimento, com consequente repercussão no processo de ensino e aprendizagem.Entretanto, é importante que o olhar sempre esteja direcionado ao processo de inserção das disciplinas das áreas básicas no modelo de ABP, para que não haja uma ênfase demasiada na abordagem clínica em detrimento do conteúdo das áreas básicas. Por isto, as equipes responsáveis pela organização das séries devem estar atentas para que a integração básico-clínica esteja sempre presente nos casos discutidos nas sessões de tutoria.Contudo, a utilização de situações-problema integrativas não irá por si só garantir uma boa abordagem dos conhecimentos das disciplinas que compõem as áreas básicas e clínicas, pois a operacionalização da abertura e fechamento destes casos pelos estudantes irá depender do bom trabalho desempenhado pelos tutores. Neste sentido, o seguimento de cada um dos passos − desde o esclarecimento de termos na abertura da situação-problema até a resolução das questões levantadas no fechamento dessa situação− representa um aspecto importante5. Assim sendo, os gestores curriculares, ao se depararem com resultados como os encontrados no presente estudo, deverão analisá-los de forma cuidadosa para que todas as variáveis sejam consideradas.Os resultados encontrados na área de Clínica Cirúrgica também refletem a forma de organização curricular do curso no local onde foi realizado este estudo. O conteúdo desta área de conhecimento é abordado principalmente a partir da quarta série do curso. Como estes TPs foram aplicados aos estudantes no início dos anos de 2008 e 2011, é esperada uma progressão significativa principalmente entre a quinta e sexta série. Os resultados do TP 2011 mostraram exatamente este modelo de progressão na incorporação de conhecimentos por parte do estudante, com obtenção de melhores desempenhos nas duas últimas séries. Entretanto, em 2008, esta progressão foi verificada inicialmente na terceira série e em seguida na quinta série. Este modelo de organização com abordagem de conteúdos da área cirúrgica na etapa final da formação do estudante não é diferente do modelo de organização em currículos tradicionais, nos quais as primeiras duas séries se destinam ao estudo das disciplinas básicas, os dois anos subsequentes são caracterizados como profissionalizantes, e os últimos dois anos são representados pelo internato18.

Em Testes de Progresso realizados no ano de 2006 na Universidade Estadual de Londrina, também foi observado um ganho de conhecimentos na área de Clínica Cirúrgica apenas a partir da quinta série13.Outro aspecto verificado neste estudo é que a área de Saúde Coletiva também merece atenção especial dos gestores. No ano de 2008, a progressão de acertos entre uma série e a subsequente foi evidente apenas na quinta série, tendo havido um ganho de conhecimentos entre a primeira (45,2%) e sexta série (58%) de 13% (p<0,05). Em 2011, esta progressão foi atingida de maneira significativa apenas na última série, e o acúmulo de conhecimentos entre a série inicial (37,7%) e a final (51,9%) foi de aproximadamente 14% (p<0,05). Novamente, a organização das situações-problema e o trabalho do tutor podem estar relacionados a estes resultados. Em particular nesta área do conhecimento,a equipe de gestão curricular deve estar atenta, pois nas situações-problema pode estar havendo uma abordagem das necessidades individuais de saúde em detrimento das coletivas. Desta forma, conhecimentos importantes de Saúde Coletiva podem não estar sendo problematizados adequadamente pelos estudantes.Na avaliação dos TPs, referentes ao ano de 2006, Sakai et al.13 demonstraram que houve progressão de conhecimentos na área de Saúde Coletiva apenas na segunda série, diminuindo na série seguinte e mantendo-se nas séries subsequentes. Estes resultados também refletiram a forma de organização curricular da instituição no momento em que foi feito o estudo, pois,de acordo com os autores,havia forte inserção da Saúde Coletiva nas duas primeiras séries e ausência de inserção no internato.A inserção da Saúde Coletiva nos currículos médicos, independentemente do método de ensino-aprendizagem adotado, é objeto de discussão na literatura. Apesar da presença indiscutível da Saúde Coletiva na educação dos profissionais de saúde, esta não tem sido capaz de produzir uma alteração substantiva na formação, seja pela posição dissociada da clínica com que tem sido proposta e pensada nas estruturas curriculares (postura preventivista/higienista), seja pela valorização apenas de seus aspectos mais tradicionais de ensino: bioestatística, epidemiologia, demografia, ambiente, saneamento, modelos explicativos da saúde e da doença, educação para a saúde e gestão política do setor da saúde19. Diante dos resultados encontrados no presente trabalho sobre o desempenho dos estudantes na área da Saúde Coletiva e diante também dos cuidados necessários para uma correta inserção dos conteúdos de Saúde Coletiva nas unidades educacionais que compõem um currículo organizado por competências profissionais e que utiliza a ABP como método de ensino e aprendizagem, é imprescindível a incorporação de profissionais desta área nas equipes que organizam as séries.

Estes profissionais poderão garantir situações-problema que não restrinjam a Saúde Coletiva a uma abordagem preventivista/higienista e tradicional, mas que possam levar os estudantes a valorizar esta área como um espaço privilegiado para o reencontro da relevância social com o caráter técnico e científico da formação dos profissionais de saúde. Além da melhoria na qualidade das situações-problema, estes profissionais também poderão auxiliar nos processos de capacitação dos tutores, para que estes consigam instigar nos estudantes a valorização não apenas das necessidades individuais do paciente, com caráter curativo, mas também das ações coletivas de saúde. O presente estudo, por meio da avaliação do desempenho dos estudantes em dois Testes de Progresso, conseguiu identificar fortalezas e fragilidades em diferentes áreas do saber. O conhecimento destas forças e fraquezas será de valiosa importância para os gestores curriculares. Esta foi a primeira em vez que a instituição analisou os resultados de um teste que foi reaplicado na íntegra aos estudantes.Na literatura, é possível constatar que algumas avaliações com testes de múltipla escolha, ao invés de repetirem a avaliação na íntegra, selecionam algumas questões que servirão de âncora para avaliar o desempenho em algumas áreas específicas20. Os resultados mostraram que, na terceira (39% e 36,7%, respectivamente, em 2008 e 2011) e na quarta série (41,4 e 41,7%, respectivamente, em 2008 e 2011),o desempenho dos estudantes foi semelhante (Teste T, p > 0,05), independentemente do ano de aplicação (Figura 2). As demais séries apresentaram diferenças significativas entre os anos de 2008 e 2011 (Teste T, p<0,05).

Estas diferenças no desempenho dos estudantes nos TPs de 2008 e 2011 também foram observadas nas avaliações dos estudantes nas diversas áreas de conhecimento (Figura 5).Para algumas áreas, como a Pediatria, o maior índice de acertos foi no TP de 2011, com cinco das seis séries do curso apresentando melhor desempenho do que as séries correspondentes de 2008. Por outro lado, nas áreas de Clínica Médica (1ª, 2ª, 3ª e 5ª séries), Disciplinas Básicas (1ª, 2ª, 3ª e 5ª séries) e Saúde Coletiva (1ª à 6ª série), a média de acertos foi maior no TP de 2008. Na área de Ginecologia e Obstetrícia, o desempenho foi semelhante, exceto na primeira e sexta séries, nas quais os estudantes tiveram melhor desempenho no ano de 2011. Na área de Clínica Cirúrgica, ocorreu o inverso, com a maioria das séries apresentando desempenho semelhante, exceto na primeira e terceira séries de 2008, cujos índices de acertos foram significativamente maiores. Estes dados fornecem subsídios para os gestores investigarem se estes desempenhos estão relacionados a mudanças curriculares realizadas nestas áreas de conhecimento nos anos em que foram encontradas diferenças significativas de desempenho ou se devem ao efeito da coorte de estudantes, pois um mesmo teste aplicado a diferentes populações pode resultar em diferentes desempenhos.

A utilização do Teste de Progresso como ferramenta de avaliação para os grupos gestores logicamente não deve representar a única fonte de avaliação institucional, pois a natureza complexa de uma instituição de ensino superior, com o envolvimento de docentes, discentes e profissionais técnico-administrativos, exige uma avaliação múltipla, com avaliadores internos e externos. No interior de uma Instituição de Ensino Superior(IES), deve ocorrer a aplicação de instrumentos avaliativos que permitam a participação de todos os segmentos que a compõem, e a opinião de cada um destes setores é que permitirá uma reflexão sobre o desempenho da instituição nas missões de ensino, pesquisa e extensão. Com relação à avaliação externa, destaca-se no Brasil o papel do Sistema Nacional de Avaliação da Educação Superior (Sinaes), criado pela Lei n° 10.861, de 14 de abril de 2004,e que promove a avaliação das instituições, dos cursos e, assim como no Teste de Progresso, do desempenho dos estudantes21. Tendo em vista que a avaliação do desempenho dos estudantes pelo Sinaes é feita por meio do Exame Nacional do Desempenho do Estudante (Enade), realizado a cada quatro anos, é importante que a IES possua mecanismos próprios de acompanhamento do desempenho do estudante em intervalos mais curtos. Neste sentido, o Teste de Progresso, aplicado anualmente, apresentará um caráter de avaliação formativa, com benefícios não somente para o estudante, mas também para a instituição. Diversas IES têm usado o Teste de Progresso com estes objetivos, inclusive com implantação desta modalidade de avaliação antes do início dos trabalhos realizados pelo Sinaes, como é o caso da instituição na qual este estudo foi conduzido. Algumas destas instituições, por meio dos seus Núcleos Docentes Estruturantes, organizam a aplicação do Teste de Progresso a fim de identificar lacunas na estrutura curricular, propiciando amplas discussões nos espaços acadêmicos, que subsidiam uma retroalimentação da autoavaliação institucional, que permite aprimorar o planejamento e a gestão estratégica da IES22.

CONCLUSÕESEste estudo discutiu o papel do Teste de Progresso como uma valiosa ferramenta avaliativa a ser utilizada pela gestão acadêmica. Embora tenha sido aplicado no curso de Medicina, ele serve de modelo para qualquer outra área. Entretanto, para assumir o compromisso de uma avaliação desta natureza na instituição, os gestores precisarão articular um trabalho sistematizado junto aos docentes das disciplinas que compõem o currículo do curso, esclarecendo a estes a importância de realizar esta avaliação.Para que o Teste de Progresso não seja um instrumento exclusivo de avaliação do desempenho dos estudantes, mas assuma um novo significado como ferramenta avaliativa para uso na gestão acadêmica, é importante que as instituições assumam um papel ativo não apenas na elaboração desta modalidade de avaliação, mas também na análise dos resultados. Esta análise, com o emprego de ferramentas estatísticas,permitirá identificar as áreas em que os estudantes não estejam agregando conhecimentos no decorrer das séries que compõem a grade curricular. A identificação destas áreas representa o primeiro passo para a utilização do Teste de Progresso como uma ferramenta avaliativa para a gestão acadêmica. A contextualização destes resultados é imprescindível para a continuidade do trabalho, pois caberá aos gestores buscar a correlação entre os resultados encontrados e o componente curricular envolvido.No final do século XX, a comunidade acadêmica dos cursos de Medicina do País foi avaliada por meio de um Teste de Progresso aplicado simultaneamente a diversas escolas médicas associadas à Comissão Interinstitucional Nacional de Avaliação do Ensino Médico(Cinaem)23. Atualmente, tem havido uma ampla discussão sobre o uso do Teste de Progresso nas escolas médicas do Brasil e, em decorrência deste processo,têm surgido diversos consórcios que realizam a aplicação desta avaliação de maneira interinstitucional. A utilização do Teste de Progresso em magnitude mais ampliada, como é o caso desta realizada por estes grupos interinstitucionais, poderá contribuir com a gestão das escolas de Medicina do País23.

É importante destacar que, para que o Teste de Progresso apresente resultados fidedignos para a gestão acadêmica, a qualidade de cada uma das questões que o compõem é de vital importância. Para gerenciar este trabalho, é necessário formar um grupo composto por representantes de diferentes segmentos do curso, ou seja, docentes de disciplinas profissionalizantes e de disciplinas básicas. Tendo em vista a necessidade de análise dos dados a fim de identificar as séries e disciplinas em que de fato houve a progressão de conhecimentos dos estudantes e também aquelas merecedoras de atenção, a participação de docentes com domínio em estatística é um aspecto que irá fortalecer o trabalho deste grupo. Esta equipe inicialmente deverá se apropriar dos conceitos básicos sobre avaliação somativa e formativa, e também dos princípios para uma boa elaboração de testes de múltipla escolha24.

REFERÊNCIAS 1. Callis AN. Application of Basic Science to Clinical Problems: Traditional vs. Hybrid Problem-Based Learning. Journal of Dental Education 2010;74 (10):1113-24. [ Links ] Patel VL, Arocha AJF, Chaudhari S, Karlin DR, Briedis DJ. Knowledge integration and reasoning as a function of instruction in a hybrid medical curriculum. Journal of Dental Education 2005; 69(11):1186-1208. [ Links ] Siqueira-Batista R, Siqueira-Batista R.Os anéis da serpente: a aprendizagem baseada em problemas e as sociedades de controle.Ciência & Saúde Coletiva 2009;14(4):1183-1192. [ Links ] Moraes MAA, Manzini EJ. Concepções sobre a Aprendizagem Baseada em Problemas: um Estudo de Caso na Famema. Revista Brasileira de Educação Médica 2006; 30(3):125-35. [ Links ] Moust JHC, Van Berkel HJM, SchmidtHG. Signs of erosion: Reflections on three decades of problem-based learning at Maastricht University. Higher Education 2005;50(4):665-83. [ Links ] Barrows HS. Problem-based learning in medicine and beyond: a brief overview.In: Wilkerson L, Gijselaers WH(Orgs.). Bringing problem-based learning to higher education: theory and practice. Jossey-Bass 1996; 3-12. [ Links ] Arantes AC, Mussi AA. Aplicação do PBL no ensino do direito. Vox Forensis 2010; 3(2):22-40. [ Links ] Ribeiro LR, Mizukami MGN. PBL na Universidade de Newcastle: Um Modelo para o Ensino de Engenharia no Brasil? Olhar de professor 2004; 7(1):133-47. [ Links ] Congresso Internacional PBL 2010, 2010, São Paulo, Anais eletrônicos... São Paulo: USP-Leste, 2010. Disponível em: http://each.uspnet.usp.br/pbl2010/trabs/index_trabs_pt.htm. Acesso em: 24 abr. 2012. [ Links ] Lima VV, Komatsu RS, Padilha RQ. Desafios ao desenvolvimento de um currículo inovador: a experiência da Faculdade de Medicina de Marília. Interface - Comunicação, Saúde e Educação 2003;7(12):175-84. [ Links ] Blake JM. Norman GR; Keane DR, Mueller BC, Cunnington J, Didyk N. Introducing progress testing in McMaster University’s problem-based medical curriculum: psychometric properties and effect on learning. Academic Medicine1996; 71(9):1002-7. [ Links ] Krathwohl DR. A revision of Bloom’s taxonomy: an overview. Theory in Practice 2002;41 (4): 212-218. [ Links ] Sakai MH, Ferreira Filho OF, Almeida MJ, Mashima DA. Marchese MC. Teste de Progresso e avaliação do curso: dez anos de experiência da medicina da Universidade Estadual de Londrina. Revista Brasileira de Educação Médica 2008; 32(2):254-63. [ Links ] Ferreira CES, Andriolo A. Intervalos de referência no laboratório clínico. Jornal Brasileiro de Patologia Médica Laboratoria 2008; 44(1):11-16. [ Links ] Tomic ER, Martins MA, Lotufo PA, Bensenõr IM. Progress Testing: Evaluation of four years of application in the school of medicine, University of São Paulo. Clinics 2005; 60(5):389-96. [ Links ] Brewer DW. Endocrine PBL in the year 2000. Advances in Physiology Education 2001; 25: 249-255. [ Links ] Prince, KFAH, Van Mameren H, Hylkema, N, Drukker J, Scherpbier AJJA, Van DerVleuten CPM. Does problem-basead learning lead to deficiencies in basic science knowledge? An empirical case on anatomy. Medical Education 2003; 37:15-21. [ Links ] Neves NMBC, Neves FBCS, Bitencourt, AGV. O Ensino Médico no Brasil: Origens e Transformações. Gazeta Médica da Bahia 2005;75(2):162-168. [ Links ] Carvalho YM, Ceccim RB. Formação e Educação em Saúde: aprendizados com a Saúde Coletiva. São Paulo, [2006?]. Disponível em: https://www.ucs.br/prosaude/servicos/capacitacao/oficina-de-integracao-ensino-servico/acervo/textos/CECCIM%20e%20CARVALHO.pdf). Acesso em: 23 abr. 2012. [ Links ] Sakai MH, Ferreira Filho, OF, Matsuo T. Avaliação do crescimento cognitivo do estudante de medicina: aplicação do teste de equalização no teste de progresso. Revista Brasileira de Educação Médica 2011; 35(4):493-501. [ Links ] Brasil. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Sinaes [Internet]. Brasília (DF): INEP; 2011. [citado 26 ago 2014]. Disponível em: http://portal.inep.gov.br/superior-sinaes [ Links ] Miranda JFA, Morgado FEF, Moraes MBVB, Oliveira MC, Crisostomo RPG. Teste de Progresso e avaliação do desempenho docente: diferenciais do Programa de Autoavaliação Institucional do Unifeso [Capturado 24 ago.2014]; 1-15. Disponível em:http://download.inep.gov.br/educacao_superior/avaliacao_institucional/seminarios_regionais/trabalhos... [ Links ] Hamamoto CG, Pinheiro OL, Almeida Filho OM. Avaliação do desempenho do estudante/future professional. In: Moraes MAA, Tonhom SFR, Hafner MLMB, Gomes R (orgs). Avaliação nos Cursos de Medicina e Enfermagem: perspectivas e desafios. Curitiba: CRV; 2012. p.107-142. [ Links ] Al-Faris EA, Alorainy IA, Abdel Hameed, Ahmad A, Al-Rukban, Mohammed O. A practical discussion to avoid common pitfalls when constructing multiple choice questions items. Journal of Family and Community Medicine 2010;17(2):96–102. [ Links ] Recebido: 19 de Setembro de 2013; Revisado: 02 de Setembro de 2014; Aceito: 17 de Outubro de 2014 ENDEREÇO DE CORRESPONDÊNCIA: Osni Lázaro Pinheiro. Av. Monte Carmelo, 800. Fragata – Marília. CEP 17519-030 – CP 2003 –São Paulo. E-mail: osnilp@terra.com.br CONTRIBUIÇÃO DOS AUTORES Todos os autores são membros do Comitê de Avaliação Cognitiva da Faculdade de Medicina de Marília e portanto todos participaram desde a elaboração do projeto, análise dos resultados e discussão. CONFLITO DE INTERESSES Declarou não haver This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License, which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.