Metrics validation to evaluate quality in public higher education institutions
Abstract
Introduction: In public higher education, the complexity of evaluating goals to be reached and the uncertainties about metrics adopted by the country hinder the implementation of evaluation processes. Objective: To build and validate the content of quality indicators for evaluation of Higher Education Institutions (HEIs). Method: Methodological study developed in six stages, in which 10 HEI judges participated, between 2015 and 2018. The Delphi method was employed, and the Content Validity Ratio was calculated, with a value higher or equal to 0.62. A total of 46 indicators were proposed in the following subdimensions: Teaching (16), Research, Extension, Knowledge and Innovation (15), and Management (15). Results: Content validity evidence was found for 38 indicators, 11 of which related to structure, 10 to processes, and 17 to results, with the Management subdimension being the one with the lowest CVR values. Further Considerations: Validity evidence was found for a matrix of 38 quantitative indicators formulated as mathematical equations, which can be systematically applied to internal institutional evaluations to complement qualitative ones.Downloads
References
Chaves SE, Cecim RB. Avaliação externa no ensino superior na área da saúde: inquietações e a dimensão das margens. Interface (Botucatu). [on line]. 2015 [citado em 2018 Jul ]; 19(55): 1233-1242. Disponível em: http://www.scielo.br/pdf/icse/v19n55/1807-5762-icse-1807-576220140728.pdf.
Fávero AA, Bechi D. O financiamento da educação superior no limiar do século XXI: o caminho da mercantilização da educação. Revista Internacional de Educação Superior. [on line]. 2017 [citado em 2018 Ago]; 3(1): 82-104. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/riesup/article/view/8650577/16790.
Salsi MA, Silva DMG, Meirelles BHS. Avaliação no sistema de saúde brasileiro. Cienc Cuid Saude. [on line]. 2018 [citado em 2018 Out]; 17(2): 1-6. Disponível em: http://periodicos.uem.br/ojs/index.php/CiencCuidSaude/article/view/41937/pdf .
Venturini JC, Pereira BAD, Morales R, Fleck CF, Batistella Júnior G, Nagel MB. Percepção da avaliação: um retrato da gestão pública em uma instituição de ensino superior (IES). RAP (Rio de Janeiro). [on line]. 2010 [citado em 2018 Jul]; 44(1): 31-53. Disponível em: http://www.scielo.br/pdf/rap/v44n1/v44n1a03.pdf.
Ministério da Educação. Sistema Nacional de Avaliação da Educação Superior- Sinaes. Instrumento de Avaliação Institucional externa - subsidia os atos de credenciamento, recredenciamento e transformação da organização acadêmica (presencial). Brasília, 2014, p.1-36.
Fundação Nacional da Qualidade. Indicadores de Desempenho - Estruturação do sistema de indicadores organizacionais. 3. ed. São Paulo: Fundação Nacional da Qualidade; 2012. 48 p.
Polit DF, Beck CT. Essentials of Nursing Research: Appraising Evidence for Nursing Practice. 8th Edition, Lippincott Williams & Wilkins: Philadelphia; 2014.
Coluci MZO, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciência & Saúde Coletiva. [on line]. 2015 [citado em 2018 Ago]; 20(3): 925-36. Disponível em: http://www.scielo.br/pdf/csc/v20n3/1413-8123-csc-20-03-00925.pdf.
Matitz QRS, Bulgacov S. O conceito desempenho em estudos organizacionais e estratégia: um modelo de análise multidimensional. RAC (Curitiba). [on line]. 2011 [citado em 2018 Jul]; 15(4): 580-607. Disponível em: http://www.scielo.br/pdf/rac/v15n4/a03v15n4.pdf.
Uchoa CE. Elaboração de indicadores de desempenho institucional. Coordenação Geral de Programas de Capacitação /DDG. Brasília: ENAP/DDG, 2013.
Giannarou L, Zervas E. Using Delphi technique to build consensus in practice. Int. Journal of Business Science and Applied Management [on line]. 2014 [citado em 2018 Mai]; 9(2): 66-82. Disponível em: http://www.business-and-management.org/library/2014/9_2--65-82-Giannarou,Zervas.pdf.
Mophajan, H. Two Criteria for Good Measurements in Research: Validity and Reliability. Annals of Spiru Haret University. [on line]. 2017 [citado em 2018 Jul]; 17(3): 58-82. Available from: https://mpra.ub.uni-muenchen.de/83458/1/MPRA_paper_83458.pdf.
Lawshe, CH. Quantitative approach to content validity. Personnel Psychology. [on line]. 1975 [citado em 2018 Mai]; 28: 563-75. Available from: https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1744-6570.1975.tb01393.x
Wilson FR, Pan W, Schumsky DA. Recalculation of the Critical Values for Lawshe’s Content Validity Ratio. Measurement and Evaluation in Counseling and Development. [on line]. 2012 [citado em 2018 Mai]; 45(3): 197-210. Available from: http://eds.b.ebscohost.com/eds/pdfviewer/pdfviewer?vid=1&sid=568d528e-8109-4349-a765-411a1b4fd075%40sessionmgr101.
Ministério da Educação. CAPES. A internacionalização na Universidade Brasileira: resultados do questionário aplicado pela Capes. Diretoria de Relações Internacionais. [on line]. 2017 [citado em 2018 Ago]. Disponível em: https://www.capes.gov.br/images/stories/download/diversos/A-internacionalizacao-nas-IES-brasileiras.pdf.
Paula JA. A extensão universitária: história, conceito e propostas. Interfaces - Revista de Extensão. [on line]. 2013 [citado em 2018 Ago]; 1(1): 05-23. Disponível em:https://www.ufmg.br/proex/revistainterfaces/index.php/IREXT/article/view/5/pdf.
Nogueira MDP. O fórum de pró-reitores de extensão das universidades públicas brasileiras: um ator social em construção. Interfaces - Revista de Extensão. [on line]. 2013 [citado em 2018 Ago]; 1(1): 35-47. Disponível em: https://www.ufmg.br/proex/revistainterfaces/index.php/IREXT/article/view/7/8.
Jungmann DM, Bonetti EA. Inovação e propriedade intelectual: guia para o docente. Brasília: SENAI; 2010.
Haynes SN, Richerd DCS, Kubany ES. Content validity in psychological assessment: a functional approach to concepts and methods. Psychological Assessment. [on line]. 1995 [citado em 2018 Ago]; 7(3): 238-47. Available from: https://www.researchgate.net/publication/232480869/download.
Lucian R, Dornelas JS. Mensuração de Atitude: Proposição de um Protocolo de Elaboração de Escalas. RAC (Rio de Janeiro). [on line]. 2015 [citado em 2018 Ago]; 19(3): 157-77. Disponível em: http://www.scielo.br/pdf/rac/v19nspe2/1982-7849-rac-19-spe2-0157.pdf.
