The relationship between management performance and Federal Universities quality rankings
Keywords:
Management performance indicators; General Course Index; Folha University Ranking.
Abstract
Purpose: To analyze the relationship between management performance indicators and quality in Federal Higher Education Institutions (IFES).
Method: The sample was composed of 52 IFES from 2012 to 2019, totaling 440 observations. The technique applied was multiple regression with panel data. In addition, the results of the General Index of Courses (IGC) and the Folha University Ranking (RUF) were used for quality measuring.
Originality/Relevance: The work presents panel data and cross-data between the TCU indicators and the IGC and RUF indexes, besides using a database covering nine years of results, allowing a more precise temporal evaluation.
Results: Different management indicators influence the IGC and the RUF. The student cost (Ind1), undergraduate success rate (Ind9), and size (current cost excluding university hospitals) explain 51.31% of the RUF. In contrast, the degree of student participation (Ind5), the degree of involvement with graduate studies (Ind6), and the faculty qualification index (Ind8) are significant and explain 18.63% of the IGC.
Theoretical/methodological/practical contributions: This research can contribute to developing and improving management indicators of the IFES and quality in higher education. Furthermore, the IFES can identify opportunities to define good practices in search of balancing efficiency, effectiveness, productivity, and quality, considering the particularities of each Higher Education Institution.
Downloads
Download data is not yet available.
References
Athanassopoulos, A. D., & Shale, E. (1997). Assessing the comparative efficiency of higher education institutions in the UK by the means of data envelopment analysis. Education economics, 5(2), pp. 117-134.
Baltagi, B. H. (2008). Econometric analysis of panel data. John Wiley & Sons.
Barbosa, G. d., Freire, F. d., & Crisóstomo, V. L. (2011). Análise dos indicadores de gestão das IFES e o desempenho discente no ENADE. Avaliação: Revista da Avaliação da Educação Superior, 16(2), pp. 317-344.
Bittencourt, H. R., Casartelli, A. d., & Rodrigues, A. C. (2009). Sobre o índice geral de cursos (IGC). Avaliação: Revista da Avaliação da Educação Superior, 14, pp. 667-682.
Boynard, K. M., & Nogueira, J. M. (2015). Indicadores de gestão em conflito com indicadores de qualidade? Lições econômicas para a gestão universitária. Revista Gestão Universitária na América Latina-GUAL, 8(4), pp. 237-258.
Breusch, T. S., & Pagan, A. R. (1980). The Lagrange multiplier test and its applications to model specification in econometrics. The review of economic studies, 47(1), pp. 239-253.
Calderón, A. I., & Lourenço, H. d. (2017). Rankings na educação superior Brasileira: Uma aproximação aos rankings públicos e privados. Revista de Estudos Aplicados em Educação, 2(3), pp. 89-103.
Costa, D. F. (2012). Medição de desempenho em universidades federais: análise da relação entre os indicadores do tribunal de contas da união e o índice geral de cursos. Dissertação (Mestrado Profissional em Administração), Universidade Potiguar, Natal.
Dias Sobrinho, J. (2010). Avaliação e transformações da educação superior brasileira (1995-2009): do provão ao SINAES. Avaliação: Revista Da Avaliação Da Educação Superior, 15, pp. 195-224.
Erasmo, E. A., Duarte, M. S., Pires Nunes, E. B., & Mendes, R. N. (2018). Avaliação institucional: uma análise de indicadores de desempenho institucional em uma IFES. Revista Observatório, 4(6), pp. 845-877.
Fávero, L. P. (2013). Dados em painel em contabilidade e finanças: teoria e aplicação. BBR-Brazilian Business Review, 10(1), pp. 131-156.
Fereira, M. C., Santos, W. J., & Pessanha, J. F. (2013). Avaliação do ensino superior: análise dos indicadores instituídos pelo TCU para as IFES. Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ, 18(1), pp. 104-124.
Ferreira, A. F. (2013). Indicadores de gestão das Instituições Federais de educação superior e a qualidade dos cursos. Dissertação (Mestrado em Contabilidade), Universidade Federal de Santa Catarina, Programa de Pós-Graduação em Contabilidade, Florianópolis.
Freire, F. d., Crisóstomo, V. L., & Castro, J. E. (2007). Análise do desempenho acadêmico e indicadores de gestão das IFES. Revista Produção Online, 7(4).
Gil, A. C. (2008). Métodos e técnicas de pesquisa social (6 ed.). São Paulo: Atlas SA.
Gujarati, D. N. (2006). Econometria básica. (M. J. Cyhlar, Trad.) Rio de Janeiro: Elsevier.
Hausman, J. A. (1978). Specification tests in econometrics. Econometrica: Journal of the econometric society, 46(6), pp. 1251-1271.
Hoffmann, C., Zanini, R. R., Corrêa, Â. C., Siluk, J. C., Schuch Júnior, V. F., & Ávila, L. V. (2014). O desempenho das universidades brasileiras na perspectiva do Índice Geral de Cursos (IGC). Educação e Pesquisa, 40, pp. 651-665.
Johnes, G., & Tone, K. (2017). The efficiency of Higher Education Institutions in England revisited: comparing alternative measures. Tertiary Education and Management, 23(3), pp. 191-205.
Kantabutra, S., & Tang, J. C. (2010). Efficiency analysis of public universities in Thailand. Tertiary Education and Management, 16(1), pp. 15-33.
Kempkes, G., & Pohl, C. (2010). The efficiency of German universities–some evidence from nonparametric and parametric methods. Applied economics, 42(16), pp. 2063-2079.
Lourenço, H. d., & Calderón, A. I. (2015). Rankings acadêmicos na educação superior: mapeamento da sua expansão no espaço ibero-americano. Acta Scientiarum. Education, 37(2), pp. 187-197.
Ministério da Educação. (2010a). Orientações para o cálculo dos indicadores de gestão – Decisão nº 408/2002-Plenário e Acórdãos nº 1.043/2006 e nº 2.167/2006-Plenário. Acesso em 06 de Dez de 2021, disponível em: https://www2.ufjf.br/diavi/wp-content/uploads/sites/31/2021/05/Manual_2442932_Orientacoes_para_o_calculo_dos_Indicadores_de_Gestao___TCU_CGU_SESU_2010.pdf
Ministério da Educação. (2010b). Portaria Normativa nº. 40, de 12 de dezembro de 2007, republicada em 2010. Institui o e-MEC, sistema eletrônico de fluxode trabalho e gerenciamento de informaçõesrelativas aos processos de regulação,avaliação e supervisão da educação superiorno sistema federal de educação, e oCadastro e-MEC de Instituições e CursosSuperiores e consolida disposições sobreindicadores de qualidade, banco de avaliadores(Basis) e o Exame Nacional de Desempenhode Estudantes (ENADE) e outrasdisposições. Acesso em 29 de Nov de 2021, disponível em: http://portal.mec.gov.br/index.php?option=com_docman&view=download&alias=16763-port-norm-040-2007-seres&Itemid=30192.
Morandin, J. L., Silva, N. R., & Vanz, S. A. (2020). O desempenho das universidades brasileiras no U-Multirank e Ranking Universitário Folha. Ciência da Informação em Revista, 7(2), pp. 116-136.
Nazarko, J., & Šaparauskas, J. (2014). Application of DEA method in efficiency evaluation of public higher education institutions. Technological and Economic development of Economy, 20(1), pp. 25-44.
Nuintin, A. A., Benedicto, G. C., Calegário, C. L., Curi, M. A., & Nogueira, L. R. (2014). Eficiência da aplicação de recursos públicos nas universidades federais. Anais do Congresso Brasileiro de Custos-ABC - XXI Congresso Brasileiro de Custos.
Polidori, M. M. (2009). Políticas de avaliação da educação superior brasileira: Provão, SINAES, IDD, CPC, IGC e... outros índices. Avaliação: Revista da Avaliação da Educação Superior, 14, pp. 439-452.
Reinaldo, L. M. (2017). Estimação clássica e bayesiana para dados em painel. Dissertação (Mestrado em Estatística), Universidade de Brasília, Instituto de Ciências Exatas, Brasília.
RUF - Ranking Universitário Folha. (2021). Como é feito o Ranking de Universidades. Acesso em 22 de Jul de 2021, disponível em Ranking Universitário Folha: https://ruf.folha.uol.com.br/2019/noticias/como-e-feito-o-ranking-universitario-folha.shtml
Santos, A., Barbosa, F. L., Martins, D. F., & Moura, H. J. (2017). Orçamento, Indicadores e Gestão de Desempenho das Universidades Federais Brasileiras. Administração Pública E Gestão Social, 9, 276-285.
Santos, C. R. (2014). O olho do dono engorda o boi? Uma análise da relação entre os indicadores de gestão do Tribunal de Contas da União para os Institutos Federais de Educação, Ciência e Tecnologia e o índice geral de cursos. Dissertação (Mestrado em Administração), Universidade Federal da Bahia, Programa de Pós-Graduação, Escola de Administração, Salvador.
Soares, J. R. (2018). Correlação entre indicadores selecionados de gestão e qualidade das instituições federais de ensino superior brasileiras, período de 2009-2016. Dissertação (Mestrado em Administração), Universidade Federal do Rio Grande do Sul, Programa de Pós-graduação em Administração, Porto Alegre.
Sombra, L. C. (2017). Um estudo da eficiência relativa das taxas de sucesso e dos desempenhos no ranking universitário da folha de São Paulo (RUF) das Universidades Federais Brasileiras para o ano de 2015. Dissertação (Mestrado Profissional em Economia do Setor Público), Universidade Federal do Ceará, Programa de Pós-Graduação em Economia, Fortaleza.
Sousa, K. M., & Callado, A. A. (2019). Indicadores financeiros e não-financeiros e a qualidade da educação superior das universidades federais brasileiras. Revista Ciências Administrativas, 25(2), pp. 1-15.
Teodoro, A., Santos, E., & Costa Junior, R. d. (2018). University rankings: between market regulation and the diffusion of organizational models: The Brazilian case. Revista Lusófona de Educação, 7, pp. 175-185.
Tochkov, K., Nenovsky, N., & Tochkov, K. (2012). University efficiency and public funding for higher education in Bulgaria. Post-Communist Economies, 24(4), pp. 517-534.
Van Dyke, N. (2005). Twenty years of university report cards. Higher Education in Europe, 30(2), pp. 103-125.
Baltagi, B. H. (2008). Econometric analysis of panel data. John Wiley & Sons.
Barbosa, G. d., Freire, F. d., & Crisóstomo, V. L. (2011). Análise dos indicadores de gestão das IFES e o desempenho discente no ENADE. Avaliação: Revista da Avaliação da Educação Superior, 16(2), pp. 317-344.
Bittencourt, H. R., Casartelli, A. d., & Rodrigues, A. C. (2009). Sobre o índice geral de cursos (IGC). Avaliação: Revista da Avaliação da Educação Superior, 14, pp. 667-682.
Boynard, K. M., & Nogueira, J. M. (2015). Indicadores de gestão em conflito com indicadores de qualidade? Lições econômicas para a gestão universitária. Revista Gestão Universitária na América Latina-GUAL, 8(4), pp. 237-258.
Breusch, T. S., & Pagan, A. R. (1980). The Lagrange multiplier test and its applications to model specification in econometrics. The review of economic studies, 47(1), pp. 239-253.
Calderón, A. I., & Lourenço, H. d. (2017). Rankings na educação superior Brasileira: Uma aproximação aos rankings públicos e privados. Revista de Estudos Aplicados em Educação, 2(3), pp. 89-103.
Costa, D. F. (2012). Medição de desempenho em universidades federais: análise da relação entre os indicadores do tribunal de contas da união e o índice geral de cursos. Dissertação (Mestrado Profissional em Administração), Universidade Potiguar, Natal.
Dias Sobrinho, J. (2010). Avaliação e transformações da educação superior brasileira (1995-2009): do provão ao SINAES. Avaliação: Revista Da Avaliação Da Educação Superior, 15, pp. 195-224.
Erasmo, E. A., Duarte, M. S., Pires Nunes, E. B., & Mendes, R. N. (2018). Avaliação institucional: uma análise de indicadores de desempenho institucional em uma IFES. Revista Observatório, 4(6), pp. 845-877.
Fávero, L. P. (2013). Dados em painel em contabilidade e finanças: teoria e aplicação. BBR-Brazilian Business Review, 10(1), pp. 131-156.
Fereira, M. C., Santos, W. J., & Pessanha, J. F. (2013). Avaliação do ensino superior: análise dos indicadores instituídos pelo TCU para as IFES. Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ, 18(1), pp. 104-124.
Ferreira, A. F. (2013). Indicadores de gestão das Instituições Federais de educação superior e a qualidade dos cursos. Dissertação (Mestrado em Contabilidade), Universidade Federal de Santa Catarina, Programa de Pós-Graduação em Contabilidade, Florianópolis.
Freire, F. d., Crisóstomo, V. L., & Castro, J. E. (2007). Análise do desempenho acadêmico e indicadores de gestão das IFES. Revista Produção Online, 7(4).
Gil, A. C. (2008). Métodos e técnicas de pesquisa social (6 ed.). São Paulo: Atlas SA.
Gujarati, D. N. (2006). Econometria básica. (M. J. Cyhlar, Trad.) Rio de Janeiro: Elsevier.
Hausman, J. A. (1978). Specification tests in econometrics. Econometrica: Journal of the econometric society, 46(6), pp. 1251-1271.
Hoffmann, C., Zanini, R. R., Corrêa, Â. C., Siluk, J. C., Schuch Júnior, V. F., & Ávila, L. V. (2014). O desempenho das universidades brasileiras na perspectiva do Índice Geral de Cursos (IGC). Educação e Pesquisa, 40, pp. 651-665.
Johnes, G., & Tone, K. (2017). The efficiency of Higher Education Institutions in England revisited: comparing alternative measures. Tertiary Education and Management, 23(3), pp. 191-205.
Kantabutra, S., & Tang, J. C. (2010). Efficiency analysis of public universities in Thailand. Tertiary Education and Management, 16(1), pp. 15-33.
Kempkes, G., & Pohl, C. (2010). The efficiency of German universities–some evidence from nonparametric and parametric methods. Applied economics, 42(16), pp. 2063-2079.
Lourenço, H. d., & Calderón, A. I. (2015). Rankings acadêmicos na educação superior: mapeamento da sua expansão no espaço ibero-americano. Acta Scientiarum. Education, 37(2), pp. 187-197.
Ministério da Educação. (2010a). Orientações para o cálculo dos indicadores de gestão – Decisão nº 408/2002-Plenário e Acórdãos nº 1.043/2006 e nº 2.167/2006-Plenário. Acesso em 06 de Dez de 2021, disponível em: https://www2.ufjf.br/diavi/wp-content/uploads/sites/31/2021/05/Manual_2442932_Orientacoes_para_o_calculo_dos_Indicadores_de_Gestao___TCU_CGU_SESU_2010.pdf
Ministério da Educação. (2010b). Portaria Normativa nº. 40, de 12 de dezembro de 2007, republicada em 2010. Institui o e-MEC, sistema eletrônico de fluxode trabalho e gerenciamento de informaçõesrelativas aos processos de regulação,avaliação e supervisão da educação superiorno sistema federal de educação, e oCadastro e-MEC de Instituições e CursosSuperiores e consolida disposições sobreindicadores de qualidade, banco de avaliadores(Basis) e o Exame Nacional de Desempenhode Estudantes (ENADE) e outrasdisposições. Acesso em 29 de Nov de 2021, disponível em: http://portal.mec.gov.br/index.php?option=com_docman&view=download&alias=16763-port-norm-040-2007-seres&Itemid=30192.
Morandin, J. L., Silva, N. R., & Vanz, S. A. (2020). O desempenho das universidades brasileiras no U-Multirank e Ranking Universitário Folha. Ciência da Informação em Revista, 7(2), pp. 116-136.
Nazarko, J., & Šaparauskas, J. (2014). Application of DEA method in efficiency evaluation of public higher education institutions. Technological and Economic development of Economy, 20(1), pp. 25-44.
Nuintin, A. A., Benedicto, G. C., Calegário, C. L., Curi, M. A., & Nogueira, L. R. (2014). Eficiência da aplicação de recursos públicos nas universidades federais. Anais do Congresso Brasileiro de Custos-ABC - XXI Congresso Brasileiro de Custos.
Polidori, M. M. (2009). Políticas de avaliação da educação superior brasileira: Provão, SINAES, IDD, CPC, IGC e... outros índices. Avaliação: Revista da Avaliação da Educação Superior, 14, pp. 439-452.
Reinaldo, L. M. (2017). Estimação clássica e bayesiana para dados em painel. Dissertação (Mestrado em Estatística), Universidade de Brasília, Instituto de Ciências Exatas, Brasília.
RUF - Ranking Universitário Folha. (2021). Como é feito o Ranking de Universidades. Acesso em 22 de Jul de 2021, disponível em Ranking Universitário Folha: https://ruf.folha.uol.com.br/2019/noticias/como-e-feito-o-ranking-universitario-folha.shtml
Santos, A., Barbosa, F. L., Martins, D. F., & Moura, H. J. (2017). Orçamento, Indicadores e Gestão de Desempenho das Universidades Federais Brasileiras. Administração Pública E Gestão Social, 9, 276-285.
Santos, C. R. (2014). O olho do dono engorda o boi? Uma análise da relação entre os indicadores de gestão do Tribunal de Contas da União para os Institutos Federais de Educação, Ciência e Tecnologia e o índice geral de cursos. Dissertação (Mestrado em Administração), Universidade Federal da Bahia, Programa de Pós-Graduação, Escola de Administração, Salvador.
Soares, J. R. (2018). Correlação entre indicadores selecionados de gestão e qualidade das instituições federais de ensino superior brasileiras, período de 2009-2016. Dissertação (Mestrado em Administração), Universidade Federal do Rio Grande do Sul, Programa de Pós-graduação em Administração, Porto Alegre.
Sombra, L. C. (2017). Um estudo da eficiência relativa das taxas de sucesso e dos desempenhos no ranking universitário da folha de São Paulo (RUF) das Universidades Federais Brasileiras para o ano de 2015. Dissertação (Mestrado Profissional em Economia do Setor Público), Universidade Federal do Ceará, Programa de Pós-Graduação em Economia, Fortaleza.
Sousa, K. M., & Callado, A. A. (2019). Indicadores financeiros e não-financeiros e a qualidade da educação superior das universidades federais brasileiras. Revista Ciências Administrativas, 25(2), pp. 1-15.
Teodoro, A., Santos, E., & Costa Junior, R. d. (2018). University rankings: between market regulation and the diffusion of organizational models: The Brazilian case. Revista Lusófona de Educação, 7, pp. 175-185.
Tochkov, K., Nenovsky, N., & Tochkov, K. (2012). University efficiency and public funding for higher education in Bulgaria. Post-Communist Economies, 24(4), pp. 517-534.
Van Dyke, N. (2005). Twenty years of university report cards. Higher Education in Europe, 30(2), pp. 103-125.
Published
2024-02-07
How to Cite
Bernardes Voese, S., Roberto dos Santos, M., & Dombroski, L. (2024). The relationship between management performance and Federal Universities quality rankings . Enfoque: Reflexão Contábil, 43(1), 32-47. https://doi.org/10.4025/enfoque.v43i1.62247
Section
Original Articles
DECLARATION OF ORIGINALITY AND COPYRIGHTS
I Declare that current article is original and has not been submitted for publication, in part or in whole, to any other national or international journal.
The copyrights belong exclusively to the authors. Published content is licensed under Creative Commons Attribution 3.0 (CC BY 3.0) guidelines, which allows sharing (copy and distribution of the material in any medium or format) and adaptation (remix, transform, and build upon the material) for any purpose, even commercially, under the terms of attribution.
Read this link for further information on how to use CC BY 3.0 properly.
