Revista Industrial Data 22(1): 217-236 (2019)    
ISSN: 1560-9146 (Impreso) / ISSN: 1810-9993 (Electrónico)John Pérez / rosa DelgaDillo

DOI: http://dx.doi.org/10.15381/idata.v22i1.16537         
Facultad de Ingeniería Industrial - UNMSM

 

Modelo de evaluación de éxito de los sistemas de información, con énfasis en los factores políticos, social y ético en instituciones públicas del Perú

 

John Jairo Pérez Tijero [1]

Rosa Sumactika Delgadillo Ávila De Mauricio [2]

Recibido: 09/01/2019 AceptAdo:   25/04/2019

 

 

RESUMEN

La presente investigación propone un modelo de éxito de los sistemas de información, con la adhesión del factor político, social y ético, aplicado al Módulo de Gestión de Recursos Humanos (MGRRHH) del Ministerio de Economía y Finanzas del Perú. Las bases teóricas empleadas incluyen los esquemas planteados por diversos autores, asumiendo finalmente un modelo de evaluación teórico basado en DeLone y McLean (2003), y Villegas (2010). Una vez identificado el modelo, con un ajuste adecuado y una validez promedio (elaborado a partir del alfa de Cronbach, el análisis factorial exploratorio, el análisis factorial confirmatorio y las ecuaciones estructurales), se estiman las relaciones significativas en base a los elementos y componentes de éxito, las cuales permiten eliminar aquellas relaciones no significativas y plantear un modelo final con el total de relaciones significativas.

 

Palabras-claves: Factor crítico de éxito; análisis factorial exploratorio; análisis factorial confirmatorio; ecuaciones estructurales.

 

 

 

 

 

 

INTRODUCCIÓN

 

En los últimos años, el vertiginoso crecimiento de las tecnologías de la información (TI) ha cambiado la forma de comunicar, estudiar, trabajar y acceder a la información. Este escenario ha generado que ―en la actualidad― las organizaciones, tanto públicas como privadas, incrementen su capital en software, hardware y comunicaciones. Por ello, es indispensable determinar la efectividad de las inversiones en tecnologías de la información y conocer el valor y los factores que influyen en su contribución a la organización. La valoración del impacto de las TI es una de las veinte cuestiones más determinantes, indicadas por los integrantes de la asociación para la gestión de la información (SIM). Esto hace necesario disponer de instrumentos que permitan medir el rendimiento de los sistemas de información (SI). La medición del éxito de los SI dispone de estudios previos como los de Robert W. Zmud, Sauder y Jones, McLean y Delone, Gable y Sedera, Medina, entre otros. Los modelos de evaluación de impacto tienen una larga historia, dado que comienzan con pequeños destellos para medir o hacer medibles cosas intangibles (satisfacción, calidad, etc.). Por tanto, esta investigación plantea un modelo de valoración de los elementos y componentes críticos de éxito en el desempeño individual y cooperativo, con énfasis en los factores político, social y ético, teniendo en cuenta que los SI operan en organizaciones humanas provocando impactos políticos, sociales y éticos.

 

El estudio recae sobre el Modulo de Gestión de Recursos Humanos (MGRRHH) del Ministerio de Economía y Finanzas del Perú, el cual brinda soporte al proceso del presupuesto anual de personal (PAP), como se muestra en la Figura 1.

 

 

 

Figura 1. Modelo DeLone y McLean.

Fuente: Elaboración propia.


 

 

PRINCIPALES MODELOS DE EVALUACIÓN DE IMPACTO DE SISTEMAS DE INFORMACIÓN

 

a.     Modelo de DeLone y McLean para la evaluación de sistemas de información (SI). La estructura de esta propuesta se basa en la taxonomía desarrollada por Mason (1978), la cual a su vez surgió de la teoría de la información de Shannon y Weaver (1964). El modelo se muestra en la Figura 2.

 

b.     Actualización del modelo de DeLone y McLean. Después de diez años de intentos de validación y de críticas, el modelo de éxito de sistemas de información DeLone y McLean recibió una actualización, como lo muestra la Figura 3.

 

c.     Otros modelos investigados. Para el desarrollo del modelo de investigación se revisaron estructuras alternativas de éxito de sistemas de información, basadas en el modelo de Delone y Mclean. La Tabla 1 presenta un resumen de dicha revisión.

 

 

 

Figura 2. Modelo DeLone y McLean.

Fuente: DeLone y McLean (1992)

 

 

 

 

 

Figura 3. Actualización del modelo de DeLone y McLean.

Fuente: DeLone y McLean (2003

 

 

 

Tabla 1. Detalle de modelos revisados.

Título

Descripción

Modelo de evaluación del impacto de los sistemas de información en el

desempeño individual del usuario

Investigación realizada por Medina (2005), quien revisa el grado de influencia de la participación del usuario en su desempeño individual (toma de decisiones y satisfacción en el uso de los sistemas de información) por medio del análisis de los factores de implementación ( organizacional, planeación y técnico ).

Modelo de impacto de la política organizacional en éxito de los siste-

mas de información

Investigación realizada por Romi, Awad y Elkordy (2008), quienes proponen un modelo de investigación que incorpora las dimensiones de éxito de los sistemas de información (SI) como variables dependientes, y la política organizativa como variable independiente.

Modelo de éxito de los sistemas de información

Gable, Sedera y Chan (2008) han desarrollado un modelo multidimensional de éxito de los sistemas de información en entornos aplicados a sistemas empresariales, tomando como

referencia al primer modelo de DeLone y McLean. Según ellos, “para desarrollar un modelo

de medición integral y un instrumento para un contexto particular, los constructos y medidas deben ser seleccionadas sistemáticamente considerando contingencias contextuales, como tamaño, estructura o la tecnología de la organización y las características individuales del sistema” (p. 379) [traducción nuestra].

Modelo de evaluación de los atributos críticos de éxito de los sistemas de información en el desempeño individual, cooperativo y organiza-

cional

Este modelo se basa en la investigación realizada por Villegas (2010), quien analiza la incorporación del desempeño cooperativo como un constructor clave, debido a que dicho

desempeño constituye un elemento clave en el éxito de las organizaciones. Villegas indica que su estudio “tiene como objetivo general, proponer un modelo de evaluación del  de SI, en el cual se plantea los atributos críticos, factores y dimensiones de éxito y su incidencia en el desempeño individual, desempeño cooperativo y desempeño organizacional” (p.

174).

Modelo de evaluación de éxito de los sistemas de información, con énfasis en la seguridad de información a

nivel de desempeño individual en instituciones públicas peruanas

Modelo propuesto por Cabrera (2013), el cual incorpora la seguridad de la información como un factor clave para evaluar el éxito de los sistemas de información a nivel del desempeño individual del usuario interno de la organización.

Vale añadir que, en los últimos veinte años, los estudios incidieron en el usuario, intentando verlo de una manera más compleja, como parte de un sistema social en el cual las tecnologías cumplen una función esencial (Karat y Karat, 2003).

Modelo para medir el éxito de un sistema de información geográfico

Investigación realizada por Eldrandaly, Naguib y Hassan (2015). Su modelo consiste en dos niveles principales: éxito de difusión del proyecto GIS y éxito posterior a la implementación de los GIS.

Modelo conceptual para los factores de éxito del gobierno electrónico en

países en desarrollo

Investigación hecha por Ghassan, Bin y Shahzad (2016). Su estudio propone un modelo de éxito del gobierno electrónico para las organizaciones empresariales en Jordania. Los investigadores indican que su análisis “pretende examinar varios factores de éxito de la adopción de aplicaciones de administración electrónica para organizaciones empresariales en países en desarrollo y proponer un modelo conceptual para el éxito del gobierno electrónico” (p. 39) [ traducción nuestra ].

Modelo para evaluar la eficacia de una intranet en una biblioteca de educación a distancia

Es un modelo propuesto por Rammutloa (2017), quien “utilizó las dimensiones del modelo de DeLone y McLean, a saber, la calidad de la información, la intención de uso, la calidad del sistema, la calidad del servicio, la satisfacción del usuario y los beneficios netos, para

informar sobre el estado de la intranet de la Biblioteca Unisa y para evaluar su efectividad como herramienta de intercambio de conocimientos” (p. III) [traducción nuestra].

Modelo de éxito de la cloud computing para hospitales en Taiwán

Desarrollado por Lian (2017) en la Universidad Nacional de Taichung, con el propósito de comprender los factores críticos relacionados a los factores de calidad que afectan el éxito de la cloud computing en los nosocomios taiwaneses.

Modelo de aceptación del m-learning (aprendizaje electrónico móvil)

Modelo presentado por Vidal (2018), el cual busca determinar cuáles son los factores que influyen en la aceptación del m-learning como elemento de formación de empleados en

España, tomando como base al modelo TAM3 (Technology Acceptance Model), desarrollado por Venkatesh y Bala (2008).

Modelo de investigación del éxito de los sistemas de comercio electrónico

El propósito de este modelo era obtener una mejor comprensión de la percepción del usuario al usar sistemas de información organizacionales (Nugroho y Prasetyo, 2018).

Modelo para medir el éxito de los registros electrónicos de salud en

cuidado de ancianos en una resi-

dencial

Modelo presentado por Yu y Qian (2018), el cual incorpora seis variables en el modelo de éxito de los sistemas de información de DeLone y McLean: calidad de sistema, calidad de la información, calidad del servicio, uso, satisfacción del usuario y beneficios netos.

Fuente: Elaboración propia.

 

 

 

METODOLOGÍA

 

El presente caso de estudio es no experimental, pues implica correlación/causalidad y trata de conocer la percepción de los usuarios operativos del Módulo de Gestión de Recursos Humanos (MGRRHH), sin realizar algún tipo de manipulación intencional. En tal sentido, esta investigación se encuentra orientada a evaluar el impacto del MGRRHH en la asignación de presupuestos en materia de personal. El modelo propuesto se muestra en la Figura 4.

 

 

 

 

Figura 4. Modelo propuesto.

Fuente: Elaboración propia

 

 

Diseño de la muestra

 

Considerando la población N=1740 y aplicando un muestreo aleatorio simple de proporciones con P=Q=0,5, se obtiene el tamaño muestra igual a 207.

 

Encuesta piloto

 

Se desarrolló una encuesta piloto mediante correo electrónico, con un total de treinta encuestas seleccionadas mediante muestreo sistemático aleatorio simple, las cuales presentaron una tasa de no respuesta de 37%. El cuestionario piloto estaba formado por 5 preguntas control y 90 preguntas divididas en los 13 factores considerados. La consistencia interna, medida a través del coeficiente alfa de Cronbach, muestra un resultado general adecuado, siendo bajo para los factores político, ético y técnico.

 

 

RESULTADOS Y DISCUSIÓN

 

Para verificar la confiabilidad de la encuesta, se aplicó el coeficiente alfa de Cronbach para cada factor definido, teniendo en cuenta un total de 91 ítems. En líneas generales, el mencionado coeficiente resulta mayor a 0,5 para todos los factores y, al ser superior a 0,7 en todos los casos, se clasifica como “bueno” (3/13 factores), “aceptable” (3/13 factores) o “excelente” (7/13 factores). Véase la Tabla 2.

 

 

Tabla 2. Alfa de Cronbach aplicado a la encuesta final.

Factor

Número de elementos

Alfa de Cronbach

Político

4

0,782

Social

4

0,732

Ético

4

0,843

Organizacional

6

0,883

Planeación, ejecución y control

6

0,883

Técnico

4

0,679

Calidad de la información

8

0,936

Calidad del sistema

8

0,927

Calidad de los servicios

4

0,920

Intención de uso

4

0,953

Toma de decisiones/satisfacción

8

0,974

Desempeño individual

3

0,953

Desempeño cooperativo

11

0,910

Fuente: Elaboración propia.

 

 

Análisis factorial exploratorio

 

A continuación, se aplicó el análisis factorial exploratorio. En el cuadro siguiente, se observa que en todos los casos se ha extraído un solo factor. Todos los valores del KMO son aceptables (mayores a 0,5), lo que indica una buena adecuación conjunta de las variables al modelo factorial. Véase la Tabla 3.

 

 

Tabla 3. Análisis factorial.

Descripción del factor

Esfericidad de Bartlett

KMO

Fact

Var. explicada

Político

0

0,734

1

49  %

Social

0

0,737

1

42  %

Ético

0

0,804

1

58  %

Organizacional

0

0,765

1

51  %

Planeación, ejecución y control

0

0,866

1

46  %

Técnico

0

0,727

1

37  %

Calidad de la información

0

0,916

1

66  %

Calidad del sistema

0

0,917

1

63  %

Calidad de los servicios

0

0,854

1

74  %

Intención de uso

0

0,863

1

84  %

Toma de decisiones/satisfacción

0

0,937

1

83  %

Desempeño individual

0

0,760

1

87  %

Desempeño cooperativo

0

0,891

1

50  %

Fuente: Elaboración propia.

 

 

Análisis del modelo estructural

En el cuadro siguiente, se muestra el valor del índice de confiabilidad compuesta (CR), el cual excede con el valor de 0,7 para todos los factores. Además, se muestra el valor de AVE, el cual es menor que el valor de CR en todos los factores. Sin embargo, el valor AVE no excede el valor de 0,5 para todos los factores, por ese motivo, para estos constructos no se cumpliría la validez convergente. Además, la Tabla 4 presenta el valor de R2, el cual para todos los factores es menor que 0,8; con lo se comprueba la ausencia de multicolinealidad.

 

 

Tabla 4. Confiabilidad compuesta, AVE y correlación múltiple.

Factores

Descripción de los factores

Ítems

CR

AVE

R2

Validez convergente

CR>AVE

AVE>0,5

Factor 1

Político

4

0,78

0,48

0,00

No

Factor 2

Social

4

0,74

0,41

0,00

No

Factor 3

Ético

4

0,84

0,57

0,00

Factor 4

Organizacional

4

0,89

0,57

0,00

Factor 5

Planeación, ejecución y control

6

0,83

0,46

0,00

No

Factor 6

Técnico

4

0,70

0,37

0,00

No

Factor 7

Calidad de la información

8

0,97

0,80

0,37

Factor 8

Calidad del sistema

8

0,96

0,76

0,37

Factor 9

Calidad de los servicios

4

0,95

0,82

0,35

Factor 10

Intención de uso

4

0,98

0,91

0,49

Factor 11

Toma de decisiones/satisfacción

8

0,99

0,90

0,52

Factor 12

Desempeño individual

3

0,98

0,94

0,49

Factor 13

Desempeño cooperativo

11

0,95

0,63

0,44

Fuente: Elaboración propia.

 

 

Validez discriminante

 

En la diagonal de la Tabla 5, no se cumple la validez discriminante, ya que los valores de la diagonal, equivalentes a la raíz de los valores estimados de AVE (varianza de los indicadores que forman cada constructo), resultan ser en algunos casos menores que las correlaciones entre los constructos (que se encuentran en las casillas fuera de las diagonales).


 

 

Tabla 5. Confiabilidad compuesta, AVE y correlación múltiple.

Fuente: Elaboración propia.

 

 


Reformulación del modelo

 

Debido a que los constructos en el modelo planteado no alcanzan el valor de AVE esperado (mayor a 0,5), se procedió a reformular el modelo, eliminando las variables que forman parte de los constructos respectivos y que presentan las menores cargas factoriales, estos son: factor “político”: V4; factor “social”: V13, V9, V14; factor “planeación, ejecución y control”: V29, V33; y factor técnico: V39, V37, V36. Suprimiendo estos indicadores, es posible hallar los valores esperados de AVE, los cuales resultan ser mayor que 0,5 para todos los constructos.

 

Mejora del modelo

 

De acuerdo a lo anterior, contamos con un total de 75 variables (64 observadas y 11 constructos); 71 son endógenas (64 observadas y 7 constructos endógenos); 4 son exógenas (4 constructos exógenos); 66 son dependientes (64 observadas y 2 constructos endógenos); 4 son independientes (los constructos exógenos); y 5 son ―a la vez― dependientes e independientes (5 constructos endógenos).

 

Validez convergente (varianza extraída mediaAVE)

 

En la Tabla 6, se muestra el valor del índice de confiabilidad compuesta (CR), el cual excede con el valor de 0,7 para todos los factores. Además, se muestra el valor de AVE, el cual es menor que el valor de CR en todos los factores y excede al valor de 0,5; para todos los factores (todos los constructos) se cumpliría la validez convergente. El valor de R2 para todos los factores es menor que 0,8, con lo se comprueba la ausencia de multicolinealidad.

 

 

Tabla 6. Confiablidad compuesta, AVE y correlación múltiple.

Factores

Descripción de los factores

Variable

Ítems

CR

AVE

R2

Validez convergente

CR>AVE

AVE>0,5

Factor 1

Político

P

3

0,77

0,52

0,00

Factor 2

Ético

E

4

0,84

0,58

0,00

Factor 3

Organizacional

O

4

0,89

0,57

0,00

Factor 4

Planeación, ejecución y control

PEC

4

0,80

0,51

0,00

Factor 5

Calidad de la información

CI

8

0,97

0,79

0,00

Factor 6

Calidad del sistema

CSI

8

0,96

0,76

0,00

Factor 7

Calidad de los servicios

CSE

4

0,94

0,81

0,00

Factor 8

Intención de uso

IU

4

0,97

0,91

0,00

Factor 9

Toma de decisiones/satisfacción

TD

8

0,99

0,89

0,00

Factor 10

Desempeño individual

DI

3

0,98

0,94

0,00

Factor 11

Desempeño cooperativo

DO

11

0,95

0,63

0,00

Fuente: Elaboración propia.

 

 

Cargas factoriales, ratios críticos y significancia

 

La Tabla 7 muestra los valores significativos de los pesos de regresión no estandarizados o cargas factoriales que corresponden a la variación que se produce en la variable dependiente (observada o constructo) cuando la variable independiente (constructo) varía en una unidad y el correspondiente error estándar (S. E.). Al observar la proporción crítica (C. R.) del cuadro señalado, se detecta que todas las cargas factoriales resultan significativas, a un nivel de significancia de 0,05. Las siguientes relaciones son significativas (radios críticos mayores/menores que ±1,96).

 

 

Tabla 7. Confiablidad compuesta, AVE y correlación múltiple.

 

 

 

Est.

S. E.

C. R.

P

Toma de decisiones/satisfacción

Calidad de la información

0,517

0,066

7,818

***

Toma de decisiones/satisfacción

Calidad del sistema

0,427

0,065

6,539

***

Intención de uso

Calidad del sistema

0,401

0,066

6,127

***

Intención de uso

Calidad de la información

0,492

0,066

7,419

***

Desempeño individual

Intención de uso

0,192

0,060

3,173

0,002

Desempeño cooperativo

Intención de uso

0,225

0,062

3,620

***

Desempeño individual

Toma de decisiones/satisfacción

0,573

0,060

9,579

***

Desempeño cooperativo

Toma de decisiones/satisfacción

0,479

0,062

7,710

***

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Fuente: Elaboración propia.

 

 

Interpretación de las cargas factoriales significativas

 

Las cargas factoriales significativas pueden interpretarse del modo siguiente:

 

     Toma de decisiones/satisfacción ← Calidad de la información. Cuando la calidad de la información se incrementa en una categoría, la toma de decisiones/satisfacción se incrementa en 0,517.

 

     Toma de decisiones/satisfacción ← Calidad del sistema. Cuando la calidad del sistema se incrementa en una categoría, la toma de decisiones/satisfacción se incrementa en 0,427.

 

     Intención de uso ← Calidad del sistema. Cuando la calidad del sistema se incrementa en una categoría, la intención de uso se incrementa en 0,401.

 

     Intención de uso ← Calidad de la información. Cuando la calidad de la información se incrementa en una categoría, la intención de uso se incrementa en 0,492.

 

     Desempeño individual ← Intención de uso. Cuando la intención de uso se incrementa en una categoría, el desempeño individual se incrementa en 0,192.

 

     Desempeño cooperativo ← Intención de uso. Cuando la intención de uso se incrementa en una categoría, el desempeño cooperativo se incrementa en 0,225.

 

     Desempeño individual ← Toma de decisiones/ satisfacción. Cuando la toma de decisiones/ satisfacción se incrementa en una categoría, el desempeño individual se incrementa en 0,573.

 

     Desempeño cooperativo ← Toma de decisiones/satisfacción. Cuando la toma de decisiones/satisfacción se incrementa en una categoría, el desempeño cooperativo se incrementa en 0,479.

 

 

Presentación final del modelo

 

En base a los resultados obtenidos y la mejora del modelo, omitiendo las relaciones que no han sido significativas en el análisis, a continuación se presenta el modelo final aceptado. Véase la Figura 5.

 

 

 

Figura 5. Modelo final.

Fuente: Elaboración propia.

 

 

CONCLUSIONES

 

Para el modelo presentado de los factores de implementación, y a partir del análisis estadístico realizado, se detecta que los factores político, social y ético no evidencian una influencia significativa en los factores de calidad de servicio, calidad de la información y calidad del sistema. Esto, a su vez, expresa que la percepción de los encuestados considera que los factores político, social y ético, en el Modulo de Gestión de Recursos Humanos (MGRRHH) del Ministerio de Economía y Finanzas, no influyen de una manera positiva en la calidad del servicio, de la información, ni en la del sistema. Se puede decir que los encuestados tienen dicha percepción porque el enfoque de las preguntas para los factores político, social y ético no comprende el amplio espectro del MGRRHH.

 

El factor organizacional y el factor planeación, ejecución y control no son significativos para el factor calidad de la información, calidad del sistema y calidad de los servicios. El factor técnico no resulta significativo, ya que no presenta relaciones significativas con los factores calidad de la información, calidad del sistema y calidad de los servicios. La calidad de la información presenta relaciones significativas con la intención de uso y toma decisiones, dado que es un aplicativo informático para la asignación presupuestal, la calidad de la información es importante en términos de garantizar una buena información, generando el presupuesto previsto. La calidad del sistema presenta relaciones significativas con la intención de uso y la satisfacción del usuario, esto debido a la afabilidad, rapidez y fiabilidad de la información del MGRRHH. La calidad de los servicios no presenta relaciones significativas con la intención de uso y la toma de decisiones. La intención de uso y la toma de decisiones presentan relaciones significativas con el desempeño individual y con el cooperativo.

 

 

REFERENCIAS BIBLIOGRÁFICAS

 

[1]    Cabrera, M. del C. (2013). Un modelo de evaluación de éxito de los sistemas de información con énfasis en la seguridad de información a nivel del desempeño individual de instituciones públicas en Perú. Caso de estudio: Poder Judicial, sistema de notificaciones electrónicas. (Tesis de maestría). Universidad Nacional Mayor de San Marcos, Lima.

[2]    DeLone, W. H. y McLean, E. R. (1992). Information Systems Success: The Quest for the Dependent Variable. Information Systems Research, 3(1), 60-95.

[3]    DeLone, W. H. y McLean, E. R. (2003). The DeLone and McLean Model of Information Systems Success: A Ten-Year Update. Journal of Management Information Systems, 19(4) ,  9-30.

[4]    Eldrandaly, K. A., Naguib, S. M. y Hassan, M. M. (2015). A Model for Measuring Geographic Information Systems Success. Journal of Geographic Information System, 7(4), 328-347.

[5]    Gable, G. G., Sedera D. y Chan T. (2008). Reconceptualizing Information System Success: The IS-Impact Measurement Model. Journal of the Association for Information Systems, 9(7), 377-408.

[6]    Ghassan, A. G., Bin, S. B. y Shahzad, A. (2016). A Conceptual Model for E-Government Success Factors in Developing Countries. International Journal of Scientific and Research Publications, 6(12), 39-44.

[7]    Karat J. y Karat, C. M. (2003). The Evolution of User-Centered Focus in the Human-Computer Interaction Field. IBM Systems Journal, 42(2), 532-421.

[8]    Lian, J.-W. (2017). Establishing a Cloud Computing Success Model for Hospitals in Taiwan. Inquiry: The Journal of Health Care Organization, Provision, and Financing, 54, 1-6.

[9]    Mason, R. O. (1978). Measuring Information Output: A Communication Systems Approach. Information & Management, 1(4), 219-234.

[10]  Medina, J. M. (2005). Evaluación del Impacto de los Sistemas de Información en el Desempeño Individual del Usuario: Aplicación en Instituciones Universitarias. (Tesis doctoral). Universidad Politécnica de Madrid, Madrid.

[11]  Nugroho, Y. y Prasetyo, A. (2018). Assessing Information Systems Success: A Respecification of the DeLone and McLean Model to Integrating the Perceived Quality. Problems and Perspectives in Management, 16(1), 348-360.

[12]  Rammutloa, M. (2017). Application of the DeLone and McLean’s Model to Assess the Effectiveness of an Intranet in an Open Distance Learning Library. (Tesis de maestría). Stellenbosch University, Cabo Occidental.

[13]  Romi, I. M., Awad, I. A. y Elkordy, M. (2008). A Model of Organizational Politics Impact on Information Systems Success. Recuperado de https://www.academia.edu/9751502/A_ Model_of_Organizational_Politics_Impact_on_

Information_Systems_Success

[14]  Shannon, C. E. y Weaver W. (1964). The Mathematical Theory of Communication. Illinois, EE. UU.: The University of Illinois Press.

[15]  Venkatesh, V. y Bala, H. (2008). Technology Acceptance Model 3 and a Research Agenda on Interventions. Decision Sciences, 39(2), 273-315.

[16]  Vidal, M. E. (2018). Determinantes de la aceptación del mobile learning como elemento de formación del capital humano en las organizaciones. (Tesis doctoral). Universidad Complutense de Madrid, Madrid.

[17]  Villegas, J. H. (2010). Un modelo de evaluación de los atributos críticos de éxito de los sistemas de información en el desempeño individual, cooperativo y organizacional. (Tesis de maestría). Universidad Nacional Mayor de San Marcos, Lima

[18]   Yu, P. y Qian, S. (2018). Developing a Theoretical Model and Questionnaire Survey Instrument to Measure the Success of Electronic Health Records in Residential Aged Care. PLOS ONE, 13(1), 1-18.


 

 

 

 


Revista Industrial Data 22(1): 217-236 (2019)    
ISSN: 1560-9146 (Impreso) / ISSN: 1810-9993 (Electrónico)John Pérez / rosa DelgaDillo

DOI: http://dx.doi.org/10.15381/idata.v22i1.16537         
Facultad de Ingeniería Industrial - UNMSM

 

Information Systems Success Evaluation Model with emphasis on political, social and ethical factors in public institutions in Peru

 

John Jairo Pérez Tijero [3]

Rosa Sumactika Delgadillo Ávila De Mauricio [4]

Received: 09/01/2019 Accepted:   25/04/2019

 

ABSTRACT

 

This study proposes an information systems success model, with the addition of political, social, and ethical factors, applied to the Módulo de Gestión de Recursos Humanos [Human Resources Management Module] (MGRRHH) of the Ministry of Economy and Finance of Peru. The theoretical frameworks used included models proposed by various authors, finally assuming a theoretical evaluation model based on DeLone and McLean (2003), and Villegas (2010). Once the model was identified, with an appropriate adjustment and average validity (Cronbach's alpha, exploratory factor analysis, confirmatory factor analysis and structural equations), significant relationships were estimated based on the elements and components of success, which enabled the elimination of non-significant relationships and the proposal of a final model with all significant relationships.

 

Keywords: Critical success factor; exploratory factor analysis; confirmatory factor analysis; structural equations.

 

 

 

 

 

 

INTRODUCCIÓN

 

In recent years, the rapid growth of information technologies (IT) has changed the way people communicate, study, work and access information. This landscape has caused present-day organizations, both public and private, increase their investment in software, hardware, and communications. Therefore, it is essential to determine the effectiveness of investments in information technologies and to know the value and factors that influence their contribution to the organization. The IT impact assessment is one of the twenty most decisive issues indicated by the members of the management information systems (MIS) association. It is therefore necessary to have instruments for information systems (IS) performance measurement. There are previous studies about information systems success measurement such as those conducted by Robert W. Zmud, Sauder and Jones, McLean and DeLone, Gable and Sedera, Medina, among others. Impact evaluation models have a long history, because they start with small attempts to measure intangibles (satisfaction, quality, etc.) or make them measureable. Therefore, this research study proposes a model for the evaluation of critical elements and components of success in individual and cooperative performance with emphasis on political, social, and ethical factors, considering that IS operate within human organizations and have impacts at political, social, and ethical levels.

 

This study is focused on the Human Resources Management Module (MGRRHH, in Spanish) of the Ministry of Economy and Finance of Peru, which supports the annual personnel budget ( PAP, in Spanish), as shown in Figure  1.

 

 

Figure 1. DeLone and McLean Model.

Source: Prepared by the authors.

 

 


MAIN INFORMATION SYSTEMS IMPACT EVALUATION MODELS

 

a.     DeLone and McLean Information Systems (IS) Success Model. The structure of this proposal is based on Mason’s taxonomy (1978), which was based on Shannon and Weaver’s Theory of Communication (1964). The model is shown in Figure 2.

 

b.     DeLone and McLean Updated Model. After ten years of validation attempts and critical review, the DeLone and McLean Information Systems Success Model was updated, as shown in Figure 3.

 

c.     Other models reviewed. Alternative information systems success structures based on DeLone and McLean’s model were reviewed for the development of the research model. Table 1 presents a summary of said review.

 

 

 

Figure 2. DeLone and McLean Model.

Source: DeLone and McLean (1992)

 

 

Figure 3. DeLone and McLean Updated Model.

Source: DeLone and McLean (2003)

 

 

Table 1. Description of reviewed models.

Title

Description

Model for evaluating Information

Systems Impact on User individual performance

Research conducted by Medina (2005), who examines the degree of influence of user participation in his or her individual performance (decision-making and satisfaction regarding the use of information systems) through the analysis of implementation factors (organizational, planning, and technical).

A model of Organizational Politics

Impact on Information Systems Success

Research conducted by Romi, Awad and Elkordy (2008), who propose a research model that incorporates the information systems (IS) success dimensions as dependent variables, and the organizational politics as independent variable.

Information Systems Success Model

Gable, Sedera and Chan (2008) developed a multidimensional Information Systems Success Model in business environments applied to Enterprise Systems, using the DeLone and McLean model as reference. According to the latter, “to develop a comprehensive measurement model and instrument for a particular context, the constructs and measures should be systematically selected considering contextual contingencies, such as organization size or structure, or the technology and the individual characteristics of the system” (p.379).

Model for evaluating the critical attributes of information systems

success in individual, cooperative and organizational performance

This model is based on the research conducted by Villegas (2010), who analyzes the incorporation of cooperative performance as a key construct, because it is a key element in the success of organizations. Villegas indicates that his study “tiene como objetivo general, proponer un

modelo de evaluación del desempeño de SI, en el cual se plantea los atributos críticos, factores y dimensiones de éxito y su incidencia en el desempeño individual, desempeño cooperativo

y desempeño organizacional” [has as a general objective the proposal of an evaluation model

for IS performance, that considers critical success attributes, factors and dimensions, and their impact on individual, cooperative and organizational performance] (p. 174).

Model for evaluating information systems success with emphasis on

information security the at individual performance level in Peruvian public

institutions

Model proposed by Cabrera (2013), which incorporates information security as a key factor to evaluate information systems success at the level of individual performance of the organization’s internal user.

It is worth mentioning that studies were focused in the users in the last twenty years, attempting to examine the issue in a more complex way, as part of a social system in which technologies play a crucial role (Karat & Karat, 2003).

Model for measuring Geographic Information Systems Success

Research conducted by Eldrandaly, Naguib and Hassan (2015). This model consists of two main levels: GIS Project diffusion success, and GIS post-implementation success.

Conceptual Model for E-Government

Success Factors in Developing Countries

Research conducted by Ghassan, Bin and Shahzad (2016). The authors propose an e-government success model for business organizations in Jordan. Researchers state that their

analysis “intends to examine several success factors of e-government application adoption for business organizations in developing countries and propose a conceptual model for e-government success( p.  39).

Model to assess the effectiveness of an intranet in an open distance

learning library

Model proposed by Rammutloa (2017), who “used the dimensions of the DeLone and

McLean’s model, namely, information quality, intention to use, system quality, service quality, user satisfaction and net benefits, to report on the state of the Unisa Library’s intranet to assess its effectiveness as a knowledge-sharing tool” (p. III).

Cloud Computing Success Model for Hospitals in Taiwan

Conducted by Lian (2017) at the National Taichung University aimed at understanding the critical quality-related factors that affect cloud computing success of hospitals in Taiwan.

M-Learning (mobile learning) Acceptance Model

Model proposed by Vidal (2018) that aims to determine the acceptance of m-learning as an element of employee training in Spain, based on the TAM model (Technology Acceptance Model) proposed by Venkatesh and Bala (2008).

Research model of e-commerce systems success

The purpose of this model was to obtain a better understanding of information system of the user perception when using organization’s information systems (Nugroho & Prasetyo, 2018).

Model to measure the success of electronic health records in residen-

tial aged care

Model presented by Yu and Qian (2018), which incorporates six variables in the DeLone and McLean information systems success model: system quality, information quality, service quality, use, user satisfaction and net benefits.

Source: Prepared by the authors.

 

 

METHODOLOGY

 

This is a non-experimental case study, because it involves correlation/causality and attempts to understand the perspective of operators who use the Human Resources Management Module (MGR-

RHH) without any intentional manipulation. As such, this study aims to evaluate the MGRRHH impact on staff budget allocation. The proposed model is shown in Figure 4.

 

 

Figure 4. Proposed Model.

Source: Prepared by the authors

 

 

Sample design

 

A sample size equal to 207 was obtained after considering the population N=1740 and applying a simple random sampling of proportions with P=Q=0.5.

 

Pilot survey

 

A pilot survey was conducted via e-mail, with a total of thirty surveys that were selected by means of simple random systematic sampling, which presented a non-response rate of 37%. The pilot questionnaire was comprised of 5 control questions and 90 questions divided into the 13 factors considered. The internal consistency measured using Cronbach’s alpha shows an adequate general result, low for political, ethical and technical factors.

 

 

RESULTS AND DISCUSSION

 

Cronbach’s alpha coefficient was applied to each defined factor to verify the reliability of the survey, considering a total of 91 items. In general, said coefficient was greater than 0.5 for all factors and, being greater than 0.7 in all cases, it is classified as “good” (3/13 factors), “acceptable” (3/13 factors) or “excellent” (7/13). See Table 2.

 

 

Table 2. Cronbach’s alpha applied to the final survey.

Factor

Number of items

Cronbach’s alpha

Political

4

0.782

Social

4

0.732

Ethical

4

0.843

Organizational

6

0.883

Planning, execution, and control

6

0.883

Technical

4

0.679

Information quality

8

0.936

System quality

8

0.927

Services quality

4

0.920

Intention to use

4

0.953

Decision-making / satisfaction

8

0.974

Individual performance

3

0.953

Cooperative performance

11

0.910

Source: Prepared by the authors.

 

Exploratory Factor Analysis

 

Next, exploratory factor analysis was applied. It is observed in the following table that only one factor has been extracted in all cases. All KMO values are “acceptable” (greater than 0.5), indicating variables adequacy to the factor model. See Table 3.

 

 

Table 3. Factor Analysis.

Factor description

Bartlett’s sphericity test

KMO

Factor

Explained variance

Political

0

0.734

1

49  %

Social

0

0.737

1

42  %

Ethical

0

0.804

1

58  %

Organizational

0

0.765

1

51  %

Planning, execution, and control

0

0.866

1

46  %

Technical

0

0.727

1

37  %

Information quality

0

0.916

1

66  %

System quality

0

0.917

1

63  %

Services quality

0

0.854

1

74  %

Intention to Use

0

0.863

1

84  %

Decision-making / satisfaction

0

0.937

1

83  %

Individual performance

0

0.760

1

87  %

Cooperative performance

0

0.891

1

50  %

Source: Prepared by the authors.

 

 


Structural Model Analysis

 

The table below shows the composite reliability index (CRI), which exceeds a value of 0.7 for all factors. The AVE value, which is smaller than CR value in all factors, is also shown. Considering the AVE value does not exceed 0.5 in all factors, convergent validity would not be achieved for those constructs.  Additionally, Table 4 shows the R2 value, which smaller than 0.8 for all factors, indicating the absence of multicollinearity.

 

 

Table 4. Composite reliability, AVE and multiple correlation.

Factors

Factors description

Items

CRI

AVE

R2

Convergent validity

CR>AVE

AVE>0.5

Factor 1

Political

4

0.78

0.48

0.00

No

Factor 2

Social

4

0.74

0.41

0.00

No

Factor 3

Ethical

4

0.84

0.57

0.00

Yes

Factor 4

Organizational

4

0.89

0.57

0.00

Yes

Factor 5

Planning, execution, and control

6

0.83

0.46

0.00

No

Factor 6

Technical

4

0.70

0.37

0.00

No

Factor 7

Information quality

8

0.97

0.80

0.37

Yes

Factor 8

System quality

8

0.96

0.76

0.37

Yes

Factor 9

Services quality

4

0.95

0.82

0.35

Yes

Factor 10

Intention to Use

4

0.98

0.91

0.49

Yes

Factor 11

Decision-making / satisfaction

8

0.99

0.90

0.52

Yes

Factor 12

Individual performance

3

0.98

0.94

0.49

Yes

Factor 13

Cooperative performance

11

0.95

0.63

0.44

Yes

Source: Prepared by the authors.

 

 

Discriminant Validity

 

Discriminant validity is not achieved in the diagonal of Table 5, considering that values in the diagonal, equivalent to the root of estimated AVE values (indicators variance that form each construct), are in some cases smaller than the correlations between constructs (found in the boxes outside the diagonals).

 

 

Table 5. Composite reliability, AVE and multiple correlation

Source: Prepared by the authors.

 

 

Reformulation of the model

 

In view of the fact that the constructs of the proposed model did not achieve the expected AVE value (greater than 0.5), we proceeded to reformulate the model, excluding variables that were part of the constructs and those that had the smallest factor loads: “political” factor: V4; “social” factor: V13, V9, V14; “planning, execution and control” factor: V29, V33; and “technical” factor: V39, V37, V36. By suppressing these indicators, it was possible to find the expected AVE values, which were greater than 0.5 for all constructs.

 

Improvement of the model

 

In accordance with the foregoing, there are a total of 75 variables (64 observed and 11 constructs); 71 are endogenous (64 observed and 7 endogenous constructs); 4 are exogenous (4 exogenous constructs); 66 are dependent (64 observed and 2 endogenous constructs); 4 are independent (the exogenous constructs); and 5 are both dependent and independents (5 endogenous constructs).

 

Convergent validity (average variance extracted-AVE)

 

Table 6 shows the composite reliability index (CRI), which exceeds a value of 0.7 for all factors. The AVE value, which is smaller than CR value in all factors and exceeds the value of 0.5, is also shown; convergence validity would be achieved for all factors (all constructs). R2 value is smaller than 0.8 for all factors; therefore, the absence of multicollinearity is demonstrated.

 

 

Table 6. Composite reliability, AVE and multiple correlation.

Factors

Factors description

Variable

Items

CRI

AVE

R2

Convergent validity

CR>AVE

AVE>0.5

Factor 1

Political

P

3

0.77

0.52

0.00

Yes

Factor 2

Ethical

E

4

0.84

0.58

0.00

Yes

Factor 3

Organizational

O

4

0.89

0.57

0.00

Yes

Factor 4

Planning, execution, and control

PEC

4

0.80

0.51

0.00

Yes

Factor 5

Information quality

IQ

8

0.97

0.79

0.00

Yes

Factor 6

System quality

SQ

8

0.96

0.76

0.00

Yes

Factor 7

Services quality

SQ

4

0.94

0.81

0.00

Yes

Factor 8

Intention to use

IU

4

0.97

0.91

0.00

Yes

Factor 9

Decision-making / satisfaction

DM

8

0.99

0.89

0.00

Yes

Factor 10

Individual performance

IP

3

0.98

0.94

0.00

Yes

Factor 11

Cooperative performance

CP

11

0.95

0.63

0.00

Yes

Source: Prepared by the authors.

 

 

Factor loads, critical ratios and significance

 

Table 7 shows the significant values of the non-standardized regression coefficients or factor loads related to the changes occurred in the dependent variable (observed or construct) when the independent variable (construct) varies by one unit and the corresponding standard error (SE). It is revealed that all factor loads are significant, with a 0.05 significant level, by observing the critical ratio (CR) of the mentioned table. The relationships mentioned below are significant (critical ratios greater/ smaller than ±196):

 

 

Table 7. Composite reliability, AVE and multiple correlation.

 

 

 

Est.

SE

CR

P

Decision-making / satisfaction

Information quality

0.517

0.066

7.818

***

Decision-making / satisfaction

System quality

0.427

0.065

6.539

***

Intention to use

System quality

0.401

0.066

6.127

***

Intention to use

Information quality

0.492

0.066

7.419

***

Individual performance

Intention to use

0.192

0.060

3.173

0.002

Cooperative performance

Intention to use

0.225

0.062

3.620

***

Individual performance

Decision-making / satisfaction

0.573

0.060

9.579

***

Cooperative performance

Decision-making / satisfaction

0.479

0.062

7.710

***

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Source: Prepared by the authors.

 

 

Interpretation of significant factor loads

 

Significant factor loads may be interpreted as follows:


 

     Decision-making/satisfaction ← Information quality. When information quality value increases in one category, decision-making/ satisfaction value increases by 0.517.

 

     Decision-making/satisfaction ← System quality. When system quality value increases in one category, decision-making/satisfaction value increases by 0.427.

 

     Intention to use ← System quality. When system quality value increases in one category, intention to use value increases by 0.401.

 

     Intention to use ← Information quality. When information quality value increases in one category, intention to use value increases by 0.492.

 

     Individual performance ← Intention to use. When intention to use value increases in one category, individual performance value increases by 0.192.

 

     Cooperative performance ← Intention to use. When intention to use value increases in one category, cooperative performance increases by 0.225.

 

     Individual performance ← Decision-making/ satisfaction. When decision-making/satisfaction value increases in one category, individual performance value increases by 0.573.

 

     Cooperative performance ← Decision-making/ satisfaction. When decision-making/satisfaction value increases in one category, cooperative performance value increases by 0.479.

 

 

Final version of the model

 

Based on the obtained results and improvement of the model, and excluding non-significant relationships found in the analysis, the final accepted model is presented below. See Figure 5.

 

 

Figure 5. Final Model.

Source: Prepared by the authors

 

 

CONCLUSIONS

 

From the statistical analysis conducted on the implementation factors for the proposed model, it is found that the political, social, and ethical factors do  not  have  significant  influence  on  service quality, information quality and system quality factors. At the same time, it is revealed that respondents think that political, social and ethical factors do not exert a positive influence on the service quality, information quality or system quality of the Human Resources Management Module (MGRRHH) of the Ministry of Economy and Finance of Peru. It can be said that said perception is due to the fact that the questions regarding political, social, and ethical factors fail to cover the broad spectrum of MGRRHH. Organizational and planning, execution and control factors are not significant for information quality, system quality and service quality factors. Technical factor is not significant, because no significant relationship exists between this factor and information quality, system quality or service quality factors. Information quality factor has significant relationships with intention to use and decision-making factors, provided that it is computer application used for budget allocation, information quality is important to guarantee adequate information generating the projected budget. System quality has significant relationships with intention to use and user satisfaction, as a result of affability, speed and reliability of the information provided by the staff members of the MGRRHH. Service quality does not have significant relationships with intention to use and decision-making. Intention to use and decision-making have significant relationships with individual performance and cooperative performance.

 

 

REFERENCES

 

[1]    Cabrera, M. del C. (2013). Un modelo de evaluación de éxito de los sistemas de información con énfasis en la seguridad de información a nivel del desempeño individual de instituciones públicas en Perú. Caso de estudio: Poder Judicial, sistema de notificaciones electrónicas. (Master Thesis). Universidad Nacional Mayor de San Marcos, Lima.

[2]    DeLone, W. H. & McLean, E. R. (1992). Information Systems Success: The Quest for the Dependent Variable. Information Systems Research, 3(1), 60-95.

[3]    DeLone, W. H. & McLean, E. R. (2003). The DeLone and McLean Model of Information Systems Success: A Ten-Year Update. Journal of Management Information Systems, 19(4), 9-30.

[4]    Eldrandaly, K. A., Naguib, S. M. & Hassan, M. M. (2015). A Model for Measuring Geographic Information Systems Success. Journal of Geographic Information System, 7(4), 328-347.

[5]    Gable, G. G., Sedera D. & Chan T. (2008). Reconceptualizing Information System Success: The IS-Impact Measurement Model. Journal of the Association for Information Systems, 9(7), 377-408.

[6]    Ghassan, A. G., Bin, S. B. & Shahzad, A. (2016). A Conceptual Model for E-Government Success Factors in Developing Countries. International Journal of Scientific and Research Publications, 6(12), 39-44.

[7]    Karat J. & Karat, C. M. (2003). The Evolution of User-Centered Focus in the Human-Computer Interaction Field. IBM Systems Journal, 42(2), 532-421.

[8]    Lian, J.-W. (2017). Establishing a Cloud Computing Success Model for Hospitals in Taiwan. Inquiry: The Journal of Health Care Organization, Provision, and Financing, 54, 1-6.

[9]    Mason, R. O. (1978). Measuring Information Output: A Communication Systems Approach. Information & Management, 1(4), 219-234.

[10]  Medina, J. M. (2005). Evaluación del Impacto de los Sistemas de Información en el Desempeño Individual del Usuario: Aplicación en Instituciones Universitarias. (Doctoral Thesis). Universidad Politécnica de Madrid, Madrid.

[11]  Nugroho, Y. & Prasetyo, A. (2018). Assessing Information Systems Success: A Respecification of the DeLone and McLean Model to Integrating the Perceived Quality. Problems and Perspectives in Management, 16(1), 348-360.

[12]  Rammutloa, M. (2017). Application of the DeLone and McLean’s Model to Assess the Effectiveness of an Intranet in an Open Distance Learning Library. (Master Thesis). Stellenbosch University, Cabo Occidental.

[13]  Romi, I. M., Awad, I. A. & Elkordy, M. (2008). A Model of Organizational Politics Impact on Information Systems Success. Retrieved from https://www.academia.edu/9751502/A_ Model_of_Organizational_Politics_Impact_on_ rmation_Systems_Success

[14]  Shannon, C. E. & Weaver W. (1964). The Mathematical Theory of Communication. Illinois, USA: The University of Illinois Press.

[15]  Venkatesh, V. & Bala, H. (2008). Technology Acceptance Model 3 and a Research Agenda on Interventions. Decision Sciences, 39(2), 273-315.

[16]  Vidal, M. E. (2018). Determinantes de la aceptación del mobile learning como elemento de formación del capital humano en las organizaciones. (Doctoral Thesis). Universidad Complutense de Madrid, Madrid.

[17]  Villegas, J. H. (2010). Un modelo de evaluación de los atributos críticos de éxito de los sistemas de información en el desempeño individual, cooperativo y organizacional. (Master Thesis). Universidad Nacional Mayor de San Marcos, Lima.

[18]  Yu, P. & Qian, S. (2018). Developing a Theoretical Model and Questionnaire Survey Instrument to Measure the Success of Electronic Health Records in Residential Aged Care. PLOS ONE, 13(1), 1-18.



[1] Ingeniero en Informática y Sistemas por la Universidad Nacional Agraria de la Selva. Analista técnico senior de CANVIA (empresa de soluciones de software). Lima, Perú. E-mail: jperezt@canvia.com

[2] Doctora en Ingeniería de Producción por la Pontificia Universidad Católica de Río de Janeiro. Actualmente, es docente de la Universidad Nacional Mayor de San Marcos. Lima, Perú.  E-mail: rdelgadilloa@unmsm.edu.pe

[3] Computer and Systems Engineer from the Universidad Nacional Agraria de la Selva. Senior technical analyst at CANVIA (software solutions company).  Lima, Peru.  E-mail: jperezt@canvia.com

[4] PhD in Production Engineering from the Pontifical Catholic University of Rio de Janeiro. Currently working as Professor at the Universidad Nacional Mayor de San Marcos.  Lima, Peru.  E-mail: rdelgadilloa@unmsm.edu.pe