Revista Industrial Data 22(1):
217-236 (2019)
ISSN: 1560-9146 (Impreso) / ISSN: 1810-9993 (Electrónico)John Pérez / rosa
DelgaDillo
DOI:
http://dx.doi.org/10.15381/idata.v22i1.16537
Facultad de Ingeniería Industrial - UNMSM
Modelo de evaluación de éxito de los
sistemas de información, con énfasis en los factores políticos, social y ético
en instituciones públicas del Perú
John Jairo Pérez
Tijero [1]
Rosa Sumactika
Delgadillo Ávila De Mauricio [2]
Recibido:
09/01/2019 AceptAdo: 25/04/2019
RESUMEN La presente investigación
propone un modelo de éxito de los sistemas de información, con la adhesión
del factor político, social y ético, aplicado al Módulo de Gestión de
Recursos Humanos (MGRRHH) del Ministerio de Economía y Finanzas del Perú. Las
bases teóricas empleadas incluyen los esquemas planteados por diversos
autores, asumiendo finalmente un modelo de evaluación teórico basado en
DeLone y McLean (2003), y Villegas (2010). Una vez identificado el modelo,
con un ajuste adecuado y una validez promedio (elaborado a partir del alfa de
Cronbach, el análisis factorial exploratorio, el análisis factorial
confirmatorio y las ecuaciones estructurales), se estiman las relaciones
significativas en base a los elementos y componentes de éxito, las cuales
permiten eliminar aquellas relaciones no significativas y plantear un modelo
final con el total de relaciones significativas. |
Palabras-claves: Factor crítico de éxito; análisis
factorial exploratorio; análisis factorial confirmatorio; ecuaciones
estructurales.
INTRODUCCIÓN
En los
últimos años, el vertiginoso crecimiento de las tecnologías de la información
(TI) ha cambiado la forma de comunicar, estudiar, trabajar y acceder a la
información. Este escenario ha generado que ―en la actualidad― las
organizaciones, tanto públicas como privadas, incrementen su capital en software, hardware y comunicaciones. Por ello, es indispensable determinar la
efectividad de las inversiones en tecnologías de la información y conocer el
valor y los factores que influyen en su contribución a la organización. La
valoración del impacto de las TI es una de las veinte cuestiones más
determinantes, indicadas por los integrantes de la asociación para la gestión
de la información (SIM). Esto hace necesario disponer de instrumentos que
permitan medir el rendimiento de los sistemas de información (SI). La medición
del éxito de los SI dispone de estudios previos como los de Robert W. Zmud,
Sauder y Jones, McLean y Delone, Gable y Sedera, Medina, entre otros. Los
modelos de evaluación de impacto tienen una larga historia, dado que comienzan
con pequeños destellos para medir o hacer medibles cosas intangibles
(satisfacción, calidad, etc.). Por tanto, esta investigación plantea un modelo
de valoración de los elementos y componentes críticos de éxito en el desempeño
individual y cooperativo, con énfasis en los factores político, social y ético,
teniendo en cuenta que los SI operan en organizaciones humanas provocando
impactos políticos, sociales y éticos.
El estudio
recae sobre el Modulo de Gestión de Recursos Humanos (MGRRHH) del Ministerio de
Economía y Finanzas del Perú, el cual brinda soporte al proceso del presupuesto
anual de personal (PAP), como se muestra en la Figura 1.
Figura 1. Modelo
DeLone y McLean.
Fuente:
Elaboración propia.
a.
Modelo de DeLone y McLean para la
evaluación de sistemas de información (SI). La estructura de esta propuesta se
basa en la taxonomía desarrollada por Mason (1978), la cual a su vez surgió de
la teoría de la información de Shannon y Weaver (1964). El modelo se muestra en
la Figura 2.
b.
Actualización del modelo de DeLone
y McLean. Después de diez años de intentos de validación y de críticas, el
modelo de éxito de sistemas de información DeLone y McLean recibió una
actualización, como lo muestra la Figura 3.
c.
Otros modelos investigados. Para
el desarrollo del modelo de investigación se revisaron estructuras alternativas
de éxito de sistemas de información, basadas en el modelo de Delone y Mclean.
La Tabla 1 presenta un resumen de dicha revisión.
Figura 2.
Modelo DeLone y McLean.
Fuente: DeLone y McLean (1992)
Figura 3.
Actualización del modelo de DeLone y McLean.
Fuente: DeLone y McLean (2003
Tabla 1. Detalle de modelos revisados.
Título |
Descripción |
Modelo
de evaluación del impacto de los sistemas de información en el desempeño individual del usuario |
Investigación realizada por
Medina (2005), quien revisa el grado de influencia de la participación del
usuario en su desempeño individual (toma de decisiones y satisfacción en el
uso de los sistemas de información) por medio del análisis de los factores de
implementación ( organizacional, planeación y técnico ). |
Modelo de impacto de la política
organizacional en éxito de los siste- mas de información |
Investigación realizada por
Romi, Awad y Elkordy (2008), quienes proponen un modelo de investigación que
incorpora las dimensiones de éxito de los sistemas de información (SI) como
variables dependientes, y la política organizativa como variable independiente. |
Modelo de éxito de los sistemas
de información |
Gable, Sedera y Chan (2008) han
desarrollado un modelo multidimensional de éxito de los sistemas de
información en entornos aplicados a sistemas empresariales, tomando como referencia al primer modelo de
DeLone y McLean. Según ellos, “para desarrollar un modelo de medición integral y un
instrumento para un contexto particular, los constructos y medidas deben ser
seleccionadas sistemáticamente considerando contingencias contextuales, como
tamaño, estructura o la tecnología de la organización y las características
individuales del sistema” (p. 379) [traducción nuestra]. |
Modelo de evaluación de los
atributos críticos de éxito de los sistemas de información en el desempeño
individual, cooperativo y organiza- cional |
Este modelo se basa en la
investigación realizada por Villegas (2010), quien analiza la incorporación
del desempeño cooperativo como un constructor clave, debido a que dicho desempeño constituye un elemento
clave en el éxito de las organizaciones. Villegas indica que su estudio
“tiene como objetivo general, proponer un modelo de evaluación del de SI, en el cual se plantea los atributos
críticos, factores y dimensiones de éxito y su incidencia en el desempeño
individual, desempeño cooperativo y desempeño organizacional” (p. 174). |
Modelo de evaluación de éxito de
los sistemas de información, con énfasis en la seguridad de información a nivel de desempeño individual en
instituciones públicas peruanas |
Modelo propuesto por Cabrera (2013),
el cual incorpora la seguridad de la información como un factor clave para
evaluar el éxito de los sistemas de información a nivel del desempeño
individual del usuario interno de la organización. Vale añadir que, en los últimos
veinte años, los estudios incidieron en el usuario, intentando verlo de una
manera más compleja, como parte de un sistema social en el cual las
tecnologías cumplen una función esencial (Karat y Karat, 2003). |
Modelo para medir el éxito de un
sistema de información geográfico |
Investigación realizada por
Eldrandaly, Naguib y Hassan (2015). Su modelo consiste en dos niveles
principales: éxito de difusión del proyecto GIS y éxito posterior a la
implementación de los GIS. |
Modelo conceptual para los factores
de éxito del gobierno electrónico en países en desarrollo |
Investigación hecha por Ghassan,
Bin y Shahzad (2016). Su estudio propone un modelo de éxito del gobierno
electrónico para las organizaciones empresariales en Jordania. Los
investigadores indican que su análisis “pretende examinar varios factores de
éxito de la adopción de aplicaciones de administración electrónica para
organizaciones empresariales en países en desarrollo y proponer un modelo
conceptual para el éxito del gobierno electrónico” (p. 39) [ traducción
nuestra ]. |
Modelo para evaluar la eficacia
de una intranet en una biblioteca de educación a distancia |
Es un modelo propuesto por Rammutloa (2017), quien
“utilizó las dimensiones del modelo de DeLone y McLean, a saber, la calidad
de la información, la intención de uso, la calidad del sistema, la calidad
del servicio, la satisfacción del usuario y los beneficios netos, para informar sobre el estado de la
intranet de la Biblioteca Unisa y para evaluar su efectividad como
herramienta de intercambio de conocimientos” (p. III) [traducción nuestra]. |
Modelo de éxito de la cloud computing para hospitales en
Taiwán |
Desarrollado por Lian (2017) en
la Universidad Nacional de Taichung, con el propósito de comprender los
factores críticos relacionados a los factores de calidad que afectan el éxito
de la cloud computing en los
nosocomios taiwaneses. |
Modelo de aceptación del m-learning (aprendizaje electrónico
móvil) |
Modelo presentado por Vidal
(2018), el cual busca determinar cuáles son los factores que influyen en la
aceptación del m-learning como
elemento de formación de empleados en España, tomando como base al
modelo TAM3 (Technology Acceptance Model), desarrollado por Venkatesh y Bala
(2008). |
Modelo de investigación del
éxito de los sistemas de comercio electrónico |
El propósito de este modelo era
obtener una mejor comprensión de la percepción del usuario al usar sistemas
de información organizacionales (Nugroho y Prasetyo, 2018). |
Modelo para medir el éxito de
los registros electrónicos de salud en cuidado de ancianos en una resi- dencial |
Modelo presentado por Yu y Qian
(2018), el cual incorpora seis variables en el modelo de éxito de los
sistemas de información de DeLone y McLean: calidad de sistema, calidad de la
información, calidad del servicio, uso, satisfacción del usuario y beneficios
netos. |
Fuente: Elaboración propia.
El
presente caso de estudio es no experimental, pues implica
correlación/causalidad y trata de conocer la percepción de los usuarios
operativos del Módulo de Gestión de Recursos Humanos (MGRRHH), sin realizar
algún tipo de manipulación intencional. En tal sentido, esta investigación se
encuentra orientada a evaluar el impacto del MGRRHH en la asignación de
presupuestos en materia de personal. El modelo propuesto se muestra en la
Figura 4.
Figura 4. Modelo
propuesto.
Fuente:
Elaboración propia
Considerando
la población N=1740 y aplicando un muestreo aleatorio simple de proporciones
con P=Q=0,5, se obtiene el tamaño muestra igual a 207.
Se
desarrolló una encuesta piloto mediante correo electrónico, con un total de
treinta encuestas seleccionadas mediante muestreo sistemático aleatorio simple,
las cuales presentaron una tasa de no respuesta de 37%. El cuestionario piloto
estaba formado por 5 preguntas control y 90 preguntas divididas en los 13
factores considerados. La consistencia interna, medida a través del coeficiente
alfa de Cronbach, muestra un resultado general adecuado, siendo bajo para los
factores político, ético y técnico.
Para
verificar la confiabilidad de la encuesta, se aplicó el coeficiente alfa de
Cronbach para cada factor definido, teniendo en cuenta un total de 91 ítems. En
líneas generales, el mencionado coeficiente resulta mayor a 0,5 para todos los
factores y, al ser superior a 0,7 en todos los casos, se clasifica como “bueno”
(3/13 factores), “aceptable” (3/13 factores) o “excelente” (7/13 factores).
Véase la Tabla 2.
Tabla 2. Alfa de Cronbach aplicado a la
encuesta final.
Factor |
Número de
elementos |
Alfa de Cronbach |
Político |
4 |
0,782 |
Social |
4 |
0,732 |
Ético |
4 |
0,843 |
Organizacional |
6 |
0,883 |
Planeación, ejecución y control |
6 |
0,883 |
Técnico |
4 |
0,679 |
Calidad de la información |
8 |
0,936 |
Calidad del sistema |
8 |
0,927 |
Calidad de los servicios |
4 |
0,920 |
Intención de uso |
4 |
0,953 |
Toma de decisiones/satisfacción |
8 |
0,974 |
Desempeño individual |
3 |
0,953 |
Desempeño cooperativo |
11 |
0,910 |
Fuente:
Elaboración propia.
A
continuación, se aplicó el análisis factorial exploratorio. En el cuadro
siguiente, se observa que en todos los casos se ha extraído un solo factor. Todos
los valores del KMO son aceptables (mayores a 0,5), lo que indica una buena
adecuación conjunta de las variables al modelo factorial. Véase la Tabla 3.
Tabla 3. Análisis factorial.
Descripción del factor |
Esfericidad de Bartlett |
KMO |
Fact |
Var. explicada |
Político |
0 |
0,734 |
1 |
49 % |
Social |
0 |
0,737 |
1 |
42 % |
Ético |
0 |
0,804 |
1 |
58 % |
Organizacional |
0 |
0,765 |
1 |
51 % |
Planeación, ejecución y control |
0 |
0,866 |
1 |
46 % |
Técnico |
0 |
0,727 |
1 |
37 % |
Calidad de la información |
0 |
0,916 |
1 |
66 % |
Calidad del sistema |
0 |
0,917 |
1 |
63 % |
Calidad de los servicios |
0 |
0,854 |
1 |
74 % |
Intención de uso |
0 |
0,863 |
1 |
84 % |
Toma de decisiones/satisfacción |
0 |
0,937 |
1 |
83 % |
Desempeño individual |
0 |
0,760 |
1 |
87 % |
Desempeño cooperativo |
0 |
0,891 |
1 |
50 % |
Fuente: Elaboración
propia.
En el
cuadro siguiente, se muestra el valor del índice de confiabilidad compuesta
(CR), el cual excede con el valor de 0,7 para todos los factores. Además, se
muestra el valor de AVE, el cual es menor que el valor de CR en todos los
factores. Sin embargo, el valor AVE no excede el valor de 0,5 para todos los
factores, por ese motivo, para estos constructos no se cumpliría la validez
convergente. Además, la Tabla 4 presenta el valor de R2, el cual para todos los
factores es menor que 0,8; con lo se comprueba la ausencia de multicolinealidad.
Tabla 4. Confiabilidad compuesta, AVE y
correlación múltiple.
Factores |
Descripción de los factores |
Ítems |
CR |
AVE |
R2 |
Validez convergente CR>AVE AVE>0,5 |
Factor 1 |
Político |
4 |
0,78 |
0,48 |
0,00 |
No |
Factor 2 |
Social |
4 |
0,74 |
0,41 |
0,00 |
No |
Factor 3 |
Ético |
4 |
0,84 |
0,57 |
0,00 |
Sí |
Factor 4 |
Organizacional |
4 |
0,89 |
0,57 |
0,00 |
Sí |
Factor 5 |
Planeación, ejecución y control |
6 |
0,83 |
0,46 |
0,00 |
No |
Factor 6 |
Técnico |
4 |
0,70 |
0,37 |
0,00 |
No |
Factor 7 |
Calidad de la información |
8 |
0,97 |
0,80 |
0,37 |
Sí |
Factor 8 |
Calidad del sistema |
8 |
0,96 |
0,76 |
0,37 |
Sí |
Factor 9 |
Calidad de los servicios |
4 |
0,95 |
0,82 |
0,35 |
Sí |
Factor 10 |
Intención de uso |
4 |
0,98 |
0,91 |
0,49 |
Sí |
Factor 11 |
Toma de decisiones/satisfacción |
8 |
0,99 |
0,90 |
0,52 |
Sí |
Factor 12 |
Desempeño individual |
3 |
0,98 |
0,94 |
0,49 |
Sí |
Factor 13 |
Desempeño cooperativo |
11 |
0,95 |
0,63 |
0,44 |
Sí |
Fuente:
Elaboración propia.
En la diagonal
de la Tabla 5, no se cumple la validez discriminante, ya que los valores de la
diagonal, equivalentes a la raíz de los valores estimados de AVE (varianza de
los indicadores que forman cada constructo), resultan ser en algunos casos
menores que las correlaciones entre los constructos (que se encuentran en las
casillas fuera de las diagonales).
Tabla 5. Confiabilidad compuesta, AVE y
correlación múltiple.
Fuente: Elaboración propia.
Debido a
que los constructos en el modelo planteado no alcanzan el valor de AVE esperado
(mayor a 0,5), se procedió a reformular el modelo, eliminando las variables que
forman parte de los constructos respectivos y que presentan las menores cargas
factoriales, estos son: factor “político”: V4; factor “social”: V13, V9, V14;
factor “planeación, ejecución y control”: V29, V33; y factor técnico: V39, V37,
V36. Suprimiendo estos indicadores, es posible hallar los valores esperados de
AVE, los cuales resultan ser mayor que 0,5 para todos los constructos.
De acuerdo
a lo anterior, contamos con un total de 75 variables (64 observadas y 11
constructos); 71 son endógenas (64 observadas y 7 constructos endógenos); 4 son
exógenas (4 constructos exógenos); 66 son dependientes (64 observadas y 2
constructos endógenos); 4 son independientes (los constructos exógenos); y 5
son ―a la vez― dependientes e independientes (5 constructos endógenos).
En la
Tabla 6, se muestra el valor del índice de confiabilidad compuesta (CR), el
cual excede con el valor de 0,7 para todos los factores. Además, se muestra el
valor de AVE, el cual es menor que el valor de CR en todos los factores y
excede al valor de 0,5; para todos los factores (todos los constructos) se
cumpliría la validez convergente. El valor de R2 para todos los factores es
menor que 0,8, con lo se comprueba la ausencia de multicolinealidad.
Tabla 6.
Confiablidad compuesta, AVE y correlación múltiple.
Factores |
Descripción de los factores |
Variable |
Ítems |
CR |
AVE |
R2 |
Validez
convergente CR>AVE AVE>0,5 |
Factor 1 |
Político |
P |
3 |
0,77 |
0,52 |
0,00 |
Sí |
Factor 2 |
Ético |
E |
4 |
0,84 |
0,58 |
0,00 |
Sí |
Factor 3 |
Organizacional |
O |
4 |
0,89 |
0,57 |
0,00 |
Sí |
Factor 4 |
Planeación, ejecución y control |
PEC |
4 |
0,80 |
0,51 |
0,00 |
Sí |
Factor 5 |
Calidad de la información |
CI |
8 |
0,97 |
0,79 |
0,00 |
Sí |
Factor 6 |
Calidad del sistema |
CSI |
8 |
0,96 |
0,76 |
0,00 |
Sí |
Factor 7 |
Calidad de los servicios |
CSE |
4 |
0,94 |
0,81 |
0,00 |
Sí |
Factor 8 |
Intención de uso |
IU |
4 |
0,97 |
0,91 |
0,00 |
Sí |
Factor 9 |
Toma de decisiones/satisfacción |
TD |
8 |
0,99 |
0,89 |
0,00 |
Sí |
Factor 10 |
Desempeño individual |
DI |
3 |
0,98 |
0,94 |
0,00 |
Sí |
Factor 11 |
Desempeño cooperativo |
DO |
11 |
0,95 |
0,63 |
0,00 |
Sí |
Fuente: Elaboración propia.
Cargas
factoriales, ratios críticos y significancia
La Tabla 7
muestra los valores significativos de los pesos de regresión no estandarizados
o cargas factoriales que corresponden a la variación que se produce en la variable
dependiente (observada o constructo) cuando la variable independiente
(constructo) varía en una unidad y el correspondiente error estándar (S. E.).
Al observar la proporción crítica (C. R.) del cuadro señalado, se detecta que
todas las cargas factoriales resultan significativas, a un nivel de
significancia de 0,05. Las siguientes relaciones son significativas (radios
críticos mayores/menores que ±1,96).
Tabla 7. Confiablidad compuesta, AVE y correlación múltiple.
|
Fuente: Elaboración propia.
Las cargas
factoriales significativas pueden interpretarse del modo siguiente:
•
Toma de decisiones/satisfacción ←
Calidad de la información. Cuando la calidad de la información se incrementa en
una categoría, la toma de decisiones/satisfacción se incrementa en 0,517.
•
Toma de decisiones/satisfacción ←
Calidad del sistema. Cuando la calidad del sistema se incrementa en una
categoría, la toma de decisiones/satisfacción se incrementa en 0,427.
•
Intención de uso ← Calidad del
sistema. Cuando la calidad del sistema se incrementa en una categoría, la
intención de uso se incrementa en 0,401.
•
Intención de uso ← Calidad de la
información. Cuando la calidad de la información se incrementa en una
categoría, la intención de uso se incrementa en 0,492.
•
Desempeño individual ← Intención
de uso. Cuando la intención de uso se incrementa en una categoría, el desempeño
individual se incrementa en 0,192.
•
Desempeño cooperativo ← Intención
de uso. Cuando la intención de uso se incrementa en una categoría, el desempeño
cooperativo se incrementa en 0,225.
•
Desempeño individual ← Toma de decisiones/
satisfacción. Cuando la toma de decisiones/ satisfacción se incrementa en una
categoría, el desempeño individual se incrementa en 0,573.
•
Desempeño cooperativo ← Toma de
decisiones/satisfacción. Cuando la toma de decisiones/satisfacción se incrementa
en una categoría, el desempeño cooperativo se incrementa en 0,479.
Presentación
final del modelo
En base a
los resultados obtenidos y la mejora del modelo, omitiendo las relaciones que
no han sido significativas en el análisis, a continuación se presenta el modelo
final aceptado. Véase la Figura 5.
Figura
5. Modelo final.
Fuente:
Elaboración propia.
CONCLUSIONES
Para el
modelo presentado de los factores de implementación, y a partir del análisis estadístico
realizado, se detecta que los factores político, social y ético no evidencian
una influencia significativa en los factores de calidad de servicio, calidad de
la información y calidad del sistema. Esto, a su vez, expresa que la percepción
de los encuestados considera que los factores político, social y ético, en el
Modulo de Gestión de Recursos Humanos (MGRRHH) del Ministerio de Economía y
Finanzas, no influyen de una manera positiva en la calidad del servicio, de la
información, ni en la del sistema. Se puede decir que los encuestados tienen
dicha percepción porque el enfoque de las preguntas para los factores político,
social y ético no comprende el amplio espectro del MGRRHH.
El factor
organizacional y el factor planeación, ejecución y control no son
significativos para el factor calidad de la información, calidad del sistema y
calidad de los servicios. El factor técnico no resulta significativo, ya que no
presenta relaciones significativas con los factores calidad de la información,
calidad del sistema y calidad de los servicios. La calidad de la información
presenta relaciones significativas con la intención de uso y toma decisiones,
dado que es un aplicativo informático para la asignación presupuestal, la
calidad de la información es importante en términos de garantizar una buena
información, generando el presupuesto previsto. La calidad del sistema presenta
relaciones significativas con la intención de uso y la satisfacción del
usuario, esto debido a la afabilidad, rapidez y fiabilidad de la información
del MGRRHH. La calidad de los servicios no presenta relaciones significativas
con la intención de uso y la toma de decisiones. La intención de uso y la toma
de decisiones presentan relaciones significativas con el desempeño individual y
con el cooperativo.
[1]
Cabrera,
M. del C. (2013). Un modelo de evaluación
de éxito de los sistemas de información con énfasis en la seguridad de
información a nivel del desempeño individual de instituciones públicas en Perú.
Caso de estudio: Poder Judicial, sistema de notificaciones electrónicas.
(Tesis de maestría). Universidad Nacional Mayor de San Marcos, Lima.
[2]
DeLone, W.
H. y McLean, E. R. (1992). Information Systems Success: The Quest for the
Dependent Variable. Information Systems
Research, 3(1), 60-95.
[3]
DeLone, W.
H. y McLean, E. R. (2003). The DeLone and McLean Model of Information Systems
Success: A Ten-Year Update. Journal of
Management Information Systems, 19(4) ,
9-30.
[4]
Eldrandaly,
K. A., Naguib, S. M. y Hassan, M. M. (2015). A Model for Measuring Geographic
Information Systems Success. Journal of
Geographic Information System, 7(4), 328-347.
[5]
Gable, G.
G., Sedera D. y Chan T. (2008). Reconceptualizing Information System Success:
The IS-Impact Measurement Model. Journal
of the Association for Information Systems, 9(7), 377-408.
[6]
Ghassan,
A. G., Bin, S. B. y Shahzad, A. (2016). A Conceptual Model for E-Government
Success Factors in Developing Countries. International
Journal of Scientific and Research Publications, 6(12), 39-44.
[7]
Karat J. y
Karat, C. M. (2003). The Evolution of User-Centered Focus in the Human-Computer
Interaction Field. IBM Systems Journal,
42(2), 532-421.
[8]
Lian,
J.-W. (2017). Establishing a Cloud Computing Success Model for Hospitals in
Taiwan. Inquiry: The Journal of Health
Care Organization, Provision, and Financing, 54, 1-6.
[9]
Mason, R.
O. (1978). Measuring Information Output: A Communication Systems Approach. Information & Management, 1(4),
219-234.
[10] Medina, J. M. (2005). Evaluación del Impacto de los Sistemas de Información en el Desempeño
Individual del Usuario: Aplicación en Instituciones Universitarias. (Tesis
doctoral). Universidad Politécnica de Madrid, Madrid.
[11] Nugroho, Y. y Prasetyo, A. (2018). Assessing
Information Systems Success: A Respecification of the DeLone and McLean Model
to Integrating the Perceived Quality. Problems
and Perspectives in Management, 16(1), 348-360.
[12] Rammutloa, M. (2017). Application of the DeLone and McLean’s Model to Assess the
Effectiveness of an Intranet in an Open Distance Learning Library. (Tesis
de maestría). Stellenbosch University, Cabo Occidental.
[13] Romi, I. M., Awad, I. A. y Elkordy, M. (2008). A Model of Organizational Politics Impact on
Information Systems Success. Recuperado de
https://www.academia.edu/9751502/A_ Model_of_Organizational_Politics_Impact_on_
Information_Systems_Success
[14] Shannon, C. E. y Weaver W. (1964). The Mathematical Theory of Communication.
Illinois, EE. UU.: The University of Illinois Press.
[15] Venkatesh, V. y Bala, H. (2008). Technology Acceptance
Model 3 and a Research Agenda on Interventions. Decision Sciences, 39(2), 273-315.
[16] Vidal, M. E. (2018). Determinantes de la aceptación del mobile learning como elemento de
formación del capital humano en las organizaciones. (Tesis doctoral). Universidad
Complutense de Madrid, Madrid.
[17] Villegas, J. H. (2010). Un modelo de evaluación de los atributos críticos de éxito de los
sistemas de información en el desempeño individual, cooperativo y
organizacional. (Tesis de maestría). Universidad Nacional Mayor de San
Marcos, Lima
[18]
Yu, P. y Qian, S. (2018).
Developing a Theoretical Model and Questionnaire Survey Instrument to Measure
the Success of Electronic Health Records in Residential Aged Care. PLOS ONE, 13(1), 1-18.
Revista Industrial Data 22(1):
217-236 (2019)
ISSN: 1560-9146 (Impreso) / ISSN: 1810-9993 (Electrónico)John Pérez / rosa
DelgaDillo
DOI:
http://dx.doi.org/10.15381/idata.v22i1.16537
Facultad de Ingeniería Industrial - UNMSM
Information
Systems Success Evaluation Model with emphasis on political, social and ethical
factors in public institutions in Peru
John
Jairo Pérez Tijero [3]
Rosa
Sumactika Delgadillo Ávila De Mauricio [4]
Received:
09/01/2019 Accepted:
25/04/2019
ABSTRACT This
study proposes an information systems success model, with the addition of
political, social, and ethical factors, applied to the Módulo de Gestión de
Recursos Humanos [Human Resources Management Module] (MGRRHH) of the Ministry
of Economy and Finance of Peru. The theoretical frameworks used included
models proposed by various authors, finally assuming a theoretical evaluation
model based on DeLone and McLean (2003), and Villegas (2010). Once the model
was identified, with an appropriate adjustment and average validity
(Cronbach's alpha, exploratory factor analysis, confirmatory factor analysis
and structural equations), significant relationships were estimated based on
the elements and components of success, which enabled the elimination of
non-significant relationships and the proposal of a final model with all
significant relationships. |
Keywords: Critical
success factor; exploratory factor analysis; confirmatory factor analysis;
structural equations.
INTRODUCCIÓN
In recent
years, the rapid growth of information technologies (IT) has changed the way
people communicate, study, work and access information. This landscape has
caused present-day organizations, both public and private, increase their
investment in software, hardware, and communications. Therefore, it is
essential to determine the effectiveness of investments in information
technologies and to know the value and factors that influence their
contribution to the organization. The IT impact assessment is one of the twenty
most decisive issues indicated by the members of the management information
systems (MIS) association. It is therefore necessary to have instruments for
information systems (IS) performance measurement. There are previous studies
about information systems success measurement such as those conducted by Robert
W. Zmud, Sauder and Jones, McLean and DeLone, Gable and Sedera, Medina, among
others. Impact evaluation models have a long history, because they start with
small attempts to measure intangibles (satisfaction, quality, etc.) or make
them measureable. Therefore, this research study proposes a model for the
evaluation of critical elements and components of success in individual and
cooperative performance with emphasis on political, social, and ethical
factors, considering that IS operate within human organizations and have
impacts at political, social, and ethical levels.
This study
is focused on the Human Resources Management Module (MGRRHH, in Spanish) of the
Ministry of Economy and Finance of Peru, which supports the annual personnel
budget ( PAP, in Spanish), as shown in Figure
1.
Figure 1. DeLone
and McLean Model.
Source:
Prepared by the authors.
a.
DeLone and McLean Information
Systems (IS) Success Model. The structure of this proposal is based on Mason’s
taxonomy (1978), which was based on Shannon and Weaver’s Theory of
Communication (1964). The model is shown in Figure 2.
b.
DeLone and McLean Updated Model.
After ten years of validation attempts and critical review, the DeLone and
McLean Information Systems Success Model was updated, as shown in Figure 3.
c.
Other models reviewed. Alternative
information systems success structures based on DeLone and McLean’s model were
reviewed for the development of the research model. Table 1 presents a summary
of said review.
Figure 2. DeLone and McLean Model.
Source: DeLone and
McLean (1992)
Figure 3. DeLone and McLean Updated Model.
Source: DeLone and
McLean (2003)
Table 1. Description of reviewed models.
Title |
Description |
Model for evaluating Information
Systems Impact on User
individual performance |
Research conducted by Medina (2005),
who examines the degree of influence of user participation in his or her
individual performance (decision-making and satisfaction regarding the use of
information systems) through the analysis of implementation factors
(organizational, planning, and technical). |
A model of Organizational
Politics Impact on Information Systems
Success |
Research
conducted by Romi, Awad and Elkordy (2008), who propose a research model that
incorporates the information systems (IS) success dimensions as dependent variables,
and the organizational politics as independent variable. |
Information Systems Success
Model |
Gable, Sedera and Chan (2008)
developed a multidimensional Information Systems Success Model in business
environments applied to Enterprise Systems, using the DeLone and McLean model
as reference. According to the latter, “to develop a comprehensive
measurement model and instrument for a particular context, the constructs and
measures should be systematically selected considering contextual
contingencies, such as organization size or structure, or the technology and
the individual characteristics of the system” (p.379). |
Model for evaluating the
critical attributes of information systems success in individual,
cooperative and organizational performance |
This
model is based on the research conducted by Villegas (2010), who analyzes the
incorporation of cooperative performance as a key construct, because it is a
key element in the success of organizations. Villegas indicates that his
study “tiene como objetivo general,
proponer un modelo de evaluación del desempeño de SI, en el cual se
plantea los atributos críticos, factores y dimensiones de éxito y su
incidencia en el desempeño individual, desempeño cooperativo y desempeño organizacional” [has as a general objective the proposal of an
evaluation model for IS performance, that
considers critical success attributes, factors and dimensions, and their
impact on individual, cooperative and organizational performance] (p. 174). |
Model for evaluating information
systems success with emphasis on information security the at
individual performance level in Peruvian public institutions |
Model proposed by Cabrera
(2013), which incorporates information security as a key factor to evaluate
information systems success at the level of individual performance of the
organization’s internal user. It is worth mentioning that
studies were focused in the users in the last twenty years, attempting to
examine the issue in a more complex way, as part of a social system in which
technologies play a crucial role (Karat & Karat, 2003). |
Model for measuring Geographic
Information Systems Success |
Research conducted by
Eldrandaly, Naguib and Hassan (2015). This model consists of two main levels:
GIS Project diffusion success, and GIS post-implementation success. |
Conceptual Model for E-Government Success Factors in Developing
Countries |
Research conducted by Ghassan,
Bin and Shahzad (2016). The authors propose an e-government success model for
business organizations in Jordan. Researchers state that their analysis “intends to examine
several success factors of e-government application adoption for business
organizations in developing countries and propose a conceptual model for
e-government success” ( p. 39). |
Model
to assess the effectiveness of an intranet in an open distance learning library |
Model proposed by Rammutloa
(2017), who “used the dimensions of the DeLone and McLean’s model, namely, information
quality, intention to use, system quality, service quality, user satisfaction
and net benefits, to report on the state of the Unisa Library’s intranet to
assess its effectiveness as a knowledge-sharing tool” (p. III). |
Cloud Computing Success Model
for Hospitals in Taiwan |
Conducted by Lian (2017) at the
National Taichung University aimed at understanding the critical
quality-related factors that affect cloud computing success of hospitals in
Taiwan. |
M-Learning (mobile learning)
Acceptance Model |
Model proposed by Vidal (2018)
that aims to determine the acceptance of m-learning as an element of employee
training in Spain, based on the TAM model (Technology Acceptance Model)
proposed by Venkatesh and Bala (2008). |
Research model of e-commerce
systems success |
The purpose of this model was to
obtain a better understanding of information system of the user perception
when using organization’s information systems (Nugroho & Prasetyo, 2018). |
Model to measure the success of
electronic health records in residen- tial aged care |
Model
presented by Yu and Qian (2018), which incorporates six variables in the
DeLone and McLean information systems success model: system quality,
information quality, service quality, use, user satisfaction and net
benefits. |
Source: Prepared by the authors.
This is a
non-experimental case study, because it involves correlation/causality and
attempts to understand the perspective of operators who use the Human Resources
Management Module (MGR-
RHH) without
any intentional manipulation. As such, this study aims to evaluate the MGRRHH
impact on staff budget allocation. The proposed model is shown in Figure 4.
Figure 4. Proposed
Model.
Source:
Prepared by the authors
A sample
size equal to 207 was obtained after considering the population N=1740 and
applying a simple random sampling of proportions with P=Q=0.5.
A pilot
survey was conducted via e-mail, with a total of thirty surveys that were
selected by means of simple random systematic sampling, which presented a
non-response rate of 37%. The pilot questionnaire was comprised of 5 control
questions and 90 questions divided into the 13 factors considered. The internal
consistency measured using Cronbach’s alpha shows an adequate general result,
low for political, ethical and technical factors.
Cronbach’s
alpha coefficient was applied to each defined factor to verify the reliability of
the survey, considering a total of 91 items. In general, said coefficient was
greater than 0.5 for all factors and, being greater than 0.7 in all cases, it
is classified as “good” (3/13 factors), “acceptable” (3/13 factors) or
“excellent” (7/13). See Table 2.
Table 2. Cronbach’s alpha applied to the
final survey.
Factor |
Number of items |
Cronbach’s alpha |
Political |
4 |
0.782 |
Social |
4 |
0.732 |
Ethical |
4 |
0.843 |
Organizational |
6 |
0.883 |
Planning, execution, and control |
6 |
0.883 |
Technical |
4 |
0.679 |
Information quality |
8 |
0.936 |
System quality |
8 |
0.927 |
Services quality |
4 |
0.920 |
Intention to use |
4 |
0.953 |
Decision-making / satisfaction |
8 |
0.974 |
Individual performance |
3 |
0.953 |
Cooperative performance |
11 |
0.910 |
Source:
Prepared by the authors.
Next,
exploratory factor analysis was applied. It is observed in the following table
that only one factor has been extracted in all cases. All KMO values are
“acceptable” (greater than 0.5), indicating variables adequacy to the factor
model. See Table 3.
Table 3. Factor Analysis.
Factor description |
Bartlett’s sphericity test |
KMO |
Factor |
Explained
variance |
Political |
0 |
0.734 |
1 |
49 % |
Social |
0 |
0.737 |
1 |
42 % |
Ethical |
0 |
0.804 |
1 |
58 % |
Organizational |
0 |
0.765 |
1 |
51 % |
Planning, execution, and control |
0 |
0.866 |
1 |
46 % |
Technical |
0 |
0.727 |
1 |
37 % |
Information quality |
0 |
0.916 |
1 |
66 % |
System quality |
0 |
0.917 |
1 |
63 % |
Services quality |
0 |
0.854 |
1 |
74 % |
Intention to Use |
0 |
0.863 |
1 |
84 % |
Decision-making / satisfaction |
0 |
0.937 |
1 |
83 % |
Individual performance |
0 |
0.760 |
1 |
87 % |
Cooperative performance |
0 |
0.891 |
1 |
50 % |
Source:
Prepared by the authors.
The table below
shows the composite reliability index (CRI), which exceeds a value of 0.7 for
all factors. The AVE value, which is smaller than CR value in all factors, is
also shown. Considering the AVE value does not exceed 0.5 in all factors,
convergent validity would not be achieved for those constructs. Additionally, Table 4 shows the R2 value,
which smaller than 0.8 for all factors, indicating the absence of
multicollinearity.
Table 4. Composite reliability, AVE and
multiple correlation.
Factors |
Factors description |
Items |
CRI |
AVE |
R2 |
Convergent validity CR>AVE AVE>0.5 |
Factor 1 |
Political |
4 |
0.78 |
0.48 |
0.00 |
No |
Factor 2 |
Social |
4 |
0.74 |
0.41 |
0.00 |
No |
Factor 3 |
Ethical |
4 |
0.84 |
0.57 |
0.00 |
Yes |
Factor 4 |
Organizational |
4 |
0.89 |
0.57 |
0.00 |
Yes |
Factor 5 |
Planning, execution, and control |
6 |
0.83 |
0.46 |
0.00 |
No |
Factor 6 |
Technical |
4 |
0.70 |
0.37 |
0.00 |
No |
Factor 7 |
Information quality |
8 |
0.97 |
0.80 |
0.37 |
Yes |
Factor 8 |
System quality |
8 |
0.96 |
0.76 |
0.37 |
Yes |
Factor 9 |
Services quality |
4 |
0.95 |
0.82 |
0.35 |
Yes |
Factor 10 |
Intention to Use |
4 |
0.98 |
0.91 |
0.49 |
Yes |
Factor 11 |
Decision-making / satisfaction |
8 |
0.99 |
0.90 |
0.52 |
Yes |
Factor 12 |
Individual performance |
3 |
0.98 |
0.94 |
0.49 |
Yes |
Factor 13 |
Cooperative performance |
11 |
0.95 |
0.63 |
0.44 |
Yes |
Source:
Prepared by the authors.
Discriminant
validity is not achieved in the diagonal of Table 5, considering that values in
the diagonal, equivalent to the root of estimated AVE values (indicators
variance that form each construct), are in some cases smaller than the
correlations between constructs (found in the boxes outside the diagonals).
Table 5. Composite reliability, AVE and multiple correlation
Source:
Prepared by the authors.
In view of
the fact that the constructs of the proposed model did not achieve the expected
AVE value (greater than 0.5), we proceeded to reformulate the model, excluding
variables that were part of the constructs and those that had the smallest
factor loads: “political” factor: V4; “social” factor: V13, V9, V14; “planning,
execution and control” factor: V29, V33; and “technical” factor: V39, V37, V36.
By suppressing these indicators, it was possible to find the expected AVE
values, which were greater than 0.5 for all constructs.
In
accordance with the foregoing, there are a total of 75 variables (64 observed
and 11 constructs); 71 are endogenous (64 observed and 7 endogenous
constructs); 4 are exogenous (4 exogenous constructs); 66 are dependent (64
observed and 2 endogenous constructs); 4 are independent (the exogenous
constructs); and 5 are both dependent and independents (5 endogenous
constructs).
Table 6
shows the composite reliability index (CRI), which exceeds a value of 0.7 for
all factors. The AVE value, which is smaller than CR value in all factors and
exceeds the value of 0.5, is also shown; convergence validity would be achieved
for all factors (all constructs). R2 value is smaller than 0.8 for all factors;
therefore, the absence of multicollinearity is demonstrated.
Table 6. Composite
reliability, AVE and multiple correlation.
Factors |
Factors description |
Variable |
Items |
CRI |
AVE |
R2 |
Convergent validity CR>AVE AVE>0.5 |
Factor 1 |
Political |
P |
3 |
0.77 |
0.52 |
0.00 |
Yes |
Factor 2 |
Ethical |
E |
4 |
0.84 |
0.58 |
0.00 |
Yes |
Factor 3 |
Organizational |
O |
4 |
0.89 |
0.57 |
0.00 |
Yes |
Factor 4 |
Planning, execution, and control |
PEC |
4 |
0.80 |
0.51 |
0.00 |
Yes |
Factor 5 |
Information quality |
IQ |
8 |
0.97 |
0.79 |
0.00 |
Yes |
Factor 6 |
System quality |
SQ |
8 |
0.96 |
0.76 |
0.00 |
Yes |
Factor 7 |
Services quality |
SQ |
4 |
0.94 |
0.81 |
0.00 |
Yes |
Factor 8 |
Intention to use |
IU |
4 |
0.97 |
0.91 |
0.00 |
Yes |
Factor 9 |
Decision-making / satisfaction |
DM |
8 |
0.99 |
0.89 |
0.00 |
Yes |
Factor 10 |
Individual performance |
IP |
3 |
0.98 |
0.94 |
0.00 |
Yes |
Factor 11 |
Cooperative performance |
CP |
11 |
0.95 |
0.63 |
0.00 |
Yes |
Source: Prepared by the authors.
Factor
loads, critical ratios and significance
Table 7
shows the significant values of the non-standardized regression coefficients or
factor loads related to the changes occurred in the dependent variable
(observed or construct) when the independent variable (construct) varies by one
unit and the corresponding standard error (SE). It is revealed that all factor
loads are significant, with a 0.05 significant level, by observing the critical
ratio (CR) of the mentioned table. The relationships mentioned below are
significant (critical ratios greater/ smaller than ±196):
Table 7. Composite reliability, AVE and
multiple correlation.
|
Source: Prepared by the authors.
Interpretation
of significant factor loads
Significant
factor loads may be interpreted as follows:
•
Decision-making/satisfaction ←
Information quality. When information quality value increases in one category,
decision-making/ satisfaction value increases by 0.517.
•
Decision-making/satisfaction ←
System quality. When system quality value increases in one category,
decision-making/satisfaction value increases by 0.427.
•
Intention to use ← System quality.
When system quality value increases in one category, intention to use value
increases by 0.401.
•
Intention to use ← Information
quality. When information quality value increases in one category, intention to
use value increases by 0.492.
•
Individual performance ← Intention
to use. When intention to use value increases in one category, individual
performance value increases by 0.192.
•
Cooperative performance ←
Intention to use. When intention to use value increases in one category,
cooperative performance increases by 0.225.
•
Individual performance ←
Decision-making/ satisfaction. When decision-making/satisfaction value
increases in one category, individual performance value increases by 0.573.
•
Cooperative performance ←
Decision-making/ satisfaction. When decision-making/satisfaction value
increases in one category, cooperative performance value increases by 0.479.
Based on the
obtained results and improvement of the model, and excluding non-significant
relationships found in the analysis, the final accepted model is presented
below. See Figure 5.
Figure 5. Final
Model.
Source:
Prepared by the authors
CONCLUSIONS
From the
statistical analysis conducted on the implementation factors for the proposed
model, it is found that the political, social, and ethical factors do not
have significant influence
on service quality, information
quality and system quality factors. At the same time, it is revealed that
respondents think that political, social and ethical factors do not exert a
positive influence on the service quality, information quality or system
quality of the Human Resources Management Module (MGRRHH) of the Ministry of
Economy and Finance of Peru. It can be said that said perception is due to the
fact that the questions regarding political, social, and ethical factors fail
to cover the broad spectrum of MGRRHH. Organizational and planning, execution
and control factors are not significant for information quality, system quality
and service quality factors. Technical factor is not significant, because no
significant relationship exists between this factor and information quality,
system quality or service quality factors. Information quality factor has
significant relationships with intention to use and decision-making factors,
provided that it is computer application used for budget allocation,
information quality is important to guarantee adequate information generating
the projected budget. System quality has significant relationships with
intention to use and user satisfaction, as a result of affability, speed and
reliability of the information provided by the staff members of the MGRRHH.
Service quality does not have significant relationships with intention to use
and decision-making. Intention to use and decision-making have significant
relationships with individual performance and cooperative performance.
[1]
Cabrera,
M. del C. (2013). Un modelo de evaluación de éxito de los sistemas de
información con énfasis en la seguridad de información a nivel del desempeño
individual de instituciones públicas en Perú. Caso de estudio: Poder Judicial,
sistema de notificaciones electrónicas. (Master Thesis). Universidad Nacional
Mayor de San Marcos, Lima.
[2]
DeLone, W.
H. & McLean, E. R. (1992). Information Systems Success: The Quest for the
Dependent Variable. Information Systems Research, 3(1), 60-95.
[3]
DeLone, W.
H. & McLean, E. R. (2003). The DeLone and McLean Model of Information
Systems Success: A Ten-Year Update. Journal of Management Information Systems,
19(4), 9-30.
[4]
Eldrandaly,
K. A., Naguib, S. M. & Hassan, M. M. (2015). A Model for Measuring
Geographic Information Systems Success. Journal of Geographic Information
System, 7(4), 328-347.
[5]
Gable, G.
G., Sedera D. & Chan T. (2008). Reconceptualizing Information System
Success: The IS-Impact Measurement Model. Journal of the Association for
Information Systems, 9(7), 377-408.
[6]
Ghassan,
A. G., Bin, S. B. & Shahzad, A. (2016). A Conceptual Model for E-Government
Success Factors in Developing Countries. International Journal of Scientific
and Research Publications, 6(12), 39-44.
[7]
Karat J.
& Karat, C. M. (2003). The Evolution of User-Centered Focus in the
Human-Computer Interaction Field. IBM Systems Journal, 42(2), 532-421.
[8]
Lian,
J.-W. (2017). Establishing a Cloud Computing Success Model for Hospitals in
Taiwan. Inquiry: The Journal of Health Care Organization, Provision, and
Financing, 54, 1-6.
[9]
Mason, R. O.
(1978). Measuring Information Output: A Communication Systems Approach.
Information & Management, 1(4), 219-234.
[10] Medina, J. M. (2005). Evaluación del Impacto de los
Sistemas de Información en el Desempeño Individual del Usuario: Aplicación en
Instituciones Universitarias. (Doctoral Thesis). Universidad Politécnica de
Madrid, Madrid.
[11] Nugroho, Y. & Prasetyo, A. (2018). Assessing
Information Systems Success: A Respecification of the DeLone and McLean Model to
Integrating the Perceived Quality. Problems and Perspectives in Management,
16(1), 348-360.
[12] Rammutloa, M. (2017). Application of the DeLone and
McLean’s Model to Assess the Effectiveness of an Intranet in an Open Distance
Learning Library. (Master Thesis). Stellenbosch University, Cabo Occidental.
[13] Romi, I. M., Awad, I. A. & Elkordy, M. (2008). A
Model of Organizational Politics Impact on Information Systems Success.
Retrieved from https://www.academia.edu/9751502/A_
Model_of_Organizational_Politics_Impact_on_ rmation_Systems_Success
[14] Shannon, C. E. & Weaver W. (1964). The
Mathematical Theory of Communication. Illinois, USA: The University of Illinois
Press.
[15] Venkatesh, V. & Bala, H. (2008). Technology
Acceptance Model 3 and a Research Agenda on Interventions. Decision Sciences,
39(2), 273-315.
[16] Vidal, M. E. (2018). Determinantes de la aceptación
del mobile learning como elemento de formación del capital humano en las
organizaciones. (Doctoral Thesis). Universidad Complutense de Madrid, Madrid.
[17] Villegas, J. H. (2010). Un modelo de evaluación de los
atributos críticos de éxito de los sistemas de información en el desempeño
individual, cooperativo y organizacional. (Master Thesis). Universidad Nacional
Mayor de San Marcos, Lima.
[18] Yu, P. & Qian, S. (2018). Developing a Theoretical
Model and Questionnaire Survey Instrument to Measure the Success of Electronic
Health Records in Residential Aged Care. PLOS ONE, 13(1), 1-18.
[1] Ingeniero en Informática y Sistemas
por la Universidad Nacional Agraria de la Selva. Analista técnico senior de
CANVIA (empresa de soluciones de software). Lima, Perú. E-mail:
jperezt@canvia.com
[2] Doctora en Ingeniería de Producción
por la Pontificia Universidad Católica de Río de Janeiro. Actualmente, es
docente de la Universidad Nacional Mayor de San Marcos. Lima, Perú. E-mail: rdelgadilloa@unmsm.edu.pe
[3] Computer and Systems Engineer from
the Universidad Nacional Agraria de la Selva. Senior technical analyst at
CANVIA (software solutions company).
Lima, Peru. E-mail: jperezt@canvia.com
[4] PhD in Production Engineering from
the Pontifical Catholic University of Rio de Janeiro. Currently working as
Professor at the Universidad Nacional Mayor de San Marcos. Lima, Peru.
E-mail: rdelgadilloa@unmsm.edu.pe