Revista Industrial Data 24(2): 175-191 (2021)
DOI: https://doi.org/10.15381/idata.v24i2.20348
ISSN: 1560-9146 (Impreso) / ISSN: 1810-9993 (Electrónico)
Recibido: 31/05/2021
Aceptado: 08/09/2021
Publicado: 31/12/2021
Validez y fiabilidad de una lista de verificación en Buenas Prácticas de Manufactura para la industria de agrobiológicos
Lucía Huánuco Azabache[1]
Juan Cevallos Ampuero[2]
César Campos Contreras (✝)[3]
RESUMEN
Esta investigación presenta el diseño de una lista de verificación o cuestionario para la aplicación de las BPM-POES durante la producción de agrobiológicos líquidos. La validez de contenido se determinó mediante el juicio por expertos que pertenecen a tres filiales de una reconocida empresa del rubro, mientras que la consistencia interna se determinó con el coeficiente de fiabilidad KR20 de Kuder-Richardson. El instrumento quedó definido por 210 ítems de respuesta dicotómica y distribuidos en diez dimensiones: Generalidades, clasificación comercial, personal, instalaciones y equipamiento, sistemas de apoyo crítico, área de almacenamiento, área de producción, control de calidad, documentación y limpieza y sanitización. Se logró obtener el consenso de aplicabilidad de los siete expertos y un valor de KR20 promedio igual a 0.80; además, todas las dimensiones presentaron puntuaciones mayores a 0.75, lo que confirmó la validez y fiabilidad del instrumento.
Palabras clave: lista de verificación, BPM, agrobiológico, KR20.
INTRODUCCIÓN
Los cuestionarios son instrumentos fundamentales de recolección de datos que proporcionan información (Vargas y Hernández, 2010); pueden ser unidimensionales o multidimensionales, de respuesta dicotómica (verdadero/falso, sí/no), estar compuestos por ítems simples, formularse en base a la revisión bibliográfica, a la consulta con expertos en la materia (Martín, 2004), o ser de una sola aplicación en el estudio (Campo‑Arias y Oviedo, 2008).
Al redactar las preguntas o ítems, es importante tener en cuenta los criterios de claridad, coherencia, relevancia y suficiencia (Escobar y Cuervo, 2008; Boluarte y Tamari, 2017). Según Martín (2004), existen ciertas recomendaciones, tales como utilizar preguntas cortas y de fácil comprensión, no emplear palabras que induzcan hacia la opinión o creencia, redactar preguntas en forma positiva, evitar el uso de la interrogación “por qué”, evitar formular preguntas que induzcan a una respuesta deseada y evitar enunciados que obliguen a hacer cálculos o esfuerzos de memoria.
Para garantizar el éxito de los resultados obtenidos, el cuestionario debe estar bien diseñado, según los criterios de validez y fiabilidad (Lacave, Molina, Fernández, y Redondo, 2015); en este sentido, es crucial medirlo para comprobar su utilidad (Esposito, Muñoz, Herrera, y Periáñez, 2015), debido a que la validación de instrumentos es un proceso de constante evaluación y modificación (Campo-Arias y Oviedo, 2008).
La validez se refiere al “grado en que un instrumento de medida mide aquello que realmente pretende medir o sirve para el propósito para el que ha sido construido” (Martín, 2004, p. 28). En este sentido, tal como mencionan Urrutia, Barrios, Gutiérrez y Mayorga (2014) en Boluarte y Tamari (2017), la validez de contenido representa el primer nivel de validez y sirve para verificar si el cuestionario y los ítems redactados son indicadores de lo que se desea medir; así, durante el juicio por expertos, el cuestionario se somete a valoración por personas con trayectoria académica o laboral en el tema, que pueden brindar información, evidencia y juicios (Galicia, Balderrama, y Edel, 2017; Robles y Rojas, 2015).
Por otro lado, la fiabilidad es el grado en que un instrumento ofrece resultados veraces y constantes en condiciones similares de medición con precisión y sin error. Así, la consistencia interna se refiere al nivel en que las diferentes preguntas de una escala están relacionadas entre sí, es decir, indica el grado de acuerdo entre las mismas, lo que determinará que estas se puedan acumular y dar una puntuación global (Martín, 2004). Existen diferentes métodos para medir la consistencia interna; los más utilizados son el coeficiente alfa de Cronbach y el coeficiente KR20 de Kuder-Richardson (Ekolu y Quainoo, 2019), los cuales se consideran aceptables cuando sus valores se encuentran entre 0.70 y 0.90 (Sánchez y Gómez, 1998) y aplicable en instrumentos que miden atributos o características (Campo-Arias y Oviedo, 2008).
Algunos ejemplos de cuestionarios utilizados para estudiar diferentes situaciones son: dificultades de los alumnos durante el aprendizaje (Lacave et al., 2015), formación en salud (Esposito et al, 2015), salud mental (Fernández, Molerio, Herrera, y Grau, 2017), cuestionario de índice de ansiedad y miedo dental en la población de mujeres embarazadas (Ríos, Palma, Herrera, Farías, Morales, Martínez, Lanyon, y Rojas, 2018), cuidado propio de las mujeres en el posparto (Vargas y Hernández, 2010), calidad de la docencia (Porras y Gil, 2014) y las buenas prácticas de manufactura (BPM) (Fadda, Aymerich, Hugas, y Garriga, 2005).
Las buenas prácticas de manufactura, buenas prácticas de elaboración o buenas prácticas de fabricación (Diaz, 2009) son definidas como el conjunto de normas que determinan las actividades que se realizan durante la elaboración de un producto, las cuales permiten asegurar el cumplimiento de los estándares de calidad de acuerdo con el uso que tendrá y los requerimientos establecidos para comercializarlo (D. S. N.° 014, 2011). Su implementación requiere un responsable y un conjunto de procedimientos operativos que se deben cumplir para disminuir los riesgos de contaminación y asegurar la calidad del producto terminado (Tamayo, 2011).
Las BPM se complementan con los procedimientos operativos estandarizados de saneamiento (POES) (Diaz, 2009) e incluyen actividades de limpieza y desinfección que deben ser realizadas rutinariamente antes, durante y después de cada proceso productivo (Quiñones, 2016). Las BPM consisten principalmente en un manual de procedimientos y sus respectivos registros que incluyen aspectos como materias primas, instalaciones, equipamiento, capacitaciones e higiene del personal (Pérez, 2014). Otros aspectos básicos en la aplicación de las BPM de biológicos son la documentación, materiales, control de producción y control de calidad (Quintana y Apezteguía, 2010). Además, los manuales deben contar con objetivos definidos que incluyan programas y procedimientos relevantes, que permitan la eficiencia de las operaciones y que controlen la presencia de microorganismos (Quiñones, 2016).
Diaz (2009) detalla los siguientes aspectos de las BPM:
- Instalaciones: se deben tener en cuenta la ubicación, distribución, materiales de construcción, equipos y servicios de la planta de procesamiento.
- Control de operaciones: se deben aplicar sistemas de control sobre la materia prima, los equipos, y los insumos, sin olvidar cumplir con parámetros de tiempo y temperatura establecidos.
- Mantenimiento y saneamiento: se deben incluir actividades, procedimientos y métodos eficaces para la limpieza y desinfección, control de plagas y manejo de desechos.
- Higiene del personal: se debe capacitar e instaurar medidas de control sobre el aseo y comportamiento del personal, las condiciones de las instalaciones sanitarias y los implementos para los visitantes.
- Transporte: se debe revisar el estado de los medios de transporte, contenedores y depósitos tanto de las materias primas como de los productos terminados.
- Capacitación: se debe contar con un programa de capacitaciones que incluya las funciones y los procedimientos de manipulación, limpieza y desinfección.
- Documentación: debe estar correctamente elaborada, ser accesible y de fácil comprensión. Permite demostrar, sistematizar y reproducir las actividades.
El objetivo de las BPM es obtener productos en condiciones sanitarias óptimas y disminuir fallas durante la producción, lo que permite mejorar la calidad y garantizar un producto confiable. Por otro lado, las ventajas de utilizar esta herramienta son: ser competitivo en el mercado, mantener la imagen, aumentar ganancias, y garantizar el cumplimiento de reglamentados vigentes (Puerto y García, 2015). Esta herramienta de calidad es aplicada en varios tipos de industria, como la de alimentos, cosméticos y farmacéuticos (Oliva del Cid, 2011). Varias investigaciones afirman que su implementación logra una buena calidad microbiológica y un efecto económico positivo en las empresas (Jerke, 2009), permite optimizar recursos y cumplir con las normas nacionales e internacionales (Rodríguez, 2018) y facilita la certificación, validación y capacitación del personal (Parra, 2015).
Para realizar la implementación de las Buenas Prácticas de Manufactura se requiere utilizar un instrumento o lista de verificación que permita conocer el estado inicial del nivel de cumplimiento de BPM-POES, así como armar un plan de mejoramiento y alcanzar un mayor porcentaje de cumplimiento (Tamayo, 2011). Este instrumento facilita las auditorías internas y externas; permite, de acuerdo con el valor obtenido, considerar si se cumple (valor obtenido igual o superior al 70%) o no con las BPM; y finalmente, permite correlacionar las BPM con la calidad microbiológica de un producto (Bastías, Cuadra, Muñoz, y Quevedo, 2013). En Perú, DIGEMID (2017) regula y provee los manuales y listas de verificación a los diferentes rubros de la industria como, por ejemplo, guías de buenas prácticas de almacenamiento, distribución y transporte de productos farmacéuticos y actas de inspección para establecimientos de fabricación de cosméticos.
La industria a la que va dirigido el diseño de este instrumento es la de los agrobiológicos, bioinoculantes o inoculantes microbianos (Aguado, Rascón, y Luna, 2012), los cuales están conformados por microorganismos del suelo que se asocian a las plantas o a su entorno, constituyen una alternativa para reducir el uso de productos químicos en la agricultura y representan una estrategia orgánica hacia la gestión integrada de plagas y enfermedades (Alvarez, Tucta, Quispe, y Meza, 2018). Como lo indica la Norma Técnica Colombiana NTC 5842 (2011), son productos inocuos para los humanos, plantas y animales, por lo que resultan de interés para muchos exportadores (Zapata, 2001).
Estos productos se aplican a cualquier cultivo de interés agronómico y pueden ser formulados industrialmente (Sanjuán y Moreno, 2010); con base en bacterias benéficas como las rizobacterias, promotoras del crecimiento vegetal-PGPR (Terry, Leyva, y Díaz, 2005); las fijadoras de nitrógeno, como Azotobacter chroccocum y Azospirillum sp.; las solubilizadoras de fosfato, como Pseudomonas spp; y las de control biológico, como Bacillus subtilis (Manitio, 2014). Estos se aplican junto con hongos benéficos, como aquellos que tienen la capacidad de producir fitohormonas, como el Penicillum sp. y Aspergillus sp. (Santos, Parra, Herrera, Valenzuela y Estrada, 2018); los micorrízicos arbusculares (Terry et al., 2005); los controladores de plagas, como el Trichoderma sp. (García, Riera, Zambrano y Gutiérrez, 2006); y los entomopatógenos, como el Metarhizium, Beauveria, y Verticillium (Monzón, 2001).
Por consiguiente, esta investigación plantea expandir la aplicación de una lista de verificación en la industria de los productos biológicos para la agricultura con el fin de generar un impacto positivo en la calidad del proceso y contribuir en la entrega de productos óptimos que logren satisfacer las necesidades de los clientes y sus cultivos. En suma, el objetivo principal es diseñar un instrumento válido y fiable que permita evaluar el nivel de implementación de las buenas prácticas de manufactura (BPM-POES) en un rubro cada vez más presente, como lo es la producción de agrobiológicos o bioinsumos.
METODOLOGÍA
Se diseñó una lista de verificación o cuestionario con base en el Acta de inspección para establecimientos de fabricación de cosméticos DICER-FOR-014, establecida por DIGEMID (2017). Asimismo, se organizó el instrumento en una serie de preguntas o ítems agrupados en dimensiones de acuerdo con lo referido por Quintana y Apezteguía (2010), quienes estudiaron las BPM en productos biológicos.
Al igual que en las investigaciones de Galicia et al. (2017) y Salazar, Freyle, Tamara y Álvarez (2016), la validez de contenido del instrumento diseñado se determinó mediante el criterio de jueces, con la selección de un panel conformado por siete expertos con conocimiento y experiencia en este rubro de la industria. Los expertos pertenecen a tres filiales (México, Colombia y Perú) de una reconocida empresa dedicada a la formulación y comercialización de agrobiológicos.
Con el fin de afinar los criterios de suficiencia, pertinencia, redacción y opciones de respuesta (Fernández et al., 2017), los expertos seleccionados evaluaron el instrumento; para esto se les solicitó calificar con el valor de “1” los ítems que cumplían los criterios, y con el valor de “0” los que no. Además, se aplicó la formula KR20 de Kuder‑Richardson para cuantificar la validez del instrumento (Ríos, Leonardo, Ballena, Peralta, Franzo, Díaz, y León, 2013).
Debido a que el instrumento se basa en un patrón de respuesta dicotómica, el valor de la consistencia interna se determinó con el coeficiente de confiabilidad KR20 de Kuder‑Richardson utilizando la siguiente ecuación (Campo-Arias y Oviedo, 2008):
Donde:
ɳ = número de ítems que contiene el instrumento.
Vt = varianza total de la prueba.
= sumatoria de la varianza individual
de los ítems.
Los valores obtenidos se evaluaron de acuerdo con los criterios establecidos por Kline (2013) en Díaz, Tirado y Simancas (2017), donde se considera que >0.90 es excelente; <0.85‑0.75>, aceptable; y <0.60, bueno.
RESULTADOS
Para realizar el diseño de este instrumento, se contrastaron las referencias encontradas y se mantuvo comunicación con los expertos, lo que permitió realizar las modificaciones y reformulaciones en las preguntas. Luego de la última evaluación, los siete expertos llegaron a un consenso y consideraron que no era necesario realizar más modificaciones. Además, se determinó que la calificación de las preguntas se realizaría con valores de “SÍ” o “NO”; donde “SÍ” indica que se cumplió correctamente el ítem durante la implementación de las BPM, y “NO” indica que el ítem aún no se cumple.
La lista de verificación en BPM para la industria de agrobiológicos quedó conformada por 10 dimensiones. Las dos primeras están relacionadas con la información de la empresa (generalidades y clasificación comercial), y las siguientes ocho dimensiones comprenden los 210 ítems de calificación. Las dimensiones requeridas y su respectivo número de ítems se describen en la Tabla 1.
Tabla 1. Estructura del instrumento para las buenas prácticas de manufactura.
|
Dimensión del instrumento |
Numero de ítems/preguntas |
|
|
1 |
Generalidades |
Ninguno |
|
2 |
Clasificación comercial |
Ninguno |
|
3 |
Personal |
21 |
|
4 |
Instalaciones y equipamiento |
22 |
|
5 |
Sistemas de apoyo crítico |
12 |
|
6 |
Área de almacenamiento |
34 |
|
7 |
Área de producción |
54 |
|
8 |
Control de calidad |
31 |
|
9 |
Documentación |
14 |
|
10 |
Limpieza y sanitización |
22 |
|
Total |
210 |
|
Fuente: Elaboración propia.
La primera dimensión presenta la información fiscal de la empresa y de las personas responsables del proceso productivo, mientras que la segunda muestra la clasificación comercial de la empresa. Ambas dimensiones no cuentan con preguntas ya que no aportan ninguna información al monitoreo de las BPM. La tercera dimensión se subdivide en aspectos de capacitación, higiene y salud ocupacional y dotación de ropa de trabajo. La cuarta dimensión está constituida por la situación o estado de las áreas internas y externas, los servicios sanitarios, vestidores, mantenimiento y áreas sociales. La quinta incluye los sistemas de suministro de aire, de agua y tratamiento de aguas residuales. La sexta dimensión se subdivide en materias primas (que incluye al ingrediente activo microbiano y a los componentes inertes), empaque y envase y producto terminado. La séptima dimensión incluye ítems relacionados a las áreas de cepario, biofermentadores y formulación con sus respectivas consideraciones de mantenimiento, limpieza y controles. La octava dimensión incluye ítems relacionados al control de calidad durante todo el proceso de elaboración, además de los procedimientos de quejas y reclamos. La novena presenta información sobre el manejo de la documentación en BPM, además de los manejos relacionados a etiqueta y empaque, materia prima y producto terminado. Finalmente, la décima dimensión incluye ítems relacionados a los procedimientos operativos estandarizados de saneamiento (POES). El documento completo se puede observar en el siguiente link de libre acceso: https://drive.google.com/file/d/1LsVqRLDOznPXMG1NciHUiy5yHL7YXK77/view?usp=sharing
La Tabla 2 muestra la validación a partir de la evaluación de siete jueces o expertos. Se asumieron todas sus observaciones y sugerencias para finalmente obtener el consenso de aplicabilidad. Se calculó la validez general de todo el instrumento y se obtuvo un valor de KR20 igual a 0.80. Los valores parciales de validación son: 0.87, 0.72, 0.78, 0.88, 0.85, 0.75, 0.76 y 0.80 en cada una de las dimensiones personal, instalaciones y equipamiento, sistemas de apoyo crítico, área de almacenamiento, área de producción, control de calidad, documentación y limpieza y sanitización, respectivamente. Se observó que la calificación general y la mayoría de las dimensiones superaron el valor KR20 = 0.75, por lo que se encuentran en el rango de aceptación.
Tabla 2. Validez de contenido en el instrumento.
|
Juez validador |
Cargo |
Opinión de aplicabilidad |
|
E. Cázares (IG México) |
Coordinador de procesos y mejora continua |
Aplicable |
|
V. Aldaz (IG México) |
Supervisor de microbiología |
Aplicable |
|
F. Hernández (IG México) |
Coordinador de productos microbianos |
Aplicable |
|
E. Baquero (IG Colombia) |
Coordinador de biológicos |
Aplicable |
|
D. Ortiz (IG Colombia) |
Jefe de calidad e investigación |
Aplicable |
|
G. Rodríguez (IG Colombia) |
Jefe de producción en biológicos |
Aplicable |
|
M. García (IG Perú) |
Jefe de investigación |
Aplicable |
Fuente: Elaboración propia.
La consistencia interna fue calculada mediante el coeficiente de Kuder-Richardson (KR20) y dio un valor promedio igual a 0.81 para todas las dimensiones del instrumento, mientras que los valores parciales de consistencia en cada una de las dimensiones se observan en la Tabla 3. Todas las dimensiones presentaron puntuaciones mayores a 0.75, por lo que se consideraron aceptables.
Tabla 3. Consistencia interna obtenida en cada dimensión del instrumento.
|
Dimensión del instrumento |
KR20 |
|
|
1 |
Generalidades |
No aplica |
|
2 |
Clasificación comercial |
No aplica |
|
3 |
Personal |
0.76 |
|
4 |
Instalaciones y equipamiento |
0.77 |
|
5 |
Sistemas de apoyo crítico |
0.79 |
|
6 |
Área de almacenamiento |
0.86 |
|
7 |
Área de producción |
0.79 |
|
8 |
Control de calidad |
0.86 |
|
9 |
Documentación |
0.88 |
|
10 |
Limpieza y sanitización |
0.75 |
Nota: Las dimensiones “Generalidades” y “Clasificación comercial” no son evaluadas con el coeficiente KR20 debido a que están relacionadas con la descripción escrita de la empresa.
Fuente: Elaboración propia.
El coeficiente de valor más alto se obtuvo en la dimensión “documentación” (KR20 = 0.88), mientras que el valor más bajo, pero aun así representativo y aceptable, se obtuvo en la dimensión “limpieza y sanitización” (KR20 = 0.75).
DISCUSIÓN
Para definir la estructura de la lista de verificación fue necesario realizar una detallada búsqueda de información, seleccionar el formato que mejor se adaptara al proceso en estudio y luego contrastarlo con las sugerencias de los expertos. Esta secuencia de actividades permitió determinar las dimensiones y número total de preguntas, lo cual es sugerido por Robles y Rojas (2015) para realizar la validación del diseño y definir la objetividad del instrumento.
En un inicio, la lista de verificación constaba de 15 dimensiones y 250 preguntas, pero se fue reduciendo y ajustando a las actividades en las que se deseaba monitorear las BPM, hasta quedar establecida en 210 preguntas distribuidas en 10 dimensiones. Como recomiendan Ríos et al. (2018), el instrumento fue entregado nuevamente a los expertos para su aprobación final.
La lista de verificación contó con un promedio de 26 ítems o preguntas en cada dimensión, de las cuales, la dimensión “Área de producción” fue la de mayor cantidad (54) y la dimensión “Sistemas de apoyo crítico”, la de menor cantidad (12). Esto concuerda con lo indicado por Martín (2004), ya que si bien no existe un número ideal de ítems que permitan evaluar un proceso, lo mínimo sería contar con 6, en promedio 10 y máximo 90 ítems.
Con la estructura ya establecida, se procedió a someter al cuestionario a la evaluación de expertos y, aunque el número óptimo de jueces no se encuentra establecido, algunas investigaciones han incluido la participación de siete (Fernández et al., 2017), diez (Boluarte y Tamari, 2017) o doce expertos (Ríos et al., 2013). En esta investigación no solo se contó con el aporte de siete personas conocedoras, sino también con perspectivas de tres filiales de una misma empresa, lo cual enriqueció la validez del instrumento.
La validez de contenido fue garantizada mediante la aplicación del coeficiente KR20 de Kuder-Richardson, cuyo resultado fue el valor de 0.80, algo muy similar a lo presentado por Vargas y Hernández (2010), quienes obtuvieron un índice de validez de contenido general igual a 0.88 con el análisis de diez expertos.
Al igual que Salazar et al. (2016), la evaluación de la consistencia interna de la lista de verificación, con escala dicotómica, se realizó con la aplicación del coeficiente de Kuder-Richardson. El valor promedio del instrumento en general fue igual a 0.81, lo cual es aceptable para Kline (2013, como se citó en Díaz et al., 2017) y concuerda con lo sugerido por Nunnally y Bernstein (1995) en Vargas y Hernández (2010), quienes consideran aceptables los valores entre 0.59 y 0.68 durante los primeros estudios de validación. Por otro lado, Roberts, Priest y Traynor (2006) sugieren que la fiabilidad es adecuada si el coeficiente alcanza valores entre 0.80 y 0.90.
El mínimo valor obtenido en una de las dimensiones (0.75) y el mayor (0.88) no solo se consideraron dentro del rango aceptable, sino que además se consideraron adecuados, debido a que los valores de consistencia interna inferiores a 0.70 indican una pobre relación entre los ítems (Campo-Arias y Oviedo, 2008) y los valores excesivos o por encima de 0.90 indican redundancia o duplicación (Esposito et al., 2015).
Finalmente, como explican Lacave et al. (2015), el análisis de validez y fiabilidad de un instrumento es un proceso iterativo entre las partes interesadas, el cual debe estar en constante evaluación durante el establecimiento del diseño.
CONCLUSIONES Y RECOMENDACIONES
La propuesta planteada se basa en la importancia de contar con un instrumento o lista de verificación válida y fiable que pueda ser aplicada durante la implementación y monitoreo de las Buenas Prácticas de Manufactura en las diferentes empresas dedicadas a la producción de agrobiológicos.
Gracias al aporte de siete expertos, la lista de verificación en BPM diseñada presentó una aceptable validez de contenido, lo que reafirmó el propósito que se le pretende dar por la coherencia y facilidad de comprensión de sus 210 ítems distribuidos en 10 dimensiones.
Los valores obtenidos en la consistencia interna de cada una de las dimensiones de la lista de verificación permitieron confirmar la fiabilidad que tiene este instrumento y lo precisa que puede resultar su aplicación.
AGRADECIMIENTO
A la empresa INNOVAK GLOBAL, en especial a su filial Desarrollo Técnico Vegetal S.A.C., por brindar todos los recursos necesarios. A su personal en México, Colombia y Perú por brindar su experiencia y conocimiento en la validación de este instrumento.
REFERENCIAS BIBLIOGRÁFICAS
[1] Aguado, G., Rascón, Q., y Luna, A. (2012). Impacto económico y ambiental del empleo de fertilizantes químicos. En G. Aguado (Eds.), Introducción al uso y manejo de los biofertilizantes en la agricultura (págs. 1-22). Guanajuato, México: INIFAP/SAGARPA.
[2] Alvarez, M., Tucta, F., Quispe, E., y Meza, V. (2018). Incidencia de la inoculación de microorganismos benéficos en el cultivo de fresas (Fragaria sp.). Scientia Agropecuaria, 9(1), 33-42.
[3] Bastías, M., Cuadra, M., Muñoz, O., y Quevedo, R. (2013). Correlación entre las buenas prácticas de manufactura y el cumplimiento de los criterios microbiológicos en la fabricación de helados en Chile. Revista chilena de nutrición, 40(2), 161-168.
[4] Boluarte, A., y Tamari, K. (2017). Validez de contenido y confiabilidad inter-observadores de Escala Integral Calidad de Vida. Revista de Psicología, 35(2), 641-666.
[5] Campo-Arias, A., y Oviedo, H. C. (2008). Propiedades Psicométricas de una Escala: la Consistencia Interna. Revista de Salud Pública, 10(5), 831-839.
[6] Decreto Supremo N.° 014. Aprueban reglamento de establecimientos farmacéuticos (2011). Recuperado de http://www.digemid.minsa.gob.pe/upload/uploaded/pdf/ds014-2011-minsa.pdf
[7] Díaz, A. (2009). Buenas prácticas de manufactura: una guía para pequeños y medianos agroempresarios. San Jose, Costa Rica: Instituto Interamericano de Cooperación para la agricultura – IICA.
[8] Díaz, S., Tirado, L. y Simancas, M. (2017). Validez de constructo y confiabilidad de la APGAR familiar en pacientes odontológicos adultos de Cartagena, Colombia. Revista de la Universidad Industrial de Santander Salud, 49(4), 541-548. Recuperado de http://dx.doi.org/10.18273/revsal.v49n4-2017003
[9] DIGEMID. (2017). Acta de inspección para establecimientos de fabricación de cosméticos. Recuperado de http://www.digemid.minsa.gob.pe/UpLoad/UpLoaded/PDF/Establecimientos/Manual/Manuales-Guias/Guia_BPM_Cosmeticos.pdf
[10] Escobar, J., y Cuervo, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6(1), 27-36.
[11] Ekolu, S., y Quainoo, H. (2019). Reliability of assessments in engineering education using Cronbach’s alpha, KR and split-half methods. Global Journal of Engineering Education, 21(1), 24-29.
[12] Esposito, T., Muñoz, F., Herrera, M., y Periáñez, M. (2015). Fiabilidad y validez para un cuestionario de satisfacción con la formación continuada en salud: el cuestionario de satisfacción del discente. FEM, 18(3), 197-203.
[13] Fadda, S., Aymerich, T., Hugas, M., y Garriga, M. (2005). Use of a GMP/GHP HACCP checklist to evaluate the hygienic status of traditional dry sausage workshops. Food Protection Trends, (25), 7, 522-530. Recuperado de http://hdl.handle.net/11336/57121
[14] Fernández, E., Molerio, O., Herrera, L. F., y Grau, R. (2017). Validez y confiabilidad del cuestionario para evaluar factores protectores de la salud mental en estudiantes universitarios. Actualidades en Psicología, 31(122), 103-117.
[15] Galicia, L., Balderrama, J., y Edel, R. (2017). Validez de contenido por juicio de expertos: propuesta de una herramienta virtual. Apertura, 9(2), 42-53.
[16] García, R., Riera, R., Zambrano, C., y Gutiérrez, L. (2006). Desarrollo de un fungicida biológico a base de una cepa del hongo Trichoderma harzianum proveniente de la región andina venezolana. Fitosanidad, 10(2), 115-121.
[17] Jerke, G. (2009). Impacto de buenas prácticas productivas en la calidad microbiológica de té negro. (Tesis doctoral). Universidad Central de las Villas Marta Abreu, La Habana.
[18] Lacave, C., Molina, A. I., Fernández, M., y Redondo, M. A. (8-10 de julio de 2015). Análisis de la fiabilidad y validez de un cuestionario docente. Actas de las XXI Jornadas de la Enseñanza Universitaria de la Informática, Andorra La Vella, Andorra.
[19] Manitio, E. (2014). Investigación de mercados de productos biológicos ecuatorianos. (Tesis de pregrado). Universidad San Francisco, Quito.
[20] Martín, M. C. (2004). Diseño y validación de cuestionarios. Matronas Profesión, 5(17), 23-29.
[21] Monzón, A. (2001). Avances en el fomento de productos fitosanitarios no-sintéticos. Manejo integrado de plagas, (63), 63-95.
[22] Norma Técnica Colombiana. (2011). Bioinsumos para uso agrícola. Inoculantes Biológicos (NTC 5842). Bogotá, Colombia: ICONTEC.
[23] Oliva del Cid, M. (2011). Elaboración de una guía de buenas prácticas de manufactura para el restaurante central del IRTRA PETAPA. (Tesis de maestría). Universidad de San Carlos, Guatemala.
[24] Parra, F. (2015). Instalación de equipos aplicando las Buenas prácticas en manufactura en una industria farmacéutica. (Tesis de pregrado). Universidad Nacional Mayor de San Marcos, Lima.
[25] Pérez, N. (2014). Diseño y desarrollo del plan de Buenas Prácticas de Manufactura (BPM) para la planta de producción de alimentos balanceados de agrotécnica en la ciudad de Riobamba. (Tesis de pregrado). Escuela Superior Politécnica de Chimborazo, Riobamba.
[26] Porras, B., y Gil, P. (2014). Análisis de validez y fiabilidad del modelo de encuesta a los estudiantes para la evaluación de la calidad de la docencia. Recuperado de http://red-u.org/wp-content/uploads/2014/02/Validezyfiabilidad.pdf
[27] Puerto, E., y García, D. (2015). Implementación de un sistema de gestión documental basado en las Buenas Prácticas de Manufactura a la empresa Nutry Dairy (Tunja). (Tesis de pregrado). Universidad Pedagógica y Tecnológica de Colombia, Duitama.
[28] Quintana, M., y Apezteguía, I. (2010). Las Buenas Prácticas en la Producción de Biológicos y los Sistemas de Gestión de la Calidad. Revista Cubana de Farmacia, 44(4), 547-557.
[29] Quiñones, M. (2016). Evaluación del proceso de implementación de las BPM a través del análisis microbiológico de los alimentos que elaboran en la cafetería de la UCM. (Tesis de pregrado). Universidad Católica de Manizales, Manizales.
[30] Ríos, A., Leonardo, W., Ballena, J., Peralta, J., Fanzo, P, Díaz, C. y León, F. (2013). Validación de un instrumento para medir el nivel de conocimiento sobre depresión mayor en médicos de atención primaria en Chiclayo, Perú. Revista Médica Herediana, 24, 26-32.
[31] Ríos, M., Palma, L., Herrera, A., Farías, C., Morales, N., Martínez, C., Lanyon, E., y Rojas, G. (2018). Validez y confiabilidad del cuestionario de ansiedad y miedo dental IDAF- 4C+ en embarazadas chilenas. Avances en Odontoestomatología, 34(5), 227-236.
[32] Roberts, P., Priest, H., y Traynor, M. (2006). Reliability and Validity in Research. Nurs Stand, 20(44),41-45.
[33] Robles, P., y Rojas, M. C. (2015). La validación por juicio de expertos: dos investigaciones cualitativas en Lingüística aplicada. Revista Nebrija de Lingüística Aplicada a la Enseñanza de las Lenguas, (18).
[34] Rodríguez, S. (2018). Propuesta integral del sistema de gestión para las buenas prácticas de manufactura del sector cosmético colombiano. Signos, 10(1), 57-75.
[35] Salazar, A., Freyle, N., Tamara, G., y Álvarez, L. (2016). Percepción sobre riesgo al cambio climático como una amenaza para la salud humana, Taganga, Santa Marta, 2014. Luna Azul, (43), 102-127. Recuperado de http://doi.org/10.17151/luaz.2016.43.6
[36] Sánchez, R., y Gómez, C. (1998). Conceptos básicos sobre validación de escalas. Revista Colombiana de Psiquiatría, 27, 121-130.
[37] Sanjuán, J., y Moreno, N. (2010). Aplicación de insumos biológicos: Una oportunidad para la agricultura sostenible y amigable con el medioambiente. Revista Colombiana de Biotecnología, 12(1), 4-7.
[38] Santos, S., Parra, F., Herrera, A., Valenzuela, B., y Estrada, J. (2018). Colección de microorganismos edáficos y endófitos nativos para contribuir a la seguridad alimentaria nacional. Revista Mexicana de Ciencias Agrícolas, 9(1), 191-202.
[39] Tamayo, M. (2011). Documentación e implementación de buenas prácticas de manufactura para las áreas técnica, de producción y plantas piloto en la unidad de alimentos de la empresa Surtiquímicos Ltda. (Tesis de pregrado). Corporación universitaria Lasallista, Caldas.
[40] Terry, E., Leyva, A., y Díaz, M. (2005). Uso combinado de microorganismos benéficos y productos bioactivos como alternativa para la producción de tomate (Lycopersicon esculentum, Mill). Cultivos Tropicales, 26(3), 77-81.
[41] Vargas, C., y Hernández, L. M. (2010). Validez y confiabilidad del cuestionario “Prácticas de cuidado que realizan consigo mismas las mujeres en el posparto”. Avances en enfermería, 28(1), 96-106.
[42] Zapata, S. (2001). Posibilidades y potencialidad de la agroindustria en el Perú en base a la biodiversidad y los bionegocios. Lima, Perú: Biocomercio Perú.
Revista Industrial Data 24(2): 175-191 (2021)
DOI: https://doi.org/10.15381/idata.v24i2.20348
ISSN: 1560-9146 (Impreso) / ISSN: 1810-9993 (Electrónico)
Received: 31/05/2021
Accepted: 08/09/2021
Published: 31/12/2021
Validity and Reliability of a Good Manufacturing Practices Checklist for the Agro‑Biological Industry
Lucía Huánuco Azabache[4]
Juan Cevallos Ampuero[5]
César Campos Contreras (✝)[6]
ABSTRACT
This research presents the design of a checklist or questionnaire for the application of GMP-SSOP during the production of liquid agro-biologicals. Content validation was determined by the judgment of experts belonging to three subsidiaries of a well-known company in the sector, whereas internal consistency was determined with the Kuder‑Richardson KR20 reliability formula. The instrument was established in 210 dichotomous response items distributed in ten dimensions: General, commercial classification, personnel, facilities and equipment, critical support systems, storage area, production area, quality control, documentation, and cleaning and sanitation. It was possible to obtain the applicability consensus of the seven experts and an average KR20 value equal to 0.80. Additionally, all the dimensions presented scores higher than 0.75, which confirmed the validity and reliability of the instrument.
Keywords: checklist, GMP, agro-biological, KR20.
INTRODUCTION
Questionnaires are fundamental data collection instruments that provide information (Vargas & Hernández, 2010). They can be unidimensional or multidimensional, of dichotomous response (true/false, yes/no), made of simple items, formulated based on literature review, based on the consultation with experts in the field (Martín, 2004), or be of single application in the study (Campo Arias & Oviedo, 2008).
When writing questions or items, it is important to consider the criteria of clarity, coherence, relevance, and sufficiency (Escobar & Cuervo, 2008; Boluarte & Tamari, 2017). According to Martín (2004), there are certain recommendations, such as using short and easy-to-understand questions, avoiding words that induce opinions or belief, writing questions in a positive way, avoiding the use of “why”, avoiding questions that induce a desired answer, and avoiding statements that force to make calculations or memory efforts.
To ensure the success of the results, the questionnaire must be well designed, according to the criteria of validity and reliability (Lacave, Molina, Fernández, & Redondo, 2015). Therefore, it is crucial to measure the questionnaire to check its usefulness (Esposito, Muñoz, Herrera, & Periáñez, 2015) as instrument validation is a process of constant evaluation and modification (Campo-Arias & Oviedo, 2008).
Validity refers to the “grado en que un instrumento de medida mide aquello que realmente pretende medir o sirve para el propósito para el que ha sido construido [degree to which a measuring instrument measures what it actually intends to measure or serves the purpose for which it was built]” (Martín, 2004, p. 28). In this sense, as mentioned by Urrutia, Barrios, Gutiérrez and Mayorga (2014) in Boluarte and Tamari (2017), content validity represents the first level of validity, and it is used to verify whether the questionnaire and the items written are indicators of what is intended to be measured. Thus, during the judgment of experts, the questionnaire is subjected to evaluation by people with academic or work experience in the subject, who can provide information, evidence and judgments (Galicia, Balderrama & Edel, 2017; Robles & Rojas, 2015).
On the other hand, reliability is the degree to which an instrument provides truthful and consistent results under similar measurement conditions with precision and without error. Thus, internal consistency is the level at which the different questions of a scale are related to each other, that is, the degree of agreement between them, which will determine that these can be accumulated and give an overall score (Martín, 2004). There are different methods for measuring internal consistency; the most commonly used are Cronbach's alpha coefficient and the Kuder-Richardson KR20 formula (Ekolu & Quainoo, 2019), which are considered acceptable when their values are between 0.70 and 0.90 (Sánchez & Gómez, 1998) and applicable in instruments that measure attributes or characteristics (Campo-Arias & Oviedo, 2008).
Some examples of questionnaires used to study different situations are: student difficulties during learning (Lacave et al., 2015), health training (Esposito et al, 2015), mental health (Fernández, Molerio, Herrera, & Grau, 2017), Index of Dental Anxiety and Fear in the population of pregnant women questionnaire (Ríos, Palma, Herrera, Farías, Morales, Martínez, Lanyon, & Rojas, 2018), postpartum self-care for women (Vargas & Hernández, 2010), teaching quality (Porras & Gil, 2014) and Good Manufacturing Practices (GMP) (Fadda, Aymerich, Hugas, & Garriga, 2005).
Good Manufacturing Practices, also known as Good Processing Practices or Good Fabrication Practices (Diaz, 2009), are defined as the set of rules that determine the activities carried out during the manufacture of a product that ensure compliance with quality standards according to the use it will have and with the requirements established to commercialize it (D. S. N.° 014, 2011). Their implementation requires a person in charge and a set of operating procedures that must be complied with to reduce contamination risks and ensure the quality of the finished product (Tamayo, 2011).
GMPs are complemented by Sanitation Standard Operating Procedures (SSOPs) (Diaz, 2009) and include cleaning and disinfection activities that must be routinely performed before, during and after each production process (Quiñones, 2016). GMPs consist mainly of a procedure manual and its records that include aspects such as raw materials, facilities, equipment, training, and personnel hygiene (Pérez, 2014). Other basic aspects in the application of biological GMPs are documentation, materials, production control and quality control (Quintana & Apezteguía, 2010). In addition, the manuals must have defined objectives that include relevant programs and procedures, which allow the efficiency of operations and control the presence of microorganisms (Quiñones, 2016).
Diaz (2009) details the following aspects of GMPs:
- Facilities: The location, distribution, construction materials, equipment and services of the processing plant should be considered.
- Control of Operations: Control systems must be applied to raw materials, equipment, and inputs, while complying with established time and temperature parameters.
- Maintenance and Sanitation: Effective activities, procedures and methods for cleaning and disinfection, pest control and waste management must be included.
- Personnel Hygiene: Training and control measures must be implemented for the cleanliness and behavior of personnel, the condition of the sanitary facilities, and the equipment for visitors.
- Transportation: The condition of the means of transport, containers and warehouses for both raw materials and finished products must be checked.
- Training: There must be a training program that includes personnel functions and handling, cleaning and disinfection procedures.
- Documentation: Documentation must be properly prepared, accessible, and easy to understand. It makes possible the demonstration, systematization and reproduction of activities.
The objective of GMPs is to obtain products in optimal sanitary conditions and to reduce failures during production, thus improving quality and guaranteeing a reliable product. The advantages of using this tool are competitiveness in the market, preservation of the reputation of the company, increase of profits, and compliance with current regulations (Puerto & García, 2015). This quality tool is applied in several types of industry, such as food, cosmetics, and pharmaceuticals (Oliva del Cid, 2011). Various researchers affirm that its implementation achieves good microbiological quality and a positive economic effect on companies (Jerke, 2009), allows for the optimization of resources and compliance with national and international standards (Rodríguez, 2018) and facilitates the certification, validation, and training of personnel (Parra, 2015).
For the implementation of Good Manufacturing Practices, the use of an instrument or checklist that allows to know the initial status of the level of compliance with GMP-SSOPs is required, as well as the creation of an improvement plan and the achievement of a higher percentage of compliance (Tamayo, 2011). This instrument facilitates internal and external audits; makes it possible, according to the value obtained, to consider whether GMPs are complied with (value equal to or higher than 70%) or not; and finally, makes it possible tocorrelate GMPs with the microbiological quality of a product (Bastías, Cuadra, Muñoz, & Quevedo, 2013). In Peru, DIGEMID (2017) regulates and provides manuals and checklists to the different industry sectors such as, for example, goods storage, distribution and transportation practices for pharmaceutical products and inspection reports for cosmetics manufacturing facilities.
The design of this instrument targeted the agro-biologicals, bioinoculants or microbial inoculants industry (Aguado, Rascón, & Luna, 2012), which are made up of soil microorganisms that are associated with plants or their environment, constitute an alternative to reduce the use of chemical products in agriculture, and represent an organic strategy towards the integrated management of pests and diseases (Alvarez, Tucta, Quispe, & Meza, 2018). As indicated by the Norma Técnica Colombiana NTC 5842 (2011), they are innocuous products for humans, plants, and animals, which makes them of interest to many exporters (Zapata, 2001).
The products are applied to any crop of agronomic interest and can be formulated industrially (Sanjuán & Moreno, 2010); based on beneficial bacteria such as plant growth promoters-PGPR, rhizobacteria (Terry, Leyva, & Díaz, 2005); nitrogen fixers, such as Azotobacter chroccocum and Azospirillum sp.; phosphate solubilizers, such as Pseudomonas spp; and biological control microorganisms, such as Bacillus subtilis (Manitio, 2014). These are applied together with beneficial fungi, such as those that are able to produce phytohormones, like Penicillum sp. and Aspergillus sp. (Santos, Parra, Herrera, Valenzuela, & Estrada, 2018); arbuscular mycorrhizal fungi (Terry et al., 2005); pest controllers, such as Trichoderma sp. (García, Riera, Zambrano, & Gutiérrez, 2006); and entomopathogens, such as Metarhizium, Beauveria, and Verticillium (Monzón, 2001).
Therefore, this study proposes to expand the application of a checklist in the industry of biological products for agriculture in order to generate a positive impact on the quality of the process and contribute to the delivery of optimal products that meet the needs of customers and their crops. In short, the main objective is to design a valid and reliable instrument to evaluate the implementation level of Good Manufacturing Practices (GMP‑POEs) on an expanding sector, such as the production of agrobiologicals or bio‑inputs.
METHODOLOGY
A checklist or questionnaire was designed based on the Acta de inspección para establecimientos de fabricación de cosméticos (Inspection Act for cosmetics manufacturing establishments) DICER-FOR-014, established by DIGEMID (2017). Likewise, the instrument was organized into a series of questions or items grouped in dimensions according to Quintana and Apezteguía (2010), who studied GMP in biological products.
As in the study conducted by Galicia et al. (2017) and the one by Salazar, Freyle, Tamara and Álvarez (2016), the content validity of the instrument designed in this study was determined through experts judgement, selecting a panel made up of seven experts with knowledge and experience in this area of the industry. The experts belong to three subsidiaries (Mexico, Colombia and Peru) of a well-known company dedicated to the formulation and commercialization of agro-biologicals.
In order to refine the criteria of sufficiency, relevance, wording and response options (Fernández et al., 2017), the experts evaluated the instrument; for this, they were asked to rate with “1” the items that met the criteria, and with “0” those that did not. In addition, the Kuder Richardson KR20 formula was applied to quantify the validity of the instrument (Ríos, Leonardo, Ballena, Peralta, Franzo, Díaz, & León, 2013).
Since the instrument is based on a dichotomous response pattern, the internal consistency value was determined with the Kuder Richardson KR20 reliability using the following equation (Campo-Arias & Oviedo, 2008):
Where:
ɳ = number of items contained in the instrument.
Vt = total variance of the test.
= sum of the individual variance of the
items.
The values obtained were evaluated according to the criteria established by Kline (2013) in Díaz, Tirado and Simancas (2017), where >0.90 is considered excellent; <0.85 0.75>, acceptable; and <0.60, good.
RESULTS
In order to design the instrument, the references found were compared and communication was maintained with the experts, which allowed for modifications and reformulations of the questions. After the last evaluation, the seven experts reached a consensus and considered that no further modifications were necessary. In addition, it was determined that the scoring of the questions would be done with values of “YES” or “NO”; where “YES” indicates that the item was correctly fulfilled during the GMP implementation, and “NO” indicates that the item is still not fulfilled.
The GMP checklist for the agro-biological industry consists of 10 dimensions. The first two are related to the company information (general information and commercial classification), and the following eight dimensions comprise the 210 rating items. The dimensions and their respective number of items are described in Table 1.
Table 1. Structure of the Instrument for Good Manufacturing Practices.
|
Dimensions |
Number of Items/Questions |
|
|
1 |
General |
None |
|
2 |
Commercial classification |
None |
|
3 |
Personnel |
21 |
|
4 |
Facilities and equipment |
22 |
|
5 |
Critical support systems |
12 |
|
6 |
Storage area |
34 |
|
7 |
Production area |
54 |
|
8 |
Quality control |
31 |
|
9 |
Documentation |
14 |
|
10 |
Cleaning and sanitization |
22 |
|
Total |
210 |
|
Source: Prepared by the author.
The first dimension presents the fiscal information of the company and the people responsible for the production process, while the second shows the commercial classification of the company. Neither of these has questions since they do not provide any information for GMP monitoring. The third dimension is subdivided into aspects of training, occupational health, and hygiene and provision of work clothes. The fourth dimension consists of the situation or state of the internal and external areas, sanitary services, dressing rooms, maintenance, and social areas. The fifth dimension includes air and water supply and wastewater treatment systems. The sixth dimension is subdivided into raw materials (which include the microbial active ingredient and inert components), packaging, and finished product. The seventh dimension includes items related to the areas of microbial culture collection, bio-ferments, and formulation, with their respective maintenance, cleaning and control considerations. The eighth dimension includes items related to quality control throughout the manufacturing process, in addition to complaints and claims procedures. The ninth dimension presents information on GMP documentation management, in addition to label and packaging, raw material and finished product management. Finally, the tenth dimension includes items related to sanitation standard operating procedures (SSOPs). The complete document can be viewed at the following free-access link: https://drive.google.com/file/d/1LsVqRLDOznPXMG1NciHUiy5yHL7YXK77/view?usp=sharing
Table 2 shows the validation based on the evaluation of seven judges or experts. All their observations and suggestions were considered to finally obtain the applicability consensus. The overall validity of the whole instrument was calculated and a KR20 value of 0.80 was obtained. The partial validation values are 0.87, 0.72, 0.78, 0.88, 0.85, 0.75, 0.76, and 0.80 in each of the dimensions personnel, facilities and equipment, critical support systems, storage area, production area, quality control, documentation, and cleaning and sanitation, respectively. It was observed that the overall rating and most of the dimensions exceeded the value KR20 = 0.75, so they are in the acceptance range.
Table 2. Content Validity of the Instrument.
|
Validating Judge |
Position |
Applicability |
|
E. Cázares (IG Mexico) |
Coordinator process and continuous improvement |
Applicable |
|
V. Aldaz (IG Mexico) |
Microbiology Supervisor |
Applicable |
|
F. Hernández (IG Mexico) |
Coordinator of microbial products |
Applicable |
|
E. Baquero (IG Colombia) |
Coordinator of biological products |
Applicable |
|
D. Ortiz (IG Colombia) |
Quality and Research Manager |
Applicable |
|
G. Rodríguez (IG Colombia) |
Biological production manager |
Applicable |
|
M. García (IG Peru) |
Head of research |
Applicable |
Source: Prepared by the author.
Internal consistency was calculated using the Kuder-Richardson formula (KR20) and gave an average value of 0.81 for all the dimensions of the instrument, while the partial values of consistency in each of the dimensions are shown in Table 3. All the dimensions presented scores greater than 0.75 and were therefore considered acceptable.
Table 3. Internal Consistency Obtained in Each Dimension of the Instrument.
|
Dimension |
KR20 |
|
|
1 |
General |
N/A |
|
2 |
Commercial classification |
N/A |
|
3 |
Personnel |
0.76 |
|
4 |
Facilities and equipment |
0.77 |
|
5 |
Critical Support Systems |
0.79 |
|
6 |
Storage area |
0.86 |
|
7 |
Production area |
0.79 |
|
8 |
Quality control |
0.86 |
|
9 |
Documentation |
0.88 |
|
10 |
Cleaning and Sanitation |
0.75 |
Note: The dimensions “General” and “Commercial classification” are not evaluated with the KR20 formula because they are related to the written description of the company.
Source: Prepared by the author.
The highest coefficient was obtained in the dimension “Documentation” (KR20 = 0.88), while the lowest value, but still representative and acceptable, was obtained in the dimension “cleanliness and sanitation” (KR20 = 0.75).
DISCUSSION
In order to define the structure of the checklist, it was necessary to conduct a detailed information search, select the format best suited to the process under study and then contrast it with the suggestions of the experts. This sequence of activities made it possible to determine the dimensions and total number of questions, which is suggested by Robles and Rojas (2015) to carry out the validation of the design and define the objectivity of the instrument.
Initially, the checklist consisted of 15 dimensions and 250 questions; however, it was reduced and adjusted to the activities in which it was desired to monitor GMPs until it was established in 210 questions distributed in 10 dimensions. As recommended by Ríos et al. (2018), the instrument was shown to the experts for final approval.
The checklist had an average of 26 items or questions in each dimension, of which, the dimension “Production area” had the highest quantity (54) and the dimension “Critical support systems” had the lowest (12). This agrees with Martin (2004) as although there is no ideal number of items to evaluate a process, the minimum would be 6 items, the average, 10 and the maximum, 90 items.
Once the structure had been established, the questionnaire was submitted to the experts for evaluation and, although the optimal number of judges is not established, some research has included the participation of seven (Fernández et al., 2017), ten (Boluarte & Tamari, 2017) or twelve experts (Ríos et al., 2013). In this research, not only seven knowledgeable people contributed, but also their perspectives from three subsidiaries of the same company, which enriched the validity of the instrument.
Content validity was guaranteed by applying the Kuder-Richardson KR20 formula, which resulted in a value of 0.80, very similar to that presented by Vargas and Hernández (2010), who obtained a general content validity index equal to 0.88 with the analysis of ten experts.
Like Salazar et al. (2016), the evaluation of the internal consistency of the checklist with dichotomous scale was performed with the application of the Kuder-Richardson formula. The average value of the instrument in general was equal to 0.81, which is acceptable for Kline (2013, as cited in Díaz et al., 2017) and agrees with the suggestions of Nunnally and Bernstein (1995) cited in Vargas and Hernández (2010), who consider that values between 0.59 and 0.68 are acceptable during initial validation studies. On the other hand, Roberts, Priest and Traynor (2006) suggest that the reliability is adequate if the coefficient reaches values between 0.80 and 0.90.
The minimum value obtained in one of the dimensions (0.75) and the highest (0.88) were not only considered within the acceptable range, but were also considered adequate, due to the fact that internal consistency values below 0.70 indicate a poor relationship between items (Campo-Arias & Oviedo, 2008) and excessive values or above 0.90 indicate redundancy or duplication (Esposito et al., 2015).
Finally, as explained by Lacave et al. (2015), the validity and reliability analysis of an instrument is an iterative process among the interested parties, which should be in constant evaluation during the establishment of the design.
CONCLUSIONS AND RECOMMENDATIONS
The proposal of this study is based on the importance of having a valid and reliable instrument or checklist that can be applied during the implementation and monitoring of Good Manufacturing Practices in the different companies involved in the production of agro‑biological products.
Thanks to the contribution of seven experts, the GMP checklist designed presented an acceptable content validity, which reaffirmed its intended purpose due to the coherence and ease of understanding of its 210 items distributed in 10 dimensions.
The values obtained in the internal consistency of each dimension of the checklist confirmed the reliability of this instrument and the accuracy of its application.
ACKNOWLEDGMENT
To the company INNOVAK GLOBAL, especially to its subsidiary Desarrollo Técnico Vegetal S.A.C., for providing all the necessary resources. To its personnel in Mexico, Colombia and Peru for providing their experience and knowledge in the validation of this instrument.
REFERENCES
[1] Aguado, G., Rascón, Q., & Luna, A. (2012). Impacto económico y ambiental del empleo de fertilizantes químicos. En G. Aguado (Eds.), Introducción al uso y manejo de los biofertilizantes en la agricultura (págs. 1-22). Guanajuato, México: INIFAP/SAGARPA.
[2] Alvarez, M., Tucta, F., Quispe, E., & Meza, V. (2018). Incidencia de la inoculación de microorganismos benéficos en el cultivo de fresas (Fragaria sp.). Scientia Agropecuaria, 9(1), 33-42.
[3] Bastías, M., Cuadra, M., Muñoz, O., & Quevedo, R. (2013). Correlación entre las buenas prácticas de manufactura y el cumplimiento de los criterios microbiológicos en la fabricación de helados en Chile. Revista chilena de nutrición, 40(2), 161-168.
[4] Boluarte, A., & Tamari, K. (2017). Validez de contenido y confiabilidad inter-observadores de Escala Integral Calidad de Vida. Revista de Psicología, 35(2), 641-666.
[5] Campo-Arias, A., & Oviedo, H. C. (2008). Propiedades Psicométricas de una Escala: la Consistencia Interna. Revista de Salud Pública, 10(5), 831-839.
[6] Decreto Supremo N.° 014. Aprueban reglamento de establecimientos farmacéuticos (2011). Retrieved from http://www.digemid.minsa.gob.pe/upload/uploaded/pdf/ds014-2011-minsa.pdf
[7] Díaz, A. (2009). Buenas prácticas de manufactura: una guía para pequeños y medianos agroempresarios. San Jose, Costa Rica: Instituto Interamericano de Cooperación para la agricultura – IICA.
[8] Díaz, S., Tirado, L. & Simancas, M. (2017). Validez de constructo y confiabilidad de la APGAR familiar en pacientes odontológicos adultos de Cartagena, Colombia. Revista de la Universidad Industrial de Santander Salud, 49(4), 541-548. Retrieved from http://dx.doi.org/10.18273/revsal.v49n4-2017003
[9] DIGEMID. (2017). Acta de inspección para establecimientos de fabricación de cosméticos. Retrieved from http://www.digemid.minsa.gob.pe/UpLoad/UpLoaded/PDF/Establecimientos/Manual/Manuales-Guias/Guia_BPM_Cosmeticos.pdf
[10] Escobar, J., & Cuervo, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6(1), 27-36.
[11] Ekolu, S., & Quainoo, H. (2019). Reliability of assessments in engineering education using Cronbach’s alpha, KR and split-half methods. Global Journal of Engineering Education, 21(1), 24-29.
[12] Esposito, T., Muñoz, F., Herrera, M., & Periáñez, M. (2015). Fiabilidad y validez para un cuestionario de satisfacción con la formación continuada en salud: el cuestionario de satisfacción del discente. FEM, 18(3), 197-203.
[13] Fadda, S., Aymerich, T., Hugas, M., & Garriga, M. (2005). Use of a GMP/GHP HACCP checklist to evaluate the hygienic status of traditional dry sausage workshops. Food Protection Trends, (25), 7, 522-530. Retrieved from http://hdl.handle.net/11336/57121
[14] Fernández, E., Molerio, O., Herrera, L. F., & Grau, R. (2017). Validez y confiabilidad del cuestionario para evaluar factores protectores de la salud mental en estudiantes universitarios. Actualidades en Psicología, 31(122), 103-117.
[15] Galicia, L., Balderrama, J., & Edel, R. (2017). Validez de contenido por juicio de expertos: propuesta de una herramienta virtual. Apertura, 9(2), 42-53.
[16] García, R., Riera, R., Zambrano, C., & Gutiérrez, L. (2006). Desarrollo de un fungicida biológico a base de una cepa del hongo Trichoderma harzianum proveniente de la región andina venezolana. Fitosanidad, 10(2), 115-121.
[17] Jerke, G. (2009). Impacto de buenas prácticas productivas en la calidad microbiológica de té negro. (Doctoral thesis). Universidad Central de las Villas Marta Abreu, La Habana.
[18] Lacave, C., Molina, A. I., Fernández, M., & Redondo, M. A. (8-10 de julio de 2015). Análisis de la fiabilidad y validez de un cuestionario docente. Actas de las XXI Jornadas de la Enseñanza Universitaria de la Informática, Andorra La Vella, Andorra.
[19] Manitio, E. (2014). Investigación de mercados de productos biológicos ecuatorianos. (Undergraduate thesis). Universidad San Francisco, Quito.
[20] Martín, M. C. (2004). Diseño y validación de cuestionarios. Matronas Profesión, 5(17), 23-29.
[21] Monzón, A. (2001). Avances en el fomento de productos fitosanitarios no-sintéticos. Manejo integrado de plagas, (63), 63-95.
[22] Norma Técnica Colombiana. (2011). Bioinsumos para uso agrícola. Inoculantes Biológicos (NTC 5842). Bogotá, Colombia: ICONTEC.
[23] Oliva del Cid, M. (2011). Elaboración de una guía de buenas prácticas de manufactura para el restaurante central del IRTRA PETAPA. (Master thesis). Universidad de San Carlos, Guatemala.
[24] Parra, F. (2015). Instalación de equipos aplicando las Buenas prácticas en manufactura en una industria farmacéutica. (Undergraduate thesis). Universidad Nacional Mayor de San Marcos, Lima.
[25] Pérez, N. (2014). Diseño y desarrollo del plan de Buenas Prácticas de Manufactura (BPM) para la planta de producción de alimentos balanceados de agrotécnica en la ciudad de Riobamba. (Undergraduate thesis). Escuela Superior Politécnica de Chimborazo, Riobamba.
[26] Porras, B., & Gil, P. (2014). Análisis de validez y fiabilidad del modelo de encuesta a los estudiantes para la evaluación de la calidad de la docencia. Retrieved from http://red-u.org/wp-content/uploads/2014/02/Validezyfiabilidad.pdf
[27] Puerto, E., & García, D. (2015). Implementación de un sistema de gestión documental basado en las Buenas Prácticas de Manufactura a la empresa Nutry Dairy (Tunja). (Undergraduate thesis). Universidad Pedagógica y Tecnológica de Colombia, Duitama.
[28] Quintana, M., & Apezteguía, I. (2010). Las Buenas Prácticas en la Producción de Biológicos y los Sistemas de Gestión de la Calidad. Revista Cubana de Farmacia, 44(4), 547-557.
[29] Quiñones, M. (2016). Evaluación del proceso de implementación de las BPM a través del análisis microbiológico de los alimentos que elaboran en la cafetería de la UCM. (Undergraduate thesis). Universidad Católica de Manizales, Manizales.
[30] Ríos, A., Leonardo, W., Ballena, J., Peralta, J., Fanzo, P, Díaz, C. & León, F. (2013). Validación de un instrumento para medir el nivel de conocimiento sobre depresión mayor en médicos de atención primaria en Chiclayo, Perú. Revista Médica Herediana, 24, 26-32.
[31] Ríos, M., Palma, L., Herrera, A., Farías, C., Morales, N., Martínez, C., Lanyon, E., & Rojas, G. (2018). Validez y confiabilidad del cuestionario de ansiedad y miedo dental IDAF- 4C+ en embarazadas chilenas. Avances en Odontoestomatología, 34(5), 227-236.
[32] Roberts, P., Priest, H., & Traynor, M. (2006). Reliability and Validity in Research. Nurs Stand, 20(44),41-45.
[33] Robles, P., & Rojas, M. C. (2015). La validación por juicio de expertos: dos investigaciones cualitativas en Lingüística aplicada. Revista Nebrija de Lingüística Aplicada a la Enseñanza de las Lenguas, (18).
[34] Rodríguez, S. (2018). Propuesta integral del sistema de gestión para las buenas prácticas de manufactura del sector cosmético colombiano. Signos, 10(1), 57-75.
[35] Salazar, A., Freyle, N., Tamara, G., & Álvarez, L. (2016). Percepción sobre riesgo al cambio climático como una amenaza para la salud humana, Taganga, Santa Marta, 2014. Luna Azul, (43), 102-127. Retrieved from http://doi.org/10.17151/luaz.2016.43.6
[36] Sánchez, R., & Gómez, C. (1998). Conceptos básicos sobre validación de escalas. Revista Colombiana de Psiquiatría, 27, 121-130.
[37] Sanjuán, J., & Moreno, N. (2010). Aplicación de insumos biológicos: Una oportunidad para la agricultura sostenible y amigable con el medioambiente. Revista Colombiana de Biotecnología, 12(1), 4-7.
[38] Santos, S., Parra, F., Herrera, A., Valenzuela, B., & Estrada, J. (2018). Colección de microorganismos edáficos y endófitos nativos para contribuir a la seguridad alimentaria nacional. Revista Mexicana de Ciencias Agrícolas, 9(1), 191-202.
[39] Tamayo, M. (2011). Documentación e implementación de buenas prácticas de manufactura para las áreas técnica, de producción y plantas piloto en la unidad de alimentos de la empresa Surtiquímicos Ltda. (Undergraduate thesis). Corporación universitaria Lasallista, Caldas.
[40] Terry, E., Leyva, A., & Díaz, M. (2005). Uso combinado de microorganismos benéficos y productos bioactivos como alternativa para la producción de tomate (Lycopersicon esculentum, Mill). Cultivos Tropicales, 26(3), 77-81.
[41] Vargas, C., & Hernández, L. M. (2010). Validez y confiabilidad del cuestionario “Prácticas de cuidado que realizan consigo mismas las mujeres en el posparto”. Avances en enfermería, 28(1), 96-106.
[42] Zapata, S. (2001). Posibilidades y potencialidad de la agroindustria en el Perú en base a la biodiversidad y los bionegocios. Lima, Perú: Biocomercio Perú.