¿muestrear aleatoriamente o no muestrear? esa es la cuestión (en el diseño de investigaciones basadas en cuestionarios online)

esta semana ando liado a cuenta de un proyecto bastante interesante. ciertamente no es de una semana, pero ésta ha cristalizado en una reunión donde finalmente hemos recibido el encargo de desarrollar un cuestionario adhoc para explorar una población bien determinada. el tema, interesante en sí mismo (la percepción de las condiciones laborales y profesionales, así como la construcción social de la imagen del profesorado en educación no universitaria en catalunya) resulta irrelevante para el encargo. tenía ganas de sacar la cabeza de los estudios sobre internet, que si bien ocupan todo el día con mucho gusto, a veces resultan “poco interesantes” para el público profano. hay quien se cuestiona si estos temas no son un poquito “pijos” como para exigir una dedicación exclusiva y preferente en nuestro instituto de investigación

el caso es que estos días, a cuenta de este encargo, hemos tenido que reflexionar sobre un caso práctico interesante. uno que desde el punto de vista metodológico y del diseño de investigación nos plantea dos caminos a priori igualmente válidos. por lo menos, dos aproximaciones para intentar resolver un problema. lástima que resulte a veces tan complejo decidir, pero así es como funciona esto. hagamos el mejor estudio, que nos jugamos comprometer el interés práctico de los datos!

la opción #1, la clásica, nos lleva a plantear el estudio en términos bien conocidos y documentados. muestreemos aleatoriamente nuestra población de estudio (algo que sin duda es mucho más complejo en la práctica que un simple cálculo estadístico :-)), preparemos un cuestionario, pongamos en marcha el proceso de generación de datos y obtengamos respuestas. por el camino, y dado que los muestreos de este tipo no garantizan la participación de todos los seleccionados a priori (para bien o para mal, la gente tiene la extraña costumbre de no querer dar su tiempo y esfuerzo a intereses ajenos :-D), seguramente habremos de establecer un sistema de reposiciones de muestras que, bajo una selección aleatoria de posibles sustitutos, nos permita hacer un reemplazo de sujetos para completar la muestra efectiva.

el problema, y es por esto que entrará en juego la opción #2 en un instante, es que el contexto de extracción de datos que nos planteamos exige suponer que las tasas de respuesta no se aproximarán a los valores clásicos de las encuestas. se me olvidaba mencionarlo :-P estamos ante un cuestionario autoadministrado a través de internet. ciertamente es una opción muy sugerente, tanto por las innovación metodológica que requiere como por el ahorro de costes que una administración así supone. cuando no puedes disponer de una puerta grande, quizá es mejor usar la pequeña antes que dejar de entrar

la cuestión, en definitiva, es que este tipo de administración complica la obtención de tasas de respuesta “convencionales”. no hay entrevistador, es difícil establecer un fuerte compromiso con la persona que desinteresadamente nos presta su tiempo para conocer un poco más los fenómenos de análisis, no podemos animarla a responder cuando tenga dudas, y desconocemos siquiera si tiene los conocimientos mínimos para recibir, leer, interactuar y enviar un cuestionario online. por todas estas cuestiones, y a pesar de nuestros esfuerzos como metodológos, resulta complicado incentivar la cooperación de nuestros participantes. desgraciadamente, la estrategia convencional de reemplazo de sujetos en el muestreo aleatorio, en este caso puede llegar a comprometer los resultados.

si desconocemos quién responde, y las razones pueden ser las mentadas anteriormente así como cualquier otra que correlacione con un tipo determinado de respuesta, sucesivos reemplazos (hablamos de tasas iniciales de respuesta que pueden no alcanzar el 10% de la muestra deseada) podrían acabar por sesgar una muestra que, en su descripción, debiera parecer aleatoria (si se quiere estratificada si jugamos con cupos según características conocidas de la población) pero quizá no lo sea tanto. sí, quizá, porque tampoco tenemos la certeza de que así sea, pero desgraciadamente en ciencia no podemos aceptar con tanta rapidez un quizá. el compromiso con la representatividad real de nuestras conclusiones sobre la población de estudio exige que nos planteemos si realmente ése es el mejor camino, por los resultados que pueden producir una aplicación ortodoxa de los planteamientos clásicos del diseño de investigación presencial.

sin embargo, si reflexionamos un instante sobre este contexto, podríamos interrogarnos por una opción #2. si disponemos de un acceso completo a la población (de hecho, al disponer de sus emails de contacto para hacerles llegar el cuestionario podemos considerarla con límites definidos, conocidos y abarcables), ¿por qué decantarnos por una muestra? ciertamente es porque buscamos resultados representativos, pero si el muestreo aleatorio en estas condiciones nos puede conducir a un reemplazo sistemático que ponga en duda la representatividad práctica de los resultados ¿por qué no considerar directamente el acceso a toda la población para después construir una muestra ponderada según las mismas condiciones del muestreo estratificado? si rebuscamos en los cimientos de las técnicas de muestreo, éstas nos acompañan junto a la inferencia estadística dada la imposibilidad (real o práctica) de acceso a toda la población. pero, si éste no es el caso, ¿por qué no dar baza a una convocatoria poblacional y después corregir las sobrerrepresentaciones que pudieran darse en cada uno de los estratos?

es decir: ¿queremos una muestra estratificada aleatoria que parezca, quizá con más garantías de las que les he dado en este injusto retrato, representativa para hablar de la población, o por el contrario preferimos acercarnos hacia la maximización de la tasa de respuesta en la población total corrigiendo a posteriori a través de ponderaciones equivalentes a la estratificación a priori? estos días ando casi convencido de que esta segunda es la opción más recomendable desde un punto de vista estrictamente técnico. aunque en el fondo toda esta disquisición asume (hasta que no se demuestre lo contrario) que las tasas de respuesta serán relativamente bajas. ya veremos como se comportan nuestros profes finalmente, elijamos la opción que elijamos se aceptan sugerencias aunque sospecho que por tradición correremos los riesgos que la corrección política de una muestra aleatoria puedan comportar en los grandes circuitos de la ciencia social.

Tagged as: cifras y letras, educación, estilo de vida, investigación, metodología, producción propia, sociedad red