Encuesta para la evaluación de revistas de ciencias sociales y humanidades - CONICET, Argentina
Mario Albornoz , Rodolfo Barrere , Lautaro Matas
Resumen
La evaluación de la investigación científica y tecnológica
en las ciencias sociales y humanidades requería una herramienta apta
para recoger las características propias del área, teniendo
en cuenta las pautas idiosincrásicas que guían la publicación
de trabajos en estas disciplinas en los países latinoamericanos y
la ausencia de bases de datos internacionales con una cobertura adecuada
de estas publicaciones y que cuenten con el necesario consenso por parte
de los investigadores.
En este marco, el Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET) de Argentina se planteó la necesidad de disponer de algunas pautas útiles para discriminar entre los medios elegidos para publicar sus trabajos por parte de sus investigadores y se optó por consultar al propio colectivo de ciencias sociales y humanidades acerca de la valoración y estima que los investigadores manifiestan por un listado abierto de revistas, tanto nacionales como extranjeras. Esta tarea fue encargada al Centro de Estudios sobre Ciencia, Desarrollo y Educación Superior - REDES, en un plan de trabajo llevado a cabo entre 2002 y 2004.
La metodología aplicada constó de dos etapas:
a) La construcción de un universo preliminar de publicaciones mediante una encuesta restringida a un grupo reducido de investigadores.
b) La realización de una encuesta on line abierta al conjunto total de los investigadores del área de ciencias sociales y humanidades.
En la primera etapa se consultó, mediante un formulario enviado por correo electrónico, a 100 investigadores acerca de las revistas que consideraban de mayor relevancia como medio de publicación en su área, asignándoles a cada una un puntaje de 1 a 4, teniendo en cuenta la calidad de los artículos y del consejo editorial, así como la existencia de referato en la evaluación de las presentaciones y el alcance de la publicación.
La base de datos resultante de esa primera consulta sirvió como insumo para la encuesta realizada en 2004. Las revistas mencionadas en la primera consulta integraron el corpus inicial de la nueva encuesta, ofreciéndose esas publicaciones a los investigadores participantes para aportar su opinión.
La segunda etapa se realizó entre abril y junio de 2004, en forma de encuesta on line. Estuvo abierta a todos los miembros de la carrera de investigador de la Gran Área de Ciencias Sociales y Humanidades del CONICET. Tuvo carácter voluntario y la mitad de los investigadores habilitados para ello participaron efectivamente.
Asimismo, además de conocer las particularidades del ámbito de publicación de la Gran Área, el enfoque de esta nueva consulta apuntó a obtener un detallado panorama por disciplina científica, dadas las particularidades que cada campo posee.
Al ser la carga de información on line, fue posible validar los datos en tiempo real, como la carga de nuevas publicaciones con su ISSN y la acumulación de calificaciones sobre una revista de acuerdo a la disciplina a la que pertenecían los participantes. Asimismo, el trabajo on line y la identificación de los participantes permitió manejar de manera dinámica los subconjuntos de investigadores en base a su disciplina de pertenencia, ofreciendo a cada uno de ellos las publicaciones propias de su campo, lo que facilitaba el proceso de calificación, pero manteniendo a la vez la información integrada en una única base de datos que permitió registrar las relaciones entre los universos editoriales de cada una de las comisiones.
Otro factor importante que permitió esta modalidad de consulta fue la constante modificación del corpus de la encuesta a medida que se ingresaban nuevas revistas. Cuando un investigador cargaba una nueva publicación en la base de datos, esta aparecía instantáneamente en los listados de todos los miembros de su área disciplinar dentro de la oferta de revistas para calificar. De esta manera, el corpus de revistas disponibles creció a medida que avanzaba la consulta, enriqueciendo la información disponible y ofreciendo más publicaciones a aquellos que ingresaban posteriormente o por segunda vez.
Una vez finalizada la consulta, se delimitaron tres grupos de revistas en función de la cantidad de menciones recibidas. Esto se debió a que las características de las revistas más populares entre los investigadores resultan muy distintas a las de aquellas publicaciones que solo han sido mencionadas por pocos investigadores, motivo por el cual la comparación entre ellas resulta problemática.
Los grupos en los que se dividieron las revistas fueron las siguientes:
==> Destacadas: Revistas mencionadas 10 o más veces
==> Intermedias: Revistas mencionadas más de 3 veces
==> Emergentes: Revistas mencionadas menos de 3 veces
También se verifico, a partir del ISSN de cada revista, su presencia
en bases bibliográficas internacionales y se incluyó esa información
en la base de datos.
Con el objetivo de permitir un acceso rápido, flexible y dinámico
a la información obtenida de la encuesta, se creó un Buscador
On line que permite realizar búsquedas y filtros. Esta herramienta
está disponible en www.centroredes.org.ar/buscador
Además se realizó un análisis estadístico de los resultados de la consulta, que brindo un rico panorama del campo de las publicaciones valoradas por los investigadores argentinos. Para cada uno de los grupos de revistas delimitados se analizaron datos como la distribución de publicaciones por disciplina, el país de publicación de las revistas y la indexación de las publicaciones en bases de datos internacionales.
Por otra parte, siendo que este trabajo permitió observar las publicaciones que resultan de interés a las distintas disciplinas, así como aquellas revistas que son señaladas por más de un área, fue posible componer un mapa que da una idea de la proximidad de las distintas disciplinas a partir del interés compartido por las publicaciones mencionadas por los investigadores participantes.
Entre los fenómenos que pudieron observarse está el que a medida que aumenta la popularidad de las publicaciones es mucho mayor la presencia de revistas nacionales. Mientras que en el total de la muestra estas publicaciones solo representan poco más del 20%, entre las diez revistas más mencionadas 7 son de origen local.
De esta manera, puede observarse un conjunto local de revistas de referencia muy popular, mientras que en las extranjeras, debido a distintas barreras como pueden ser las dificultades de acceso, el costo o el idioma, las menciones se dispersan fuertemente, aunque la calidad, reflejada en el promedio, se mantiene siempre alta.
Otro dato remarcable es que, dentro del grupo con más de 10 menciones, el 58% están presentes en LatIndex, un proyecto de carácter regional, mientras que solo el 18% aparecen en el Social Science Citation Index (la base del ISI en la que se encontró una mayor cantidad de publicaciones de esta encuesta), avivando la polémica sobre la representatividad de los índices bibliográficos internacionales con respecto a la producción científica de los países latinoamericanos.
Palabras clave: Evaluación; Ciencias sociales; Publicaciones
científicas.