Categories
Análisis de contenido Reconocimiento de datos Teorización Uncategorized

Pensar los datos cuantificados: #ScholarStrike en el contexto de la COVID-19

Si bien la pandemia de COVID-19 impuso por primera vez en años un contexto global compartido, este pronto comenzó a convivir con la coyuntura local de cada país. Twitter, como es esperable, no fue ajeno a ello, y pronto comenzaron a surgir hashtags específicos que deban cuenta de ese proceso de localización de la pandemia (por ejemplo, en Argentina, #coronacrisis, en referencia al derrumbe financiero a consecuencia de una larga cuarentena y una débil economía heredada del periodo anterior). No obstante, otros hashtags menos representativos de la situación sanitaria pronto comenzaron a resignificarse, e incluso a surgir, dentro de este contexto. Para los Estados Unidos, este fue el caso de #BlackLivesMatter y #ScholarStrike.

En este post buscamos investigar en las particularidades de este último, siguiendo la línea de reflexiones que propusimos en nuestro post anterior (What can academic journals tell us about COVID-19 and Education?), es decir, utilizar plataformas de análisis cuantitativo (en el post anterior usamos AVOBMAT ) desarrolladas por terceros para realizar un ejercicio de minería de datos, a la vez que evaluamos las funcionalidades y limitaciones de la herramienta.

El caso de #ScholarStrike nos pareció ideal para trabajar con una herramienta “a medida”, ya que es un hashtag que tuvo fuerte presencia durante un tiempo acotado (previo a la iniciativa, durante la misma y algunos días posteriores). 

Para quienes no están al tanto de las noticias del Norte, Scholar Strike fue un movimiento comunitario en las universidades que buscó reconocer el creciente número de muertes de Afroamericanos y otras minorías por el uso excesivo de la violencia y la fuerza por parte de la policía. Durante dos días, del 8 al 9 de septiembre, profesores, personal universitario, estudiantes e incluso administrativos se apartaron de sus deberes y clases regulares para participar en clases (en algunos casos, abiertas) sobre la injusticia racial, la vigilancia policial y el racismo en Estados Unidos. Las universidades de Canadá realizaron su propia Scholar Strike del 9 al 10 de septiembre. En el sitio oficial del movimiento, se puede leer más sobre los fundamentos de Scholar Strike, asi como en su canal de YouTube, donde diferentes académicos colocaron clases abiertas y recursos. El sitio oficial también contiene una lista de recursos textuales y audiovisuales que pueden ser utilizados en las clases así como información sobre la cobertura de Scholar Strike en los medios. Scholar Strike Canada también creó un sitio web oficial, que incluye los detalles del programa de actividades, recursos y links a organizaciones que apoyaron la iniciativa. 

Nuestro objetivo fue hacer minería sobre este hashtag en Twitter, buscando asimismo coincidencias terminológicas con otros directamente relacionados, como #BlackLivesMatter, y con algunos más ligados a la crisis del coronavirus.

Para ello, echamos mano de dos plataformas comerciales de minería de Twitter: Brand24 y Audiense. Evidentemente, estas herramientas no son académicas, pero, como veremos mas adelante, se adaptan perfectamente al tipo de trabajo que queremos hacer con relación al análisis de datos cuantificados.

El sitio oficial de Brand24 describe a la plataforma como una “herramienta de monitoreo de redes sociales y páginas web con potentes posibilidades de análisis.”  (Brand24 is a web and social media monitoring tool with powerful analytics). La herramienta busca las palabras clave  que el usuario proporciona y las analiza en varios niveles. La herramienta está principalmente orientada para análisis de marcas y el uso de esos datos en marketing digital. Por otra parte, Audiense, según describe su página oficial, “proporciona información detallada sobre cualquier audiencia para impulsar estrategia de marketing social con datos procesables y enriquecidos en tiempo real con el fin de ofrecer resultados comerciales genuinos” . Cabe destacar, como puede verse por las descripciones oficiales de las herramientas, que ambas han sido desarrolladas para ser utilizadas en proyectos empresariales, aunque se adaptan, claro está, a cualquier tipo de búsqueda en redes sociales.

La labor con estas plataformas es radicalmente opuesta a la que venimos realizando en este proyecto. Si en la interacción con nuestra base de datos, establecemos un proceso de filtro y curaduría de los datos, para luego proceder al análisis a través de distintas herramientas y métodos (frecuencia de términos, topic modeling), aquí son pocos los filtros que podemos dar a la plataforma (elegir las redes, establecer variables de días) y es la plataforma la que arroja diariamente una serie de resultados que son asimismo interpretados en un análisis automático en la forma de porcentajes y visualizaciones e infografías.

Como decíamos, usamos las plataformas Brand24 y Audiense en su versión trial de 7 días. A grandes rasgos, comparativamente, Brand24 es una plataforma bastante superadora a Audiense. Al introducir las mismas búsquedas, lo primero que notamos fue que Audiense presenta un sesgo altísimo frente a la información. Todos los tweets que levantamos con el hashtag #ScholarStrike eran negativos. Todos provenían de seguidores de Trump o del presidente mismo.

Figura 1. Informe de Audiense sobre #ScholarStrike.

Brand24, por el contrario, arrojó los datos de una forma más neutral. Como decíamos, a la búsqueda, que automáticamente al finalizar envía un email al administrador del proyecto, le sigue la posibilidad de descarga de un informe. No se puede trabajar sobre los datos. Se cree en los datos y las infografías o se los descarta.

Veamos, a continuación, qué narrativa nos ofrece esta última plataforma para la búsqueda #ScholarStrike.

La primera búsqueda del hashtag la hicimos el día 13 y Brand24 realizó la búsqueda retrospectiva en los últimos 30 días (14 Aug 2020 – 13 Sep 2020). A las 24 horas, nos permitió la descarga de un informe y  una infografía. En el primero, podemos ver que, en términos generales, el sentimiento acerca de la huelga fue positivo (44 positivos contra 21 negativos):

Figura 2. Resumen de las menciones de #ScholarStrike en redes sociales en Brand24.

Evidentemente, al ser solo una huelga de días, las menciones solo se producen en ese periodo, pero es notable cómo crecen al tercer día de comenzada la misma:

Figura 3. Gráfico de volumen de menciones de #ScholarStrike en redes sociales a lo largo del mes de septiembre.

Luego, la plataforma nos arroja una visualización de los términos más destacados de todas las redes sociales.

Figura 4. Conjunto de términos más nombrados en redes sociales dentro del contexto de discusión de #ScholarStrike.

Con justa razón, professor, teaching, son términos clave, ya que la huelga se dio en ese ámbito, pero, como decíamos en un principio, el entrelazamiento con el movimiento Black Lives Matter es visible el términos como racial, issues, september, police, injustice, black.

Es interesante, aunque esperable, dado su uso político, que de las dos redes sociales más populares, Facebook y Twitter, es la segunda la que se destaca. Otro término destacado es Butler. Lo interesante aqui es que, fuera de contexto, Butler podria asociarse a la filósofa y teórica Judith Butler, quien ha tenido una intervención activa en el movimiento BLM,  a través de publicaciones en periódicos, y en redes sociales, y ha sido muy citada a partir de su tesis de la performatividad del género, tal y como lo muestran estas publicaciones: https://opinionator.blogs.nytimes.com/2015/01/12/whats-wrong-with-all-lives-matter/ o

https://iai.tv/articles/speaking-the-change-we-seek-judith-butler-performative-self-auid-1580. Sin embargo, este término hace referencia a Aethna Butler, profesora en estudios religiosos y estudios africanos y afro-americanos de la Universidad de Pensilvania, quien fue una de las organizadoras del Scholar Strike: https://www.insightintodiversity.com/professors-lead-a-nationwide-scholar-strike-for-racial-justice/ 

A continuación, la plataforma nos muestra los usuarios más activos y los más recientes en cuanto a su actividad en Twitter:

Figura 5. Menciones más populares y más recientes en Twitter con sus usuarios.

Resulta difícil saber si la herramienta está midiendo a los más populares por cantidad de Tweets o por retweets. Por lo que se ve en las imágenes siguientes, parece que la medición se hace a partir de las menciones y estas son las que miden el grado de influencia de un usuario en Twitter (figs 6 y 7).

No obstante, lo que más nos llama la atención es el usuario ISASaxonists, un grupo de medievalistas especialistas en lit medieval anglosajona (fig 5).

Figura 6. Perfiles públicos más activos en Twitter relacionados con #ScholarStrike.

Figura 7. Perfiles públicos más influyentes en Twitter.

En último lugar la plataforma muestra los hashtags más usados (y relacionados entre sí):

Figura 8. Hashtags más mencionados en Twitter, a partir de la búsqueda #ScholarStrike.

#ScholarStrike, #BlackLivesMatter, #covid son hashtags esperables. Una vez más, lo interesante aquí es el hashtag medievaltwitter, en 13 lugar, que, aunque la plataforma no lo explicita, debe estar relacionado, por ejemplo, con usuario ISASaxonists. De ser el caso, sería interesante pensar si tanto el hashtag medievaltwitter como los tweets del usuario ISASaxonists están relacionados con las acusaciones que ocurrieron en 2019 a la Sociedad Internacional Anglo-Sajona por su inhabilidad de dar cuenta de problemas de racismo, sexismo, diversidad e inclusión dentro de la misma. Parte de esta discusión fue publicada en revistas académicas en Estados Unidos durante septiembre de 2019:

https://www.insidehighered.com/news/2019/09/20/anglo-saxon-studies-group-says-it-will-change-its-name-amid-bigger-complaints-about.

En conclusión, explorar el contexto de #ScholarStrike con la plataform Brand24 nos permitió constatar algunas suposiciones previas (su relación con hashtags como BLM, Covid) pero iluminó otros hashtags menos esperables para un usuario no académico, como #medievaltwitter, y otros que aparecían tímidamente, pero pronto comenzaron a tener más impacto semanas siguientes, con la carrera electoral, como #bidenharris2020.

Gimena del Rio  / Marisol Fila

Categories
7_Difusión Data Limpieza de datos Recolección

Acceso a nuestra colección de Twitter

Estamos felices de anunciar finalmente el lanzamiento de la interfaz para descargar una colección de tweets relacionados con la pandemia de Covid-19. Puedes elegir un rango de fecha, un área (México, Argentina, Colombia, Perú, Ecuador, España, área de Miami), y el idioma (sólo para el área de Miami, en inglés y español).

https://covid.dh.miami.edu/get/

Los textos fueron procesados eliminando acentos, puntuación, mención de usuarios (@usuarios) para proteger la privacidad, y reemplazando todos los enlaces con “URL”. Los emojis son transliterados en un código UTF-8 y transformados en emojilabels. También decidimos unificar las diferentes ortografías de Covid-19 bajo una única forma, y todas las demás características, incluyendo los hashtags, son siempre conservadas.

¡Pero hay más! Hemos implementado una API simplificada para escoger su colección sin necesidad de acceder a la interfaz.

El punto de acceso a la API es: https://covid.dh.miami.edu/get/ y sirve para proporcionar los archivos .txt que quieras.

Hay tres variables principales para las consultas y cada una de ellas está separada por un “&”: idioma, geolocalización y fecha. Cada consulta comienza siempre con un “?” y se abrevia de la siguiente manera:

  • lang = es o en
  • geo = fl, ar, es, co, pe, ec, mx, all
  • fecha: mes-año-día, {mes}-año-mes, {año}-año, o un rango ‘{desde}año-mes-día-{hasta}año-mes-día’

Aquí hay algunos ejemplos:

  • Tweets en inglés, de Florida, del 24 de abril: https://covid.dh.miami.edu/get/?lang=en&geo=fl&date=2020-04-24
  • Tweets en español, de Florida, del 24 de abril: https://covid.dh.miami.edu/get/?lang=es&geo=fl&date=2020-04-24
  • Tweets en español, de Colombia, del 17 de mayo: https://covid.dh.miami.edu/get/?lang=es&geo=co&date=2020-05-17
  • Todos los tweets en español de Florida: https://covid.dh.miami.edu/get/?lang=es&geo=fl&date=all
  • Tweets de Argentina del 24 al 28 de abril: https://covid.dh.miami.edu/get/?lang=es&geo=ar&date=from-2020-04-24-to-2020-04-28
  • Todos los tweets de España del mes de abril: https://covid.dh.miami.edu/get/?lang=es&geo=es&date=month-2020-04

Por favor, ¡diviértete! ?

Recuerde: si el archivo aún no se ha generado en la base de datos, tardará algunos minutos en hacerlo.

Traducción: Romina De León

Categories
Datos Recolección

Un conjunto de datos de Twitter para la narrativa digital

A finales de abril empezamos a familiarizarnos con la API de Twitter y a preguntarnos cómo capturar las conversaciones públicas que están ocurriendo en esta red social.

Entendimos rápidamente que necesitábamos un plan y una metodología para organizar nuestro corpus, conseguir nuestros objetivos, y dividir las diferentes tareas entre los miembros del equipo.

Los conjuntos de datos en inglés son numerosos (véase la publicación “Minería de Twitter y datasets sobre la Covid-19” del 23 de abril de 2020). Para empezar con un corpus más definido, decidimos centrarnos en conjuntos de datos en español, en general y por áreas. También quisimos dar un tratamiento especial al área del sur de Florida y abordarla desde una perspectiva bilingüe, debido a su diversidad lingüística, especialmente en inglés y español. Con esto en mente, una parte del equipo analiza las conversaciones en inglés y español, centrándose en el área del sur de Florida y Miami. Mientras que el equipo de CONICET se encarga de explorar los datos en español, es decir, de Argentina.

Para ampliar nuestro conjunto de datos, hemos decidido cosechar también todos los tweets en español, y crear conjuntos de datos específicos para otras partes de América Latina (México, Colombia, Perú, Ecuador), y España. Para una mejor organización de nuestro corpus, creamos una base de datos relacional que colecta la información relacionada con tweets específicos e ingiere automáticamente cientos de miles de tweets al día.

Tenemos diferentes queries o búsquedas en marcha, que corresponden a los conjuntos de datos en nuestra carpeta ‘twitter-corpus‘ en GitHub. En resumen, hay tres tipos principales de búsquedas:

  1. Búsqueda general para español cosechando todos los tweets que contienen los siguientes hashtags y palabras clave: covidcoronaviruspandemiacuarentenaconfinamientoquedateencasadesescaladadistanciamiento social
  2. Búsqueda específica para inglés en Miami y el sur de Florida. Los hashtags y las palabras clave cosechadas son: covidcoronaviruspandemicquarantinestayathomeoutbreaklockdownsocialdistancing.
  3. Búsquedas específicas con las mismas palabras clave y hashtags para español en Argentina, México, Colombia, Perú, Ecuador, España, utilizando la geolocalización del tweet cuando sea posible y/o la información del usuario

Las carpetas se organizan por día (YEAR-MONTH-DAY). En cada una hay 9 archivos de texto plano denominados “dhcovid”, seguidos de fecha (YEAR-MONTH-DAY), idioma (“en” para inglés y “es” para español), y abreviatura de región (“fl”, “ar”, “mx”, “co”, “pe”, “ec”, “es”):

  1. dhcovid_YEAR-MONTH-DAY_es_fl.txt: Conjunto de datos que contiene tweets geolocalizados en el sur de Florida. La geolocalización es rastreada por las coordenadas del tweet, por el lugar o por la información del usuario.
  2. dhcovid_YEAR-MONTH-DAY_en_fl.txt: Este archivo contiene solo tweets en inglés que refieren al área de Miami y el sur de Florida. Esta elección se debe a la existencia de múltiples proyectos que recogen datos en inglés, nuestro proyecto está particularmente interesado en esta área debido a nuestra institución de origen (Universidad de Miami) y porque pretendemos estudiar las conversaciones desde un punto de vista bilingüe (EN/ES).
  3. dhcovid_YEAR-MONTH-DAY_es_ar.txt: Conjunto de datos que contienen tweets geolocalizados en Argentina (por georreferencia, por lugar o por usuario).
  4. dhcovid_YEAR-MONTH-DAY_es_mx.txt: Conjunto de datos que contienen tweets geolocalizados en México (por georreferencia, por lugar o por usuario).
  5. dhcovid_YEAR-MONTH-DAY_es_co.txt: Conjunto de datos que contienen tweets geolocalizados en Colombia(por georreferencia, por lugar o por usuario).
  6. dhcovid_YEAR-MONTH-DAY_es_pe.txt: Conjunto de datos que contienen tweets geolocalizados en Perú (por georreferencia, por lugar o por usuario).
  7. dhcovid_YEAR-MONTH-DAY_es_ec.txt: Conjunto de datos que contienen tweets geolocalizados en Ecuador (por georreferencia, por lugar o por usuario).
  8. dhcovid_YEAR-MONTH-DAY_es_es.txt: Conjunto de datos que contienen tweets geolocalizados en España (por georreferencia, por lugar o por usuario).
  9. dhcovid_YEAR-MONTH-DAY_es.txt Este conjunto de datos contiene todos los tweets en español, independientemente de su geolocalización.

Desde el 23 de mayo, tenemos un total de:

  1. Español del sur de Florida (es_fl): 6,440 tweets
  2. Inglés del sur de Florida (en_fl): 22,618 tweets
  3. Español de Argentina (es_ar): 64,398 tweets
  4. Español de Mexico (es_mx): 402,804 tweets
  5. Español de Colombia (es_co): 164,613 tweets
  6. Español de Peru (es_pe): 55,008 tweets
  7. Español de Ecuador (es_ec): 49,374 tweets
  8. Español de España (es_es): 188,503 tweets
  9. Español (es): 2,311,482 tweets.

No incluimos los retweets, solo los tweets originales.

El corpus consiste en una lista de Tweet IDs. Una forma de obtener el tweet original es utilizando “hidratador de Twitter”, que toma el Id y descarga todos los metadatos en un archivo CSV.

Figura 1. Captura de pantalla de una lista de tweets IDs.

Empezamos a recoger nuestros conjuntos de datos el 24 de abril de 2020. Para fechas anteriores (enero – 24 de abril), esperamos utilizar el conjunto de datos del PanaceaLab, debido a que es uno de los pocos que recoge datos en todos los idiomas, y esperamos conseguirlo en los próximos meses.

word cloud

Hemos publicado una primera versión de nuestro conjunto de datos en Zenodo: Susanna Allés Torrent, Gimena del Rio Riande, Nidia Hernández, Romina De León, Jerry Bonnell y Dieyun Song. (2020). Digital Narratives of Covid-19: a Twitter Dataset (Version 1.0) [Data set]. Zenodo. http://doi.org/10.5281/zenodo.3824950

Traducción: Romina De León

Categories
Datos Recolección

Minería de Twitter y datasets sobre la Covid-19

El único tema en estos días: el coronavirus, Covid-19, la pandemia, SARS, la crisis, la enfermedad, el enemigo, la supervivencia… Todos estamos bajo la misma situación global y preocupados por los impactos y consecuencias que este evento está teniendo y tendrá en nuestras vidas.

Asimismo, esta pandemia puede ser abordada desde infinitas perspectivas, por ello, creemos que las Humanidades Digitales pueden contribuir. Nuestro principal interés se centra en las narrativas digitales que emergen de este brote. ¿Cuáles son las narrativas entorno a la pandemia? Ciertamente, no son únicas ni monolíticas.

El distanciamiento social pone en primera línea a las redes sociales, algunas de ellas están abiertas a la minería y a la recuperación de lo que la gente está diciendo. El mejor ejemplo de ello es Twitter, que posee una API para recuperar tweets, que contienen los textos e interacciones sociales. Numerosos investigadores y proyectos ya están minando datos sobre la Covid-19 y proporcionando conjuntos de datos de tweets para ser descargados y explorados. Aquí tienes una lista de estos conjuntos de datos:

  • Covid-19 Twitter chatter dataset for scientific use” (Panacea Lab) es un conjunto de datos en línea, almacenado en GitHub y distribuido con un DOI de Zenodo (la versión numérica se actualiza casi cada semana). Recogen datos desde el 27 de enero y en todos los idiomas, pero –como explican– los de mayor prevalencia son: inglés, español y francés. Presentan los conjuntos de datos en dos formatos diferentes: uno que contiene todas las menciones y los retweets, mientras que el otro es una versión limpia que solo contiene los tweets. También realizan tareas de PLN, proporcionando las 1.000 palabras más frecuentes y las principales ocurrencias. Complementan su conjunto de datos construyendo estadísticas generales. Este corpus –tal como lo establecen los Términos de servicio de Twitter– consiste en una lista de identificadores de tweets (Tweet IDs), que necesitan ser hidratados. Puede consultar también las publicaciones electrónicas publicadas en arXiv “A large-scale COVID-19 Twitter chatter dataset for open scientific research – an international collaboration”.
  • COVID-19-TweetIDs (E.Chen, K. Lerman y E. Ferrara) es otra colección en curso de tweets asociados con la pandemia. Comenzaron a reunir datos el 28 de enero. Ellos además de recolectar hashtags, utilizan la API de streaming de Twitter para rastrear cuentas de usuario específicas y palabras clave concretas. Han estructurado su repositorio GitHub por mes, día y hora. Cada carpeta de mes contiene un archivo .txt por día y hora con los Tweet IDs, estos deben ser hidratados. Consulta las publicaciones de arXiv “COVID-19: The First Public Coronavirus Twitter Dataset”.
  • Coronavirus Tweet Ids” (D. Kerchner y L. Wrubel) contiene los Tweet IDs de 155.206.805 Tweets relacionados con el Coronavirus. Su fecha de inicio fue el 3 de marzo de 2020 y publican una nueva versión cada dos semanas aproximadamente. Para construir las colecciones utilizan el Social Feed Manager.
  • Corona Virus (COVID-19) Tweets Dataset” (R. Lamsal) provee un conjunto de datos en CSV con losTweet IDs. Esta iniciativa monitorea en tiempo real la actividad en Twitter siguiendo solo los tweets en inglés “en”, y las palabras “corona”, “covid”, “covid-19”, “coronavirus” y las variantes de “sars-cov-2”. Simultáneamente, tienen sentiment.live, un sitio que visualiza el análisis de los sentimientos del feed de Twitter.

Hay muchos otros catálogos, proyectos y repositorios que reúnen colecciones de Twitter. Recomendamos también que eches un vistazo a:

y que visites el impactante Covid-19 Dashboard, que permite rastrear el número de casos en todo el mundo.

En este auge de datos, nuestro proyecto Narrativas digitales de la Covid-19 también busca crear un conjunto de datos de Twitter concebido bajo estos criterios:

  • Por lengua: inglés, español
  • Por región: Sur de Florida, Miami
  • Por fecha: 27 de enero –
  • Por hashtags (covid, covid-19, coronavirus, etc.)

Somos algo novatos en el uso de estas técnicas, así que tened paciencia mientras publicamos tutoriales sobre cómo lo estamos haciendo, y ¡únete a nosotros!

Traducción: Romina De León