Mentiras, malditas mentiras y estadísticas: Un estudio engañoso compara TikTok e Instagram
Paul Matzko señala las deficiencias en un estudio que sugiere que las autoridades chinas están manipulando el algoritmo the Tik Tok.
Escucha la noticia
Por Paul Matzko1
Un nuevo estudio, “A Tik-Tok-ing Timebomb“, que compara el uso de hashtags políticos en TikTok e Instagram está siendo ampliamente compartido por quienes piden la prohibición o venta forzosa de TikTok. El informe, del Network Contagion Research Institute, muestra que las publicaciones políticas contrarias a los intereses nacionales chinos obtienen peores resultados en TikTok (propiedad de la empresa china Bytedance) que en Instagram (propiedad de la estadounidense Meta). Para los autores, esto sugiere que las autoridades chinas están estrangulando algorítmicamente en TikTok los contenidos que perjudican sus intereses internacionales, como las publicaciones sobre el Tíbet, los uigures y la plaza de Tiananmen.
Sin embargo, los autores del estudio cometieron dos errores muy básicos que ponen en duda la utilidad fundamental del informe.
En primer lugar, los autores eligieron una metodología defectuosa que no tuvo en cuenta el tiempo de existencia de cada plataforma. Instagram (lanzamiento en 2010) tiene aproximadamente el doble de años que TikTok (lanzamiento internacional en 2017). Por lo tanto, los temas que fueron objeto de un intenso discurso público a principios de la década de 2010, pero que no han sido muy destacados en la década siguiente, naturalmente tendrán un rendimiento inferior en TikTok que en Instagram. Sin embargo, los autores no ajustaron su ventana de recogida de datos para reflejar este hecho.
En segundo lugar, los autores asumieron que las mismas personas utilizan ambas plataformas, lo que les llevó a pasar por alto los posibles efectos generacionales de cohorte. En resumen, el usuario medio de Instagram es mayor que el usuario medio de TikTok. Compara el mayor segmento de usuarios por edad en cada plataforma: El 25% de los usuarios de TikTok en Estados Unidos tienen entre 10 y 19 años, mientras que el 27,4% de los usuarios de Instagram tienen entre 25 y 34 años. Esa diferencia de edad de aproximadamente una década sesgará la proporción de temas tratados en las dos plataformas. En pocas palabras, los usuarios de más edad y los más jóvenes tienen intereses diferentes.
Para ver cómo estos errores distorsionan las conclusiones del estudio, veamos uno de los diez ejemplos que ofrecen los autores. El estudio compara la frecuencia de tres hashtags comunes relacionados con el Tíbet y el Dalai Lama, encontrando una proporción muy sesgada de 37,7 publicaciones en Instagram por cada publicación en TikTok. Esto parece ciertamente sospechoso, dada la prolongada censura china a los activistas nacionales que abogan por la independencia del Tíbet.
Pero hay que tener en cuenta que los autores del estudio no evaluaron únicamente las publicaciones subidas en un periodo concreto, como, por ejemplo, en otoño de 2023. No, estaban comparando el número total de publicaciones desde que se crearon las plataformas (Instagram: 2010 / TikTok: 2017).
Además, un rápido vistazo a los datos de tendencias de Google muestra que el discurso público sobre el Tíbet en Estados Unidos ha estado en declive general durante las décadas de 2000 y 2010, aunque salpicado por picos exponenciales (de hasta 15 veces) en abril de 2008 y diciembre de 2016, que correspondieron a momentos de intenso activismo tibetano.
Ambos picos fueron anteriores al lanzamiento internacional de TikTok, pero se produjeron en un momento en el que Instagram ya contaba con cientos de millones de usuarios. No es de extrañar que seis años de publicaciones en TikTok de una época en la que el interés de Estados Unidos por Tíbet era relativamente bajo se vieran desbordados por trece años de publicaciones en Instagram de una época en la que el interés de Estados Unidos por Tíbet era intenso.
Además, aunque hipotéticamente se pudieran restringir los datos sobre el hashtag Tíbet a las publicaciones posteriores a la creación de TikTok, cabría esperar que se produjeran efectos generacionales de cohorte. En pocas palabras, el conocimiento y el interés por un tema tienden a persistir. Los millennials que estaban en la universidad en 2008, durante el levantamiento tibetano, van a ser más propensos a estar interesados en el Tíbet –y por lo tanto a publicar sobre él– hoy que los miembros de la Generación Z, algunos de los cuales todavía estaban en pañales en 2008.
Nada de lo que he escrito aquí prueba que TikTok no manipulara o pudiera manipular su algoritmo para rebajar el contenido desfavorable al PCCh. Pero sugiere fuertemente que este estudio en particular está mal diseñado y no debe ser utilizado como prueba seria de manipulación algorítmica por TikTok. Francamente, me sorprende lo descuidado que es.
Un estudio mejor elegiría un marco temporal discreto (como cuando ambas plataformas existían realmente) y evaluaría la proporción de publicaciones en ese marco temporal sobre temas controvertidos de importancia para el gobierno chino. Si alguien hace ese estudio, me gustaría ver una copia.
Pero incluso en ese caso, es importante recordar que estas plataformas no son sinónimas y que cualquier resultado podría estar sesgado por las diferencias específicas de cada plataforma. Por ejemplo, ¿por qué esperar que la proporción de contenidos políticos y no políticos sea similar? Eso supone un nivel constante de interés político entre quienes utilizan las dos plataformas. Pero eso es difícilmente una garantía dadas las diferencias generacionales entre sus bases de usuarios, los contrastes descendentes de ser formatos que dan prioridad a la foto frente a los que dan prioridad al vídeo de formato corto, y otras divergencias específicas de las plataformas.
En cualquier caso, el hecho de que muchas de las principales organizaciones de noticias no hayan tenido en cuenta estos defectos básicos del estudio y hayan dado una cobertura crédula al informe es evidencia de la afiliación según el estado de ánimo en el periodismo, especialmente cuando tienen la tarea de cubrir plataformas de medios sociales con las que compiten por la atención del público.
1Paul Matzko es un investigador y el conductor del podcast Building Tomorrow.
*Este artículo fue publicado en elcato.org el 19 de enero de 2023
