Un estudio reciente publicado en una revista revisada por pares ha descubierto que los modelos de lenguaje grande (LLMs) muestran una notable inclinación hacia el contenido generado por otros sistemas de IA. Este hallazgo sugiere que el contenido asistido por IA podría tener una ventaja a medida que el descubrimiento de productos y las recomendaciones dependen cada vez más de las tecnologías de IA.
Objetivos de la Investigación
Dirigido por los investigadores Walter Laurito y Jan Kulveit, el estudio tuvo como objetivo examinar cómo los LLMs diferencian entre el texto escrito por humanos y el producido por IA. Los investigadores probaron los modelos utilizando tres categorías distintas: descripciones de productos de mercados en línea, resúmenes de artículos científicos y resúmenes de tramas de películas.
En este análisis, varios modelos prominentes, incluidos GPT-3.5, GPT-4, Llama-3.1, Mixtral y Qwen2.5, funcionaron como evaluadores en un proceso de selección por pares que los requería elegir su versión preferida entre dos opciones.
Hallazgos Clave
Los resultados revelaron una tendencia clara: los LLMs favorecieron las versiones generadas por IA con mayor frecuencia que los textos escritos por humanos. Por ejemplo, al comparar productos, los modelos de IA mostraron un 89% de preferencia por las descripciones generadas por IA, mientras que los evaluadores humanos favorecieron el texto de IA solo el 36% de las veces. En el ámbito de los resúmenes académicos, la preferencia por IA se registró en un 78% en comparación con un 61% para las preferencias humanas, y para los resúmenes de películas, los LLMs prefirieron contenido generado por IA a una tasa del 70%, en contraste con el 58% para los autores humanos.
El estudio también investigó posibles sesgos al experimentar con el orden de las opciones presentadas a los modelos, lo que sugirió que algunos modelos podrían mostrar una tendencia a seleccionar la primera opción que encuentran.
Implicaciones para el Marketing y la Creación de Contenido
Las implicaciones de estos hallazgos son significativas, especialmente para las empresas que operan en mercados digitales o utilizan asistentes de chat y plataformas de búsqueda impulsadas por IA. El estudio postula que el contenido generado por IA podría tener una mayor probabilidad de ser favorecido en estos entornos, proporcionando una ventaja distintiva a las empresas que emplean herramientas de IA para la producción de contenido.
Los autores destacaron el concepto de un "impuesto de acceso", indicando que las organizaciones podrían sentirse presionadas a invertir en herramientas de escritura de IA para garantizar que su contenido esté adecuadamente representado en evaluaciones impulsadas por IA. Esta preocupación añade una capa de complejidad a las estrategias de marketing, impactando tanto las decisiones operativas como las creativas.
Consideraciones y Futuras Investigaciones
Si bien el estudio proporciona ideas interesantes, reconoce limitaciones. La línea base humana es notablemente pequeña, con solo 13 asistentes de investigación involucrados, y el método de selección por pares no refleja directamente su impacto en las ventas reales. Además, las variaciones en los resultados pueden ocurrir según factores como el diseño de los prompts, el tipo de modelo, el tema y la longitud del texto evaluado.
Las razones subyacentes de la preferencia por el contenido generado por IA sobre el texto escrito por humanos siguen siendo inciertas. Para abordar esto, los autores abogan por más investigaciones en estilometría—el estudio estadístico del estilo literario—y por la exploración de técnicas para mitigar posibles sesgos.
Mirando Hacia el Futuro
A medida que el papel de la IA en el comercio y el descubrimiento de contenido se vuelve más prevalente, es valioso considerar el uso de contenido asistido por IA para mejorar la visibilidad. Sin embargo, esto debe tomarse como un área para la experimentación en lugar de una solución única, con un énfasis en mantener a los escritores humanos involucrados para el tono, el mensaje y la validación en relación a las reacciones de los clientes.
