GSMA Foundry, el centro de innovación de la GSMA, ha anunciado el lanzamiento de GSMA Open-Telco LLM Benchmarks, una comunidad de código abierto destinada a mejorar el rendimiento de los modelos de lenguaje de gran escala (LLM) para aplicaciones específicas del sector de telecomunicaciones.
Como detallan en el comunicado remitido, la comunidad ofrece “un marco pionero en la industria para evaluar modelos de IA en casos de uso del mundo real” y cuenta, desde su lanzamiento, con el respaldo de Hugging Face, Khalifa University, The Linux Foundation y otros operadores de redes móviles y proveedores de telecomunicaciones líderes.
A medida que la adopción de la IA en telecomunicaciones se acelera, los LLM han demostrado limitaciones significativas para manejar conocimientos técnicos del sector, cumplir con la normativa y resolver problemas de red. En pruebas recientes, GPT-4 obtuvo menos del 75% en TeleQnA, un conjunto de datos diseñado para evaluar el conocimiento de los LLM en telecomunicaciones, y menos del 40% en 3GPPTdocs Classification, basado en documentación de estándares 3GPP. Por su parte, Phi-2 de Microsoft, un modelo mucho más pequeño, alcanzó apenas un 10% en MATH500, un benchmark con 500 preguntas de matemáticas generales.
Limitaciones de la IA en telecomunicaciones
Estos resultados destacan las limitaciones actuales de los modelos de IA al abordar consultas específicas del sector. GSMA Open-Telco LLM Benchmarks abordará estas brechas ofreciendo evaluaciones abiertas y transparentes de modelos de IA en capacidades, eficiencia energética y seguridad.
“Los modelos de IA actuales tienen dificultades con las consultas específicas del sector de las telecomunicaciones, generando a menudo recomendaciones inexactas, engañosas o poco prácticas”, observa Louis Powell, jefe de Iniciativas de IA de la GSMA. “Al crear un conjunto de benchmarks para toda la industria, no solo mejoramos el rendimiento de los modelos, sino que también garantizamos que la IA en telecomunicaciones sea segura, fiable y acorde a las necesidades operativas del mundo real”.
Entre los operadores que respaldan el lanzamiento de esta comunidad se encuentran Deutsche Telekom, LG Uplus, SK Telecom, Turkcell y el proveedor tecnológico Huawei.
La comunidad permitirá a operadores de redes móviles, investigadores en IA y desarrolladores enviar casos de uso, conjuntos de datos y modelos para su evaluación. Un marco de evaluación estandarizado asegurará que todos los modelos se analicen frente a desafíos reales en áreas como conocimiento del sector telco, razonamiento matemático, consumo energético y seguridad. Los benchmarks resultantes se alojarán en Hugging Face para garantizar la transparencia y fomentar la participación de la comunidad.