30 enero,2025 8:46 am

Señalan a DeepSeek por utilizar “destilación” para entrenar sus modelos de IA basándose en los de ChatGPT

 

Madrid, España. 30 de enero de 2025. OpenAI ha señalado que ha encontrado evidencias de que DeepSeek ha utilizado sus modelos de inteligencia artificial (IA) para entrenar su modelo de código abierto, mediante la técnica de destilación, lo que puede ocasionar problemas de propiedad intelectual.

La IA de DeepSeek lidera actualmente las listas de descargas en las tiendas de aplicaciones App Store y Google Play Store con su asistente de IA generativa gratuito. Asimismo, sus nuevos modelos de razonamiento R1 han generado un gran impacto en la industria, con respuestas de compañías como Nvidia y OpenAI poniendo en valor el avance en IA que ofrece.

Sin embargo, la compañía liderada por Sam Altman ha señalado ahora que, tras llevar a cabo una investigación, han encontrado evidencias de que DeepSeek ha utilizado los modelos de OpenAI para entrenar sus propios modelos de código abierto.

Así lo han detallado fuentes relacionadas con la compañía en declaraciones a Financial Times, quienes han señalado que se han identificado pruebas que apuntan a que DeepSeek ha utilizado una técnica denominada “destilación” para entrenar sus modelos.

En concreto, la destilación es una práctica de machine learning que permite transmitir los aprendizajes de un modelo de IA a otro. Así, posibilita que un modelo más pequeño (modelo alumno) imite el comportamiento de redes neuronales más grandes (modelo profesor), aprendiendo sus predicciones y utilizando sus datos.

En este sentido, aunque se trata de una práctica habitual en el sector, OpenAI ha manifestado que, en el momento en el que dichos datos se utilizan fuera de la plataforma, puede suponer una violación de los términos de la compañía, donde se detalla que no se permite utilizar los resultados de sus modelos para “desarrollar modelos que compitan con los de OpenAI.

“El problema es cuando lo sacas de la plataforma y lo haces para crear tu propio modelo para tus propios fines”, ha explicado una de las fuentes al medio citado.

Además de todo ello, se ha de tener en cuenta que, según ha recogido Bloomberg, OpenAI y Microsoft ya estuvieron investigando durante el pasado otoño a algunas cuentas que estaban utilizando la API de OpenAI para llevar a cabo destilación con sus modelos y filtrar sus datos, violando los términos del servicio. En concreto, aunque estas cuentas fueron bloqueadas, se cree que eran propiedad de DeepSeek.

Por su parte, en un comunicado también recogido por Financial Times, OpenAI ha compartido que son conscientes de que empresas con sede en China “están constantemente tratando de destilar los modelos de las principales empresas de IA de Estados Unidos”.

Al respecto, la tecnológica ha subrayado la importancia de trabajar en colaboración con el gobierno de Estados unidos para “proteger mejor los modelos más capaces de los esfuerzos de los adversarios y competidores para apoderarse de la tecnología estadunidense”.

Hugging Face reconstruirá el modelo DeepSeek-R1 para responder dudas sobre el entrenamiento

Hugging Face planea responder a las dudas que genera el modelo de razonamiento DeepSeek-R1 con una reconstrucción de los datos y el trabajo de entrenamiento en una iniciativa que han denominado Open-R1.

DeepSeek-R1 forma parte de la nueva familia de modelos de razonamiento que la empresa china DeepSeek ha lanzado recientemente. Construido a partir de DeepSeek V3 y bajo un proceso de aprendizaje de refuerzo puro, alcanza un rendimiento en tareas de razonamiento comparable a OpenAI o1.

O al menos eso es lo que asegura la compañía en los papeles técnicos que ha compartido sobre el modelo de razonamiento. Sin embargo, aunque quedan detalles por saber, como los conjuntos de datos que se han utilizado, el código de entrenamiento y las leyes de escala, que permiten ver las compensaciones entre computación y datos en el entrenamiento.

Para responder a estas incógnitas, desarrolladores de Hugging Face han anunciado la iniciativa Open-R1. “El lanzamiento de DeepSeek-R1 es un gran beneficio para la comunidad, pero no publicaron todo: aunque los pesos del modelo están abiertos, los conjuntos de datos y el código utilizado para entrenar el modelo no lo están”, explican en el blog oficial de Hugging Face.

El objetivo de esta iniciativa es “construir estas últimas piezas que faltan para que toda la comunidad de investigación e industria pueda construir modelos similares o mejores utilizando estas recetas y conjuntos de datos”.

Texto: Europa Press

Entérate más