Inferencia de IA: AWS apuesta por Cerebras y su tecnología relacionada con la EPFL

Cerebras Systems y AWS planean lanzar una oferta de inferencia de IA que se presenta como más potente. En el centro de esta tecnología hay un chip gigante cuyo desarrollo está vinculado a un graduado de la EPFL.

Cerebras Wafer Scale Engine es más de cincuenta veces más grande que el chip gráfico más grande del mercado. (Fuente: Cerebras Systems)

AWS y Cerebras Systems anuncian una colaboración para ofrecer, en los próximos meses, una solución de inferencia para la IA generativa que se espera sea más rápida que las ofertas actuales. Esta se integrará en Amazon Bedrock y se basará en los sistemas CS-3 de Cerebras.

Este acuerdo se produce en un contexto de aumento en el uso de la IA agente, observa Cerebras en su comunicado. Y resalta que estos usos, especialmente en el desarrollo de software, generan hasta quince veces más tokens que las interacciones conversacionales. Este cambio aumenta la demanda de capacidades de inferencia rápidas, que se han vuelto críticas para algunos entornos de producción.

Cerebras señala que sus sistemas pueden alcanzar hasta 3000 tokens por segundo. Esta capacidad se basa en su arquitectura Wafer-Scale Engine (WSE), cuya versión WSE-3 se presenta como el procesador de IA más grande. La empresa afirma que este chip es 56 veces más grande que los GPU más grandes y permite un rendimiento de entrenamiento e inferencia más de 20 veces superior, con un menor consumo energético por unidad de cálculo.

El WSE tiene parte de su origen en Suiza: Jean-Philippe Fricker, cofundador y Chief System Architect de Cerebras Systems, es graduado de la EPFL.

La asociación con AWS también incluye el desarrollo de una arquitectura de inferencia llamada «desagregada». Esta distribuye las cargas entre los chips Trainium de AWS, dedicados al preprocesamiento, y los sistemas Cerebras. La disponibilidad del servicio se anunciará en los próximos meses.

Los detalles financieros de la asociación con AWS no han sido revelados. Sin embargo, Cerebras recientemente llegó a un acuerdo con OpenAI, cuyo valor podría superar los 10 mil millones de dólares, según Reuters.