In Breve
- Cosa è Jalapeño?
- Jalapeño è un chip sviluppato da OpenAI per migliorare l'efficienza nell'inferenza AI.
- Quali sono i vantaggi di Jalapeño?
- Offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai chip attuali.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
Durante la conferenza Hot Chips, OpenAI ha svelato Jalapeño, un chip innovativo progettato per ottimizzare le prestazioni nell’inferenza AI. I primi risultati dei benchmark condotti da InferenceX di Semianalysis evidenziano che Jalapeño offre un numero maggiore di token per utente e una throughput per kilowatt superiore rispetto ai processori di inferenza attualmente considerati i migliori sul mercato.
Il confronto è stato effettuato con il sistema Nvidia Blackwell, ma OpenAI avverte che la concorrenza potrebbe evolversi prima della distribuzione completa del prodotto. Jalapeño è stato sviluppato in collaborazione con Broadcom e utilizza modelli proprietari nel processo di progettazione, con l’obiettivo di creare una piattaforma multigenerazionale in grado di coordinare chip, memoria e modelli.
L’architettura di Jalapeño è stata pensata per ridurre i ritardi nelle fasi di prefill e comunicazione, che rappresentano colli di bottiglia comuni durante l’inferenza. Il comunicato aziendale sottolinea: “Abbiamo progettato Jalapeño per minimizzare il movimento dei dati e i ritardi di comunicazione.” Questo approccio consente di mantenere lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, localmente, attivando la combinazione ottimale di calcolo, memoria e rete per ciascuna fase di inferenza.
Richard Ho, responsabile hardware di OpenAI, ha dichiarato: “I risultati mostrano un avanzamento delle prestazioni molto significativo rispetto allo stato dell’arte. Jalapeño può gestire più lavoro AI per unità di potenza, restituendo risposte più rapidamente. È molto efficiente nel servire un gran numero di clienti, mantenendo anche una bassa latenza.” OpenAI prevede un primo dispiegamento in volumi limitati entro la fine del 2026, con una distribuzione più ampia attesa nel 2027.
