In Breve
- Che cos'è ZML LLMD?
- ZML LLMD è un server di inferenza per modelli di linguaggio open source, compatibile con vari chip.
- Qual è l'obiettivo di ZML LLMD?
- L'obiettivo è permettere l'uso di diversi chip per migliorare l'efficienza nell'IA.
- Chi ha fondato ZML?
- ZML è stata fondata da Steeve Morin, ex VP di Zenly.
La startup francese ZML ha recentemente lanciato LLMD, un innovativo server di inferenza progettato per eseguire modelli di linguaggio open source su una vasta gamma di chip, tra cui Nvidia, AMD, Google TPU, Apple Metal e Intel Arc. Questo prodotto, sebbene distribuito gratuitamente al lancio, non è open source e mira a superare i vincoli software e architetturali che spesso portano a un lock-in verso fornitori specifici.
Il principale obiettivo di ZML è fornire a imprese e operatori cloud la possibilità di utilizzare un mix di chip, compresi quelli meno costosi o più efficienti dal punto di vista energetico, per ottenere significativi guadagni di efficienza e facilitare la diffusione dell’intelligenza artificiale. Come afferma il fondatore Steeve Morin: «L’idea è restituire alle persone il potere di creare il proprio sistema e ottenere reali guadagni di efficienza».
ZML ha anche manifestato interesse a collaborare con nuovi produttori di chip, molti dei quali europei, citando aziende come Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA. Morin ha sottolineato che l’azienda è arrivata a co-progettare il silicio, un passo significativo nel settore.
Il lancio di LLMD avviene in un mercato competitivo, dove operatori come Baseten, Inferact e RadixArk offrono soluzioni simili, insieme a progetti open source come vLLM e SGLang. Nonostante la concorrenza, ZML mantiene rapporti con Nvidia.
Con sede a Parigi e un team di circa 20 persone, ZML ha raccolto 20 milioni di dollari da investitori come 20VC, commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe e Puzzle Ventures. Morin, ex VP of Engineering di Zenly, acquisita da Snapchat nel 2017, ha dichiarato che il rilascio gratuito di LLMD serve a misurare l’utilizzo prima di decidere le future politiche commerciali: «Preferisco misurare e poi generare ricavi dove è più efficace».
Tra i sostenitori di ZML figurano nomi noti come Solomon Hykes, Clément Delangue, Julien Chaumond e Yann LeCun, evidenziando l’interesse verso l’ecosistema europeo. Morin ha concluso affermando che ZML non sarebbe potuta nascere in nessun altro luogo se non a Parigi.
