LFM2.5-350M, il nuovo foundation model per l'Edge Computing

Liquid AI ha reso disponibili LFM2.5-350M e la sua variante Base, modelli open-weight da 350 milioni di parametri. Questa release punta a ottimizzare le pipeline di on-device AI, fornendo una soluzione compatta per elaborazioni locali e dispositivi con risorse limitate, mantenendo la compatibilità con i principali engine di inference.

Architettura e Pre-training

Basato sull'architettura LFM2, il modello è stato sottoposto a una fase di pre-training su un dataset di 28T tokens, un incremento sostanziale rispetto ai 10T utilizzati per la versione precedente.

La fase di post-training integra tecniche di reinforcement learning "su larga scala". Queste ottimizzazioni rendono l'architettura particolarmente adatta per task di tool use, data extraction e generazione di structured outputs. I ricercatori sconsigliano esplicitamente l'impiego del modello per ragionamenti matematici, coding o creative writing.

Benchmark sulle Core Capabilities

Le valutazioni documentano un miglioramento generazionale rispetto al predecessore, in particolar modo sull'instruction following (il punteggio IFBench passa da 18.20 a 40.69). Di seguito il confronto con modelli di dimensioni simili o architetture alternative:

Data Extraction e Tool Use

LFM2.5-350M è stato progettato per supportare pipeline agentiche leggere. I test su task applicati mostrano un aumento rilevante in metriche chiave per l'estrazione dati, come CaseReportBench (passato da 11.67 a 32.45), e per le chiamate a funzioni esterne, come BFCLv3 (da 22.95 a 44.11).

Ecosistema e Partnership Hardware

Il modello garantisce un supporto day-one per numerosi framework di inference, tra cui LEAP, llama.cpp (tramite file GGUF), MLX, vLLM, SGLang, ONNX e OpenVINO.

Le partnership hardware assicurano ottimizzazioni native su piattaforme eterogenee. Il supporto copre i processori AMD Ryzen AI, le NPU Qualcomm Snapdragon (grazie a Zetic Melange e RunAnywhere), l'ecosistema Intel via OpenVINO e l'hardware Apple Silicon sfruttando l'engine Mirai.

Sul versante software, Distil Labs ha dimostrato come il fine-tuning del modello per workflow agentici consenta di superare il 95% di accuratezza nel tool-calling. LM Studio facilita inoltre il deployment locale tramite il demone headless llmster.

Potete trovare la model card completa di LFM2.5-350M su HuggingFace.

Metriche di Inference e Throughput

In ambienti server ad alta concorrenza, testati con SGLang 0.5.9 su una singola GPU NVIDIA H100 SXM5, il modello tocca un throughput di picco di 40.4K output tokens per second in precisione BF16. Questo valore si traduce in una capacità di elaborazione superiore a 3.5 miliardi di token giornalieri.

In scenari edge, l'integrazione con il Cactus Engine ottimizza l'allocazione della RAM per l'esecuzione su hardware economico. Di seguito i benchmark di velocità registrati con 1K prefill tokens e 100 decode tokens:

A presto!