Jlama

收录理由

想要在Java环境中直接运行大模型推理的团队，可以把Jlama作为Maven依赖引入，获得一个纯Java实现的完整推理引擎。它支持从Hugging Face加载safetensors格式的模型，涵盖Llama、Mistral、Gemma、Qwen和BERT等系列，Q4/Q8量化让模型在普通硬件上也能流畅运行。除了文本生成，它还实现了分页注意力、专家混合路由、工具调用以及嵌入和分类推理，不只是一个演示项目。通过命令行工具和兼容OpenAI的REST API，你可以先在本地做原型验证，再把同一套引擎嵌入生产环境；当单机算力不足时，可选的分布式推理模式也能派上用场。对于已经使用LangChain4j的团队，它还提供了现成的集成。