llama3.java

收录理由

对Java团队来说，想在JVM里直接跑Llama 3、3.1或3.2模型，通常得绕道JNI去调C++运行时，链路长且调试麻烦。这个项目把整条推理链路收进了一个无依赖的Java文件里，直接解析GGUF权重，覆盖Q4_0到Q8_0的常见量化格式，省去了跨语言桥接的折腾。它自带一个轻量CLI，支持chat和instruct两种模式，下载好模型文件就能开聊。作者本身拿它来打磨JVM编译器优化，所以代码里能看到Vector API加速的矩阵运算，以及GraalVM Native Image支持带来的快速启动。项目源自Karpathy的llama2.c，顺着代码走一遍，等于把transformer推理的骨架读了一遍，全程不用离开Java生态。