yzma

收录理由

yzma 是一个 Go 库，它直接调用 llama.cpp，让你在自己的应用里加载 GGUF 模型、对提示词做分词、运行采样链并流式接收生成的 token，无需另起一个独立的服务器进程。它绕开 CGo，改用 purego 和 FFI，因此在 Linux、macOS 和 Windows 上构建起来很省事，同时紧跟 llama.cpp 的最新发布，及时获得新模型支持和性能修复。项目还附带一个命令行工具，能自动检测 CUDA 或 ROCm 并下载预编译的 llama.cpp 库，并提供视觉语言模型和交互式聊天的可运行示例；另外还有一条 WebAssembly 路线，借助 TinyGo 和 WebGPU 让模型直接在浏览器里跑。如果你正在写一个需要内嵌本地推理的 Go 服务或工具，从桌面 GPU 到树莓派或 Jetson 都能用，这个库是个扎实的选择。