WebGPT

收录理由

WebGPT 用不到 1500 行原生 JavaScript 就把一个 transformer 模型塞进了浏览器标签页，推理全程跑在用户自己的 GPU 上，不需要后端参与。作者把提速的关键决策都摊开写了：核函数融合、键值缓存、缓冲区复用，还记录了不同参数规模下的实际耗时，比如 775M 模型在 2020 款 M1 Mac 上约 120ms/token。仓库自带两个可直接运行的模型，一个是玩具级的 GPT-Shakespeare，另一个是 GPT-2 117M，转换脚本也提供了，想换自己的权重可以照着改。对关心端侧推理或要求权重不出设备的人来说，这份代码既是 WebGPU 能力边界的实测，也是评估当前成本的真实样本。整篇 README 读起来更像工程日志而不是产品宣传，这种坦诚对理解 transformer 推理的实况很有帮助。