WeMM-Embedding

收录理由

检索混合了截图、产品照片、扫描页面和短视频片段的内容，通常需要为每种类型单独准备编码器。WeMM-Embedding把这些输入统一映射到一个共享向量空间，所以当查询涉及报告里的某张图片时，它既能匹配这张图，也能匹配周围的文字或图文交错的布局，无需额外的处理环节。仓库里同时给出了Transformers和Sentence Transformers的推理示例，还支持通过vLLM和SGLang部署，如果团队已经有一套嵌入服务，接入成本很低。模型提供多种Matryoshka维度，可以在存储、延迟和准确率之间按需取舍，不必绑定一个固定向量长度。基准测试表现不错，但要注意它不支持音频，而且最大版权的checkpoint有数GB大小，所以这个方案更适合已经具备GPU资源、并且确实需要多模态嵌入而不是纯文本嵌入的团队。