Perplexity 开源 pplx-embed-v2-late,这是面向文本和图像的多向量嵌入模型,提供 9B 和 0.6B 两个版本,共享同一嵌入空间。9B 可用于索引多模态数据,0.6B 可在端侧做查询,并支持无需 OCR 直接检索 PDF 页面。官方称其在 MADQA 上得分 92.4%,在 BrowseComp+ 上得分 64%,权重已在 Hugging Face 发布。
Perplexity 开源多向量嵌入模型,9B 建索引、0.6B 端侧查询,并给出 MADQA 与 BrowseComp+ 分数。
我们正在开源 pplx-embed-v2-late,用于文本和图像的多向量嵌入,9B 和 0.6B,处于同一个共享嵌入空间。你可以用这些来通过 9B 索引多模态数据,并在设备上用 0.6B 进行查询。这也让你无需 OCR 即可搜索 PDF 页面。并且在 MADQA 上得分 92.4%,在 BrowseComp+ 上得分 64%。权重现已在 @huggingface 上提供。
我们发布 pplx-embed-v2-late,两个 late-interaction 嵌入模型,它们使用共享的嵌入空间来检索文本、图像和页面,实现跨模态查询。 这两个模型都达到了前沿性能,并已在 Hugging Face 上公开可用。 https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector
原文
We're releasing pplx-embed-v2-late, two late-interaction embedding models that retrieve text, images, and pages with a shared embedding space for cross-model querying. Both models achieve frontier performance and are publicly available on Hugging Face. https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector
来源:Aravind Srinivas · x.com