contriever facebook
- 类型
- model
- 框架
- transformers
- 下载量
- 7,977,397
- 点赞
- 96
- 访问
- public
- 文件
- 0
标签
- 文本嵌入
- 语义搜索
- 向量检索
- 语义相似度
- 信息检索
- NLP
- transformers
- PyTorch
摘要
Contriever 是 Facebook 提出的无监督密集检索模型，通过对比学习训练，无需标注数据即可学习高质量文本表示。它为句子生成稠密向量嵌入，用于信息检索、语义相似度计算等场景，配合平均池化后可获得句子级向量。适用于语义搜索、文档召回与文本匹配任务。
README
该模型按照[《Towards Unsupervised Dense Information Retrieval with Contrastive Learning》](https://arxiv.org/abs/2112.09118)中所述的方法，在无监督条件下训练而成。相关 GitHub 仓库见 https://github.com/facebookresearch/contriever。 ## 用法（HuggingFace Transformers） 直接使用 HuggingFace transformers 中提供的模型时，需要添加均值池化操作以获得句子嵌入。 ```python im…