Twitter研究人员声称发现了命名实体识别中人口统计学偏差的证据，这是生成自动知识库的第一步，或者是由搜索引擎等服务利用的存储库。他们说，他们的分析表明，人工智能在识别特定人群的名字方面表现更好，并且偏见体现在语法，语义以及单词使用在整个语言环境中的变化。

知识库实质上是包含有关实体(人物，地点和事物)信息的数据库。2012年，Google启动了一个知识库，即“知识图谱”，以利用从Wikipedia，Wikidata和CIA World Factbook等来源收集的数千亿个事实来增强搜索结果。Microsoft提供了一个知识库，其中包含超过15万篇由支持专业人员为其客户解决问题的支持人员撰写的文章。但是，虽然知识库的有用性没有争议，但研究人员断言，用来表示实体的嵌入对某些人群表现出偏见。

为了显示和量化这种偏见，合著者在合成生成的测试语料库上评估了流行的命名实体识别模型和来自常用自然语言处理库(包括GloVe，CNET，ELMo，SpaCy和StanfordNLP)的现成模型。他们对测试数据集的各种模型进行了推理，以提取人的名字，并测量正确提取的名字的准确性和可信度，并重复使用或不使用大写字母的实验。

名称集合包括八个不同种族，族裔和性别组(例如，黑人，白人，西班牙裔，穆斯林，男性，女性)的123个名称。集合中的每个人口统计指标都以15个以上的“显着”名称表示，这些名称来自1974年至1979年在马萨诸塞州注册的流行名称(历史上一直用于研究算法偏差)和ConceptNet网络项目，该网络旨在帮助算法了解单词的含义。研究人员使用这些数据通过Winogender Schemas项目(其最初旨在识别自动化系统中的性别偏见)的模板生成了2.17亿个合成句子，并结合了来自“更现实”数据集的289个句子，以增强鲁棒性。

实验结果表明，除ELMo以外，所有模型中男性和女性白人名字的准确性最高，除了ELMo提取的穆斯林男性名字准确性最高外，与非白人名字相比，更大比例的白人名字具有更高的模型置信度。例如，尽管GloVe的穆斯林女性名字准确度仅为81%，而白人女性名字准确度为89%。CNET的黑人女性姓名准确率仅为70%，而白人男性姓名准确率则为96%。

研究人员说，绩效差距部分归因于训练数据中的偏见，训练数据中的男性名字比女性名字“显着”多，白人比非白人名字多。但是他们还认为，这项工作揭示了具有性别和种族等名称的命名实体识别系统的准确性不均，他们进一步声称这一点很重要，因为命名实体识别不仅支持知识库，还支持问答系统和搜索结果排名。

“我们知道我们的工作受到来自各种人口统计信息的姓名的限制，我们承认个人不一定会像这项工作那样将自己的姓名与人口统计信息相结合……但是，如果某些部分的命名实体的人口有系统地被错误地识别或贴错标签，其损害将是双重的：如果他们属于不同的类别，他们将无法从在线曝光中获得尽可能多的收益，并且他们不太可能被包含在未来的迭代中训练数据，从而延续了恶性循环，”研究人员写道。“虽然偏见方面的许多研究都只关注人口统计学的一个方面

在未来的工作中，研究人员计划调查以其他语言训练的模型是否也偏向于更可能在该语言流行的文化中使用的命名实体。他们认为，这可能会导致评估不同语言的命名实体识别模型，理想情况下，命名实体代表了更大的人口多样性。