研究人员正在从具有数字历史的缩微胶卷中提取动作

问题 78：在下面的空白处写下您对本问卷任何部分的任何其他评论。 “德国人剥夺少数群体从事有利可图的工作的特权，只允许他们从事最卑微的工作，”1943 年，一名接受调查的美国军队中的士兵写道。“在民主美国，同样的事情也存在。在德国，特许经营权被拒绝或限制。在美国的代议制民主中，也存在同样的情况。因此，我的国家似乎犯了同样的罪，她试图惩罚另一个国家……一个人民的政府，因为人民的政府不应该是一个隔离的政府。”第二次世界大战爆发四年后，来自 60 个国内部队的 7,434 名黑人士兵坐下来接受调查 32。这是社会和行为科学家进行的 200 多项调查之一，这些调查被分配收集有关士气和军队效率的反馈，用于该组织的研究分支。但调查 32 主要关注种族关系。士兵们匿名勾选方框并对其问题做出简短回答：士兵是否觉得战后他的工作前景会更好还是更糟？他是否预见到拥有更多或更少的权利和特权？他是否觉得自己有公平的机会支持美国赢得战争？最后一个问题，第 78 号，是调查 32 中唯一的自由回答提示。士兵可以使用完整的规则页面来讨论调查涵盖的任何内容。数千名接受调查的士兵回答了，边缘溢出的是愤怒、痛苦、希望、辞职、决心和对驻扎在美国城镇的黑人士兵的虐待的叙述，因为他们乘坐隔离的公共汽车，坐在隔离的剧院，并在隔离的单位。最终，对第 78 号的答复和调查的附加数据最终以缩微胶卷和 ASCII 文本文件的形式出现在国家档案馆。当历史教授 Ed Gitre 在 2009 年看到缩微胶卷及其内容时，他觉得他的学生和公众成员需要能够亲眼看到每一个回应。他开始了一个项目，将总共 65,000 页涉及调查 32 的主题以及数十个其他主题转录并发布到网上，这些主题向他展示了二战中美国士兵非常人性化的一面。 “能够将这些个人故事发布出来并保存它们，并让尽可能多的公众可以访问它们，我认为这是最终推动我前进的动力，”Gitre 说。在弗吉尼亚理工大学，历史学家和计算机科学家正在合作，使用沉浸式可视化、人工智能和众包等工具，让公众能够广泛地了解历史。他们已将这些技术应用于诸如筛选成堆文件并理解它们或翻阅无数页参考书以获取图像等任务——这些任务在传统的学习模式中可能会压倒好奇的头脑。目的是为人类用户创造技术增强的体验，让他们控制平台，使历史研究更加平易近人和互动。

“这些研究人员代表了当今特别重要的东西：具有公民意识、以人为本的技术方法，”人类技术倡议执行董事兼研究技术、种族、宗教和国家安全的人文学者西尔维斯特约翰逊说。 Gitre 和其他在弗吉尼亚理工大学从事数字历史工作的人担任 Tech for Humanity 学者。 “他们的项目利用数字技术产生积极的社会影响，体现了我们大学范围内的人类科技计划的更大目标，”约翰逊说。 “现在很明显，我们需要解决的最困难的问题是在人类前沿。这就是为什么看到学者们在研究和公众影响方面推进这一方向令人兴奋。”在莫斯艺术中心，17 名历史系学生轮流穿过沙盒的开放空间，戴着虚拟现实护目镜，挥舞着手持控制器。在 3D 虚拟工作空间系统 Immersive Space to Think 中，学生们可以面对显示墙，走它的长度，拉起文档，移动它们，并在研究内容时将它们聚集在空间中。目前加载到系统中的文件包含对调查 32 的转录回复。 在要求国家档案馆将包含调查数据的 44 卷缩微胶卷数字化后，Gitre 招募了他的本科二战历史课程的学生和 7,000 多名志愿者众包Zooniverse 将每个响应转录四次。他们从计算机科学家 Kurt Luther 那里获得了人工智能的推动，他的 Crowd Intelligence 实验室贡献了 Incite，这是他们为另一个美国历史众包项目开发的开源软件转录插件，该项目由 James I. Robertson Jr. 副教授 Paul Quigley 领导。内战研究。随着转录的进行，Gitre 想让他的学生以身临其境的方式来处理数据集。他从 Luther 那里了解到，其他研究人员正在人机交互中心创建一个用于文档意义构建的虚拟工作空间，由该中心的主任和计算机科学教授 Frank J. Maher 领导 Doug Bowman。 2019 年，Gitre 和 Bowman 看到了他们两个项目之间共生的机会：Gitre 的学生可以在系统中工作，沉浸式思考空间，并在研究调查响应时利用其功能，而 Bowman 的团队可以从他们使用工作区。鲍曼将历史探究视为一种研究类型的自然契合，可以为沉浸式思考空间的发展提供信息。历史学家努力处理来自无数来源的大量基于文件的信息，并仔细筛选它们。他说，该系统可以让他们简化可能是身体和认知上令人疲惫的追求。

“我们正在复制某人可能用白板做的事情，”鲍曼说。 “但有了虚拟现实，我们可以增强这种互动，使其更加强大和富有表现力。”很快，在计算机科学教授兼桑加尼人工智能和数据分析中心副主任克里斯·诺斯 (Chris North) 的努力下，系统本身将向学生学习以支持他们的意义构建体验。当用户对文档进行聚类、将它们拉近或推开并查看它们之间时，系统将跟踪他们的行为——例如，快速凝视可能表示信息过载，而某些聚类可能表明内容优先级。该数据将通知机器学习算法，该算法可以识别集群并向用户建议相关文档。 “我们不会妨碍用户，但可以为他们提供非常有用的快捷方式，这样他们就不必手动完成搜索、阅读和组织方面的所有工作，”鲍曼说。由于 Gitre 致力于在今年夏天推出的网站上提供完整的调查回复集，他计划与 Bowman 的团队合作，将在 Immersive Space to Think 中阅读调查 32 回复的体验带给公众。今年，他们获得了创意、艺术和技术研究所的资助，设计了一个二战博物馆展览，让博物馆参观者能够进入虚拟系统并阅读调查回复，同时还可以查看服务徽章、医疗包、和照片。 Gitre 说，与士兵的第一手资料的接触可以向读者揭示黑人士兵在激进主义的激动时刻正在建立的情绪。 “士兵的经历确实推动了民权运动，正是因为有一支军队在国外与法西斯主义和威权主义作斗争，同时保持种族隔离和种族歧视，”他说。 “我想将这数千种声音带入那段历史，并努力思考什么是运动。我们正在努力了解成千上万谈论吉姆·克劳和种族隔离的非裔美国人的故事。”士兵们双手放在膝上，十指相扣，坐着等待画像。他们双臂交叉站立或侧身休息，或手持刺刀，锋利的一端朝上。有亚伯拉罕、查尔斯和路易斯。所罗门、屋大维和威尔逊。他们是 209 张照片的主题，代表了内战近 200,000 名黑人士兵中的一小部分。这些图像是 Natalie Robinson 于 2018 年追踪到的，当时她还是佐治亚大学的历史系学生，并在弗吉尼亚理工大学计算机科学副教授兼教职员工库尔特·路德 (Kurt Luther) 领导的人群智能实验室实习历史系的。那年夏天，路德责成罗宾逊整理博物馆和图书馆藏品、在线政府档案以及他自己的参考书副本，以将黑人内战士兵和平民的图像添加到内战照片侦探数据库中。

Civil War Photo Sleuth 是一个在线平台，它使用众包以及人类和人工智能的结合来识别内战时代肖像中的未知士兵和平民。该平台允许用户上传照片并使用元数据（例如照片铭文和格式）以及军衔徽章和制服颜色等视觉线索标记它们。然后，用户尝试将照片与已识别的士兵档案联系起来，并附上军事记录。该平台依靠其 15,000 多名用户来帮助构建数据库。在启动该网站之前，Luther 的团队从美国国会图书馆、国家档案馆和美国陆军军事历史研究所等来源提取了近 20,000 张照片，为该网站提供已识别的参考图像。 Luther 解释说，用户对平台图像存储的贡献越多，Photo Sleuth 成员就越能找到与其上传的匹配项。当用户上传照片并尝试寻找匹配时，Photo Sleuth 使他们能够使用平台的搜索过滤器缩小数据库识别照片之间可能的匹配范围，这些过滤器基于上传期间标记到每张照片的视觉线索。然后该平台使用面部识别来进一步减少选择。在最后一站，由用户来寻找匹配项。如果用户找到一个，他们可以提出它并表明他们对它的信心。 Luther 说，由于照片在我们理解过去中所起的作用，他一直致力于创造和改进 Photo Sleuth。 “这些图像具有令人难以置信的视觉力量，”他说。 “他们让历史栩栩如生，让人感觉更加真实——看到一个人的脸的细节，他们穿的衣服，他们随身携带的设备。”路德说，然而，一直很难找到内战时代黑人士兵和平民过去的摄影窗口。这种差异反映了对美国黑人历史记录的更广泛的擦除、排斥和破坏模式，这也是罗宾逊作品收集更多照片以作为参考图像添加到数据库中的原因。她记得在搜索已识别图像时看到了它的迹象。罗宾逊在从一个系列到下一个系列的过程中不断遇到相同的照片。早些时候，该团队为建立数据库而找到的大部分照片都是白人联盟士兵的照片。 “联邦军队中有大量非裔美国士兵，”路德说。 “他们对赢得战争真的很有帮助，他们中的一些人获得了荣誉勋章，但这些照片中很少有人留存到今天。到内战结束时，黑人士兵占联邦军队的 10%，另一方面，今天很难找到 100 张已识别的照片。”技术方面的挑战，在人工智能领域，也塑造了团队的工作。 Luther 解释说，他们使用获得许可的面部识别技术来支持用户的侦查，但他们避免使用全自动系统来制作 ID，因为仅凭面部识别技术在识别面部方面是不完美的。它甚至被证明会成为种族和性别偏见的牺牲品，对有色人种和女性的表现更差——并且要求许多公司授权技术以重新审视用于训练其算法的数据的包容性。

这就是为什么不要过分依赖这些授权技术很重要，Luther 说，而是让人类用户最终尝试识别图像——正如系谱学家、收藏家和追踪祖先的家庭成员长期以来在传统照片调查中所做的那样。 “面部识别的真正优势在于缩小可能性，”他说。 “比较两张照片并告诉你它是否是同一个人并不是很好。人类在这方面要好得多。他们能够查看所有这些细节并考虑更广泛的背景。”罗宾逊在 Photo Sleuth 数据库中添加的内容使其成为网上发现的最大的黑人内战士兵照片集之一。但这个项目只是一个开始，Luther 说。他相信还有更多的图像，在他希望 Photo Sleuth 用户继续上传的尚未开发的贡献中。 “这些用户从我们永远不知道的来源中引入照片，”路德说。 “他们来自他们的阁楼，来自他们的地下室。” Luther 说，作为这些发现的家园，Photo Sleuth 使用户能够进行他们曾经认为不可能的项目。 “有些调查在过去根本不会发生，”他说。 “该平台允许人们探索调查线索，否则这些线索似乎难以追寻。突然之间，现在他们不是了。”