Lipreading对听证物人口有几乎神秘的拉力。计算机科学家将钱倒入自动化的Lipreading计划中,法医科学家将其作为犯罪信息的可能来源,Seinfeld基于其可能(MIS)在各方使用的整体集中。对于语言学家来说,这是一个巨大的争议和流畅的研究。 Lipreaders实际上是什么?只有在视觉线索的基础上,如何准确地了解言论?什么语言,世界上6,000种不同的舌头,对Lipread最难?
最后一个问题,虽然看似简单,但抵抗每次尝试回答它。每个理论都贯穿砖墙的证据,研究是有限的,甚至对Lipreading的基本了解是有利的,它是如何效率的,以及如何用矛盾的观点加强。这个问题坦率地说,是一个噩梦。
当我们想到Lipreading时,一般来说,我们假设Lilederer在完全沉默中运行,这不是由于耳蜗植入物和助听器的普及和技术改进,通常情况。西雅图的专业LipReader ConsueloGonzález开始在一个非常年轻的时代失去她的听觉,从大约四个半开始。 “在大约四年的时间里,它下降到了图表,”她说。 (我们在视频聊天中进行了面试,所以她可以读嘴唇。)今天她深刻的聋,而没有助听器,她根本没有听起来没有声音。与他们一起,她可以拿起一些环境的声音,一些音调在言论中,但不足以了解她对她的说法 - 而不是看到它。
事实证明,我们都做了一些González所做的事情 - 即使我们看到我们看到的东西即使我们无法听到它,也可以了解对我们所说的话。 “回到50年代,有经典的研究表明,如果你能看到谈话者的脸,那么在波士顿大学的讲话感知,Matthew Masapollo说,人们会在背景噪音的情况下感知讲话。在理解语音时,听觉和视觉感应之间存在深刻的连接,尽管这种连接刚刚理解。但是有各种奇怪的研究表明,连接的愿景是如何语音感知的。
让我们抓住McGurk效果,以20世纪70年代意外发现它的研究人员命名。说有一个人说无意义音节的视频:“Gaga,”,但音频已被同一个人交换,说“巴巴”。要求受试者观看视频并确定正在发言的声音。奇怪的是,大多数人都感知 - 使用眼睛和耳朵 - 别的东西:“达达。” Masapollo说,McGurk效果显示在一起奇怪的声音和形象在言语上,这几乎不是对其同类的唯一研究。
还有另一个研究,其中人们在嘴里拿着管,迫使他们的嘴巴制作“哦”或“哦”的形状,更好地倾少在别人被其他人所说的那个户口时,更好地说话,而不是在嘴里拿着管。即使“嘴唇”只是一种嘴巴的光点表示,也可以比另一对唇形升降在唇部的夸张上更容易。在轻微的角度转动该表示?怪癖已经消失了。另一个人发现,在观看他们的视频时,更容易理解某人,即使脸部被模糊或像素化 - 也可能与头部运动或节奏有关。
对前言语婴儿的研究也有很多研究,建议他们从周围的发言人那里收集视觉信息。柔和的视频播放的人说话的语言是婴儿熟悉的语言 - 将成为宝宝的母语的语言 - 抓住宝宝的注意力超过讲另一语言的人们的视频。我们曾经在我们所有人中似乎有某种天生的Lipreading能力。
随着我们的增长,有几种不同的理论。一个是,视觉信息大多是多余的我们听到的演讲。另一种方法是视觉提示提供信息,但我们只是真正知道如何衡量和记录它。为了增加复杂性,个人之间存在可怕的可变性。有些人可以听到一般可以让他们的天生的Lipreading能力流逝,依靠音频组成的演讲,而其他人则始终更多地使用视觉信息。但是在线消息来源索赔,Lipreading只有约30%的准确性。
但这并不适用于听力受损的人。 González不知道美国手语。她完全依赖于Lipreading,她可以用助听器检测的小斑点。我们的谈话非常顺利,一旦我将我的笔记本电脑放在静止的表面上,所以相机会停止围绕着。在谈话中没有任何点,我对我说的每一个词都能理解的疑虑。
普遍引用的Lipreading的低成功率并不基于像González这样的人。大部分研究都使用平均听力的主题;例如,Masapollo不适用于聋人科目。他的工作少于Lipreading,而不是关于言语的看法。事实上,发现有关Lipreading的有效性的数据如此令人奇迹难以这样做,这些人的实际练习作为他们日常生活的一部分。平均听力测试的人数约为10%至12%的准确性,并且有一些建议认为听力受损的人更加像45%的准确性。但大多数这些研究都有点奇怪,因为他们倾向于通过看待人们可以识别个人音素来测试准确性 - 构成单词的声音,如“gah”或“th” - 或者单词。但是,根据González的说法,这不是Lipreading的作品。
“我们没有Lipread听起来,”她说。 “有些人认为我们正在寻找音素并将它们串在言语中。没有这样的工作。我们在句子中看到了文字并将它们放在一起。“上下文是LipReader的一切,因为,很好,背景是任何试图理解语音的人,无论是否正在使用哪种意义。无论您是如何欺骗唇彩令人困惑“球”和“公牛”并不反映真实世界的准确性,因为那些这些话不太可能以一种方式使用,使其不清楚哪一个是有意的:“狗想要你扔他的公牛。“
没有许多研究承认这一点,虽然在2000年,但在杂志上的杂志和amp;心理物理学,做了。在其中,研究人员在听力受损的人中审查了Lipreading能力(IH,在研究中)和平均听证会。至关重要,它评估了了解整个句子而不是仅仅是音素。 “高技能的IH LipReaders的视觉语音看法在难以在某种程度上难以达到有利的聆听条件的准确性,”令人兴奋的言论自题相似,“研究人员得出结论。这条曲目与González告诉我:Lipreading,一旦你真的擅长它,或多或少等同于理解繁忙的餐厅的发言者。
Lipreading在聋人社区中,有时被称为“口腔师”技术。口腔主义是指强调试图解释语音,而不是创建替代形式的沟通,即手语。大多数发达国家都经历了推动远离口腔主义和手语的推动;现在世界各地有几十种不同的标志语言。它几乎被认为是令人攻势的,以便强调Lipreading而不是一种沟通形式,不会让聋人处于劣势。
因此,它通常是穷人,往往是依靠Lipreading的文盲。 González是一个真正的例外,作为一个用Lipreading生活的人。在印度和中国等国家,聋人的高文盲率和教学资源减少,口腔主义仍然很受欢迎 - 但没有很好地记录。
在Lipreading各种非英语语言中有一个文献,但他们不会更清楚地制作东西。试图找到最严重的Lipread语言的问题是,Lipreading非常基于个体,以及每种语言中的大多数最佳LipReaders - 依赖于IT的人 - 不要出现在研究中。所以弄清楚如何与语言与语言不同,需要很多猜测。 “客观地知道,因为我们对特定语言的经验会通知我们如何参加某些事情,”马斯哈洛说。 “对于日本扬声器来说,英语扬声器可能难以努力。这是依赖的高度经验。“
我的第一个想法是弄清楚哪些音素尤其难以区分,在假设有更多这些必须更难到Lipread的语言,对吧?有以下数据:2006年言语,语言和听证研究杂志的瑞典研究包括一个图表,在Lipreading时,音素最难猜测。有时,这些音素被组成,以及类似看起来的音素,称为“Visemes”(虽然不是每个人都认为这些分区与其声音一样简单)。
根据该研究,最困难的音素是英语不存在的音素;这是“Th”和“D”之间的声音,南亚语言如印地语。 (“印地文”这个词本身,恰当地发音,包含声音。)一般来说,感知最难的声音是嘴唇上很少发生的声音:辅音,如“D”,“G”,“N”,“N”,“N”,“G”,“N”,“” “k,”一个患者的所有部分。 (当然,人们通常可以使用上下文来区分“点”,“GOT”,“不是”甚至“结”)
但只是因为没有嘴唇制造的声音并不一定意味着它们对LipReader不可见 - 或许更准确地称为“讲话读者”。我送了一个男人演讲的视频,这是一个讲Jul'hoan的视频,这是纳米比亚和博茨瓦纳的一部分。该语言具有令人难以置信的大量辅音,包括数十次点击。她发现这些并不难以发现:嘴唇可能不会像英国辅音一样移动,但舌头,脸颊,下巴和颈部肌肉的运动使它们变得显而易见。当然,她不会说Jul'hoan,所以她不能说这是容易还是难以阅读。也许可预测的是,没有关于Lipreading Jul'hoan的研究,但辅音沉重的语言似乎不可能是可读的。
某种语言的另一个元素可以提出Lipreading难度来自音调。世界各地的许多语言都是色调的,这意味着他们依靠音调来传达意义,几乎就像一首歌。英语几乎看起来几乎不间间(虽然我们确实在句子结束时提高了传达的问题),但有些语言有大量的复杂音调对理解它们至关重要。色调由喉部产生,可能不需要舌头,嘴唇,脸颊或下颌的任何可察觉的运动。那些人可以视觉察觉吗?
好吧,是的,我们想。 2008年,在美国声学学会杂志上发表的一项研究,测试了普通话中讲话的音调了解,其中有四种音调,如果你包括“中立基调”。这项研究测试了听到普通话的听觉主题,并发现,首先,他们在检测无声言语中检测音调。但是在只有45分钟的训练之后,他们会急剧提高。这些会议教导了受试者来看看颈部,下巴和头部的动作,因为某些逢低,延伸和振动,可以指示色调变得相当容易检测。
其他语言严重依赖于另一类声音而没有从嘴唇制造的声音 - 即,通过使用喉部或在喉咙内产生声音。有些语言有很多喉音,包括威尔士,希伯来语和荷兰人,这一切都有许多辅音在口腔的背部。对于这些声音是否更难以阅读,研究并不是很决定性。一些研究表明,喉音音素很容易困惑或更难检测。但他们与“球/公牛”带有同样的问题。只是因为熟练的lipreader看不到声音并不意味着他们不知道它在那里。
什么可能实际上使Lipreading更加努力与语言无关:它是个性。 “有些人非常害羞,不要移动他们的脸或嘴唇,”González说。 “表达方式不是很多。这使它变得更加困难。“正如我们所看到的那样,Lipreading涉及远远超过嘴唇:整个面部,头部,即使是身体的其余部分也提供了关键信息。如果有人不是很富有表现力,那么没有使用熟练的LipReader所用的所有提示,那么,González说,他们很难读。
看视觉语言线索整体景观的研究有点棘手,可以略有令人震撼,他们指出了很多广泛的概括。熊本大学的一项研究发现,英语扬声器比日本扬声器更依赖于视觉信息。另一个人发现日本的演讲者比西欧人在面部表情中展示了更少的情感。目光接触可能被认为在日本有所粗鲁,进一步降低了语言的言语阅读的兴趣。还有一些分析日语倾向于用手覆盖嘴,特别是女性在笑。没有足够的硬数据来吸引某种结论,但任何形式的隐藏嘴唇都会使得一个已经艰巨的任务更加困难。甚至适用于胡须和胡子。 González说。 “一个掉在上唇的小胡子可能会影响能够看到正在发生的事情。”
那么它在我们的核心问题中留下了哪些语言是从视觉线索中最难理解的? “短暂的答案是,我们不知道,”马斯哈罗说。
这是可以理解的,但不是很令人满意,但我有一些理论。我将希伯来语提名为一体,因为它的组合了大量的喉音和大量的汉语犹太人和穿长胡须的扬声器。瑞典语研究指出了印度的印度,泰米尔和古吉拉蒂等语言,也恰好也可能是这个星球上最多的胡子。由于一堆文化的东西,应考虑日本人,这可能会减少视力和言语之间的联系。我会扔在车臣,因为它具有如此惊人的辅音和元音,每一个大约50个,包括整个混乱的声音,这些声音都在嘴里和喉咙里恢复。在光谱的另一端是Pirahã,这是巴西亚马逊的几百人所说的语言。 Pirahã大约只有很少的音素,因为一种语言可能有,我怀疑会让很多单词看起来相同。它也是一种音调语言,可以基本上通过节奏通知;没有人肯定。 (这是行星上最神秘,最有争议的语言之一。)
这个问题没有良好的答案,但后来,对Lipreading的任何问题都有很少的答案。
您可以加入关于Atlas Obscura社区论坛的对话和其他故事。