这篇文章是关于最近现场直播的舞台制作《成为机器》及其新的德语奥地利语版本《 Die Maschine in Mir》中视频处理和发行方面的内容。在以后的文章中,我将详细介绍摄像机,视频捕获和实时流。
如果关于超人类主义的现场直播剧院作品使用100多个iPad和自定义应用程序以及媒体分发服务器,那么自动视频处理管道将与Python,FFmpeg和一些现成的网络应用程序一起被黑客入侵,而这些都在几个月内完成了开发在大流行期间听起来很有趣,然后继续阅读!
这是我唯一的直播剧院项目,直到2020年才被取消。该项目之所以成功,是因为机敏,反应灵敏的文字,周密的计划以及对工具和技术的自由使用。
2020年不是期望在剧院工作的一年,但不知何故,八月份出现了《成为一台机器》(1.0版)。马克·奥·康奈尔(Mark O&Connell)的死人中心在2017年出版的非小说类书中对舞台进行了巧妙的改编,《卫报》将其描述为“对超人类主义的一次引人入胜的探索,其中包括冷冻,半机械人,不朽和硅谷的狂妄自大。”
剧院公司Dead Center董事Ben和Bush最初计划将其作为一个简单的正在进行中的演示文稿,以供2020年都柏林戏剧节的现场观众观看。然而,滚动锁定和直播活动的全面取消,使得针对现场观众的计划变得困难且风险很大。取而代之的是,Dead Center迅速改编了他们的文字,将这种流行病编织到了背景中,并引入了无专心的iPad使用者的想法,显示了每个持票人的视频剪辑。
杰克·格里森(演员和剧院制作人,以在GoT中扮演国王乔弗里而闻名)的灵感铸就,增加了演员的主题层,即机器,以及他们扮演的角色的死亡。
在《卫报》的Mark O' Connell和Jack Gleeson访谈中,详细了解该作品的来历。
当本和布什重新编写本文时,我开始研究技术挑战和潜在解决方案。我们通过视频通话经常会面,以分享发现并发现细节。在此期间,关键需求迅速出现。
我们认为,在剧院座位库的看台上摆放100片平板电脑,就像观众一样,而且轮数不错,听起来令人印象深刻,但并不笨拙!我们需要一种方法来快速将当天的受众群体吸引到他们身上。我们还需要能够单独地实时控制它们,最好使用显示控制软件和OSC之类的标准协议。我们不想看到电缆,因此它们需要足够的电池寿命才能在全屏强度下持续至少一个小时。最后,我们最终选择了iPad。
我们需要一种简单且理想的引导方式,供持票人上传自己的视频。我们还需要一种将他们的上传链接到他们的票务预订参考的方法,以及一条管道来审核他们的上传,处理它们并将它们放到各自的iPad上。我们简要讨论了如何对所有100个受众群体进行实时直播,但由于明显的技术原因和时间限制,很快就将其排除了。有趣的是,我们稍后会感到庆幸的是,这在技术上是不可行的,因为屏幕上的现场观众面对观众的注意力会很分散,实际上在主题上并不太适合制作,尤其是围绕上载和雷·库兹韦尔。经过大量的研究和测试,我选择了优质的VideoAsk服务作为面向用户的上传应用。 Zapier与Python和FFmpeg组成了Google表格的“无代码”桥梁,用于下载和处理管道。所有这些都在下面的后面。
这个故事要求在演员旁边进行视频显示,以显示摄像机会进出的内容。该显示器需要在相机上看起来不错,必须完全无线,因为它需要从某个位置掉下来。我们需要能够无线控制其显示的媒体。它必须具有足够高的分辨率,以使其在充满相机框架时仍显得清晰。它需要具有足够高的刷新率,以使其不以25fps的速度在相机上闪烁。我们选择了运行Keynote的iPad Pro,有关更多信息,请参见下文。
需要安装主摄像头,以便它可以从演员和舞台iPad的宽镜头平稳移动到演员OR iPad的近距离,以及两者之间的任意距离。这意味着我们需要在两个轴上进行线性运动-上/下可以推入和推出,左/右可以在演员的脸部和iPad pro之间移动。最终的解决方案是在6m的电影院轨道上使用定制的台车,遥控电动滑块以及在台车移动期间拉动焦点的电动聚焦控制。在以后的文章中将对此进行更多讨论。
视频技术解决方案的最后一个关键要求是实时视频捕获,提示和流传输。声音设计师Kevin Gleeson和我已经决定将QLab用作媒体服务器和显示控制软件。如今,对于中小型产品,这确实是不费吹灰之力。 QLab易于使用,功能强大,可靠且便宜!验证后,它当然可以满足您的需求。可惜只有Mac。 QLab的要求是-从实时摄像机捕获高清视频流,在实时摄像机和预先录制的内容之间切换,并将输出从QLab传输到我们选择的实时流媒体平台Vimeo。
我们使用了惊人的虹吸管将视频软管道到OBS,然后从那里流到Vimeo。我还决定将Black Siphon用作虚拟虹吸客户端,以便与Siphon Recorder一起,可以从实时摄像机中进行录制,以实现出色的直接磁盘录制。有关更多信息,请参阅以后的文章。
为了让您快速了解事情的发生,我首先听说了2020年6月底生产的想法,我们降低了要求,并于7月底完成了一些测试,购买了大量设备并iPad于8月租用,9月之前我们正在与摄像头解决方案和自定义iPad应用进行彩排。首次现场表演是10月1日。
在Android上使用iPad的决定归因于许多因素。
我已经联系了Zac,这是我在初创公司Drop成立时就认识的iOS开发人员,他对开发该节目的应用感兴趣。
iPad易于批量租用-很明显,Apple在吸引学校,会议中心等方面在这里做得很好。因此,AV租借公司有很多。
鉴于研究时间很短,iPad对于持续安装和在机内使用似乎是一个更安全的选择。电池寿命,屏幕刷新率,通知,数据,网络等的细粒度控制,以及使用Apple Configurator 2刷新个人资料的能力。但是,我想花时间探索下一次其他选项,因为有些事情例如应用程序分发不完全简单。
iPad带有内置充电功能,非常令人满意。如果有人感兴趣,品牌就是Multicharge。
令人惊讶的是,我找不到一个简单,便宜/免费的iOS应用程序,它可以播放静止图像和全屏视频并通过OSC *接收远程控制命令。因此,Zac和我为基本MVP定义构建了一个:
等待并响应有效的OSC命令同步-这使我们能够通过名称/ IP更新特定iPad上的内容
*我确实找到了类似MultiVid的几项内容,但据我所知,您无法同时在每台设备上触发不同的片段。还有PixelBrix由于缺乏定价等原因立即让我失望。此外,我们不需要像帧同步之类的东西。
服务器是在本地运行的Node.js应用,显示为可发现的Bonjour服务,用于文件同步。它还支持非Bonjour备份模式,该模式需要设备名称和IP的预构建列表。
VideoAsk是TypeForm制造商的新产品。它实质上是通过视频形成的表单,表单制作者可以将问题以视频形式呈现,而响应者可以根据问题的性质以视频,音频,文本或多项选择来回答。它也可以用作客户支持的一种异步视频聊天。
我非常有信心我们不会以预期的方式使用VideoAsk!但是,它为我们提供了一个完美的工具,可以提供简单的引导性视频采集,同时还可以使观众体验即将体验的制作。
虽然我们在这里谈论的不是大量数据,但在首次运行中有110个“座位”超过9个表演,但确实增加了2970个剪辑。无关紧要,特别是考虑到它是视频。糟糕的情况是,人们会在手机上录制视频并将其发送给我们。但是想想到底有什么地方会出错?!
视频文件的大小是否足够小,可以附加到电子邮件?不太可能。如果没有,那么我们应该使用什么服务来上传
我们如何确定该人录制了足够的视频但又没有录制太多?我们只需要少量就可以进行无缝循环。
当我找到VideoAsk时,我简直不敢相信自己的运气。就是那件事永远不会发生-您在深入的,超级特定的搜索过程中找到了一个工具-并且以某种方式,它打勾了每个方框。一直到可以指定用户可以录制视频多长时间。我们利用的主要功能:
视频答案-VideoAsk处理摄像头和麦克风权限,各种平台,压缩上传和托管
变量-VideoAsk支持通过隐藏字段将数据传递给它。我们在奥地利的The Burg剧院使用了它,以通过单个URL传递预订参考
白色标签-付费帐户允许完全自定义品牌,包括URL,颜色,徽标,语言,标签等。
API-我使用Zapier使用VideoAsk的API为每个新的VideoAsk提交创建新的电子表格行。
我注册了一个自定义域和SSL证书,并设置了一个CNAME条目以使用子域(upload.tobeamachine.com)赋予URL更多含义。
*压缩非常激进,无法调节。大多数剪辑的头一两个都具有更大的压缩率,我想这是可变比特率算法对素材产生了“感觉”。虽然沉重的压缩实际上在美学上适合我们,但对于其他目的可能并不理想。
上面的流程很好地说明了无代码云产品如何真正帮助快速开发原型,或者在我们的情况下,是临时产品的最终解决方案。剧院的乐趣在于,技术解决方案通常不需要扩展很多或不需要很长时间,因此原型通常可以解决问题。
在测试并运行了zap的情况下,每个新VideoAsk提交都会在新的电子表格行中显示预订参考编号以及指向三个上载视频的URL。我们最终使用电子表格来完成所有数据清理和视频审核-完美,简约的内容管理工具。一件方便的事是突出显示重复的参考号,因为人们有时会重新上传参考号,或进行了一些尝试来弄清楚该参考号。我使用此公式突出显示工作表中的重复项。
通过启用VideoAsk的“共享”选项,我们可以直接通过电子表格URL观看视频,如果您拥有直接链接,该选项会将视频公开。
在每次表演的早晨,我使用基本脚本为当天晚上的表演为每个观众下载剪辑集。这三个视频存储在使用预订参考号命名的目录中。在每次演出当天都处理上传视频,这意味着观众可以在特定演出前一天晚上上传他们的视频。随着处理自动化的更多改进,没有理由为什么上传无法完全按照性能本身进行,这是下一次。
接下来是为iPad准备剪辑。由于剪辑在设计上比较短,我知道最好在每个剪辑之间进行无缝循环,以最大程度地减少分散注意力的循环跳跃。 iPad也都将处于纵向模式,因此需要裁剪一些横向上传的图像。最后,我们不希望音频从iPad播放,因此最简单的方法是剥离视频中的所有音频。为此,我使用了Github用户kkroening出色的ffmpeg-python包装器。
我喜欢FFmpeg,它使我摆脱了比我所记得的更多的视频漏洞,但是从命令行清楚地考虑它可能很棘手。我发现通过Python使用它非常容易,并且可以更轻松地与他人共享代码。
为了实现无缝循环,我简单地通过复制和反转每个视频并将其附加到原始视频来实现回文循环。我想修剪每个视频的开头,以跳过上面提到的沉重压缩。 ffmpeg-python使得以易于阅读的方式构建此复合过程变得容易,对于像我这样不太会编码的人来说尤其重要。
def processInput(in_stream,out_path,start,end,x,y,width,height):print(" Processing" + in_stream)input = ffmpeg.input(in_stream)(ffmpeg .trim(input,start_frame) = start,end_frame = end).concat(input.filter(' reverse').trim(start_frame = start,end_frame = end)).crop(x,y,width,height).output(output_path) ) 。跑() )
为了进行裁剪,我首先使用了FFprobe来获取视频尺寸,该功能由Github用户Oldo基于该要点来实现,该功能将FFprobe作为子进程运行,并将返回的数据转换为JSON。然后裁剪所有横向视频以适合人像iPad。
创建一个空文本文件,使用预订参考命名,以防我们稍后需要在每个目录中标识内容
如果您有兴趣学习一些Python来使这种无聊的东西自动化,那么我建议您将其命名为“用Python自动化无聊的东西”,这是Al Sweigart根据知识共享许可书免费阅读的书。
《成为机械人》最终在2020年参加了三场郊游-爱尔兰的都柏林,比利时的列日-尽管由于旅行限制而从贝尔法斯特爱尔兰和奥地利维也纳的伯格剧院上演。从主题上讲,它与时代相呼应,并且有虚拟观众,影院知道要取消预订的可能性较小,因此对预订更有信心。此外,由于取消了如此多的作品,因此剧院有很多空缺。从技术上讲,所有技术元素的单一演员,小队伍和大部分是无线操作使社交距离成为可能,并大大减少了与设备的物理接触。通过Siphon和Siphon记录器实现的直接磁盘记录功能意味着我们可以拍摄预先记录的元素而无需交换物理媒体。
在本文的后续中,我将详细介绍相机设置,视频捕获/录制和流媒体。另外,我的网站也将很快涵盖我在视频设计方面的更多内容。
上面是使用Siphon Recorder通过SDI直接录制到媒体的服务器,通过OSC和Python OSC桥接器从QLab进行无线焦点拉动和iPad观众控制的过程。