Search for lenses, articles and help
电影工作者推动技术的极限促进电影艺术的发展。新上映的电影《Comandante》将开创一种新局面。电影中设计了一种新颖的近实时（NRT）工作流，在拍摄期间就可以让后期制作实时开始。
导演Edoardo de Angelis的电影已经进入了预制作阶段一年多了，但到11月拍摄时，制作团队将有信心看到每个镜头都可以通过NRT实现高质量渲染。
《Comandante》改编自二战中一个意大利潜艇指挥官的真实故事。真实还原或使用传统视觉特效技术进行拍摄成本都很高昂。相反，制作选择在水池上使用LED屏幕拍摄，以捕捉积分光以及追求真实感所需的反射效果。
制片人Pierpaolo Verga邀请了视觉特效设计师Kevin Tod Haug（《搏击俱乐部》）以及其他虚拟制作、镜头和视觉特效合作者，特别是David Stump ASC。
该节目需要使用防水的室外LED屏幕，但这些分辨率较低（像素间距较大）的屏幕不适合在ICVFX中使用，因为它们会产生严重的莫尔纹理。
“挑战在于如何保持对演员、水和物理场景所投射的丰富、动态的光线，并用更高质量的版本替换通过相机看到的LED部分？”Haug解释道。“此外，我们希望在现场尽快完成这个过程，让导演和摄影师可以充满信心地看到他们所拍摄的内容，做出正确的选择然后最终知道他们得到了想要的。”
《Comandante》经历了多个研发阶段来测试工作流程。其想法是，在复杂的场景中（例如，演员需要被放置在大海中的潜艇上，但实际上是在船坞中拍摄），新工具允许导演和其他电影制片人几乎实时地获得接近最终或最终的模板镜头。
最后，De Angelis想使用ARRI Mini和Anamorphic 光学拍摄大尺寸的电影。
在拍摄过程中，从相机中记录下所有相机元数据和镜头信息，并将其流式传输到Epic Games的Unreal中。然后将这些数据输入到Nuke中。使用Nuke中的UnrealReader工具，制片人可以以高质量重新渲染背景，从而省去使用高分辨率LED墙的必要。
在Nuke的CopyCat工具中，将虚拟和物理场景融合在一起，利用机器学习将LED墙与演员分离开来。通过使用跟踪相机的真实记录值重新渲染，消除了跟踪和实时渲染之间的滞后，使制片人可以自由地控制镜头移动。
将虚拟和实际物理场景融合在一起的核心是对物理镜头进行建模，从而使制片人可以扭曲Unreal渲染（或者去除实时拍摄画面的畸变）。团队采用Cooke Optics的/i Technology系统的准确工厂镜头映射来代替拍摄镜头格栅，该系统将畸变和遮挡参数嵌入到每个镜头本身中。
“到目前为止，将镜头放入CG流程并最终成功，只需要简单地确保画面线条正确。”Stump说，他正在为Comandante的摄影指导 Ferran Paredes Rubio提供建议。
“标准方法是忽略任何现实世界镜头内部弯曲光线作用于矩形传感器的情况。然而，这项技术恰恰就在我们眼前。”
“对于视觉特效来说，这在任何情况下都是一场灾难，因为所有场景都是浅焦和扭曲的，难以跟踪，因为很多场景都设置在黑暗中，并且有水效果和移动船只，我们并不期望能够去创造标准典型的总量，我们非常依赖于能够提取元数据。”
在拍摄过程中，从相机中记录下所有相机元数据和镜头信息，并将其流式传输到Epic Games的Unreal中。然后将这些数据输入到Nuke中。使用Nuke中的UnrealReader工具，制片人可以以高质量重新渲染背景，从而省去使用高分辨率LED墙的必要。
在Nuke的CopyCat工具中，将虚拟和物理场景融合在一起，利用机器学习将LED墙与演员分离开来。通过使用跟踪相机的真实记录值重新渲染，消除了跟踪和实时渲染之间的滞后，使制片人可以自由地控制镜头移动。
将虚拟和实际物理场景融合在一起的核心是对物理镜头进行建模，从而使制片人可以扭曲Unreal渲染（或者去除实时拍摄画面的畸变）。团队采用Cooke Optics的/i Technology系统的准确工厂镜头映射来代替拍摄镜头格栅，该系统将畸变和遮挡参数嵌入到每个镜头本身中。
“到目前为止，将镜头放入CG流程并最终成功，只需要简单地确保画面线条正确，”Stump说，他正在为《Comandante》的摄影指导Ferran Paredes Rubio 提供建议。“标准方法是忽略任何现实世界镜头内部弯曲光线作用于矩形传感器的情况。然而，这项技术恰恰就在我们眼前。”
“我们采用Cooke系数，并自动将其应用于图像，使我们能够获得高度精确的畸变图，即使镜头在‘呼吸’。”
结果令人惊讶：整个格子的棋盘格纵横比完美一致。“目标是让导演能够充满信心地转到下一个摄影机位，”Haug说道。“这要求他们看到的图像不是Unreal Engine输出的球形参考和相机实际的梯形畸变之间的妥协。使用Cooke 40mm具有/i Technology的梯形畸变镜头，我们能够锁定CG和Qtake中的实时拍摄，因为Unreal的输出现在被扭曲以精确匹配相机的输出。”
“当你现场看到这个时，很显而易见，”Stump补充道。“每个人都看过超级英雄电影，注意到动画角色与画面的融合方式有些不对。NRT将改变这一点，因为CG角色感觉看起来就像是同一镜头在同一时间拍摄的‘真实’物体。”
电影制作过程中的第二个顿悟时刻是意识到 Foundry的AI抠像工具CopyCat的潜力。在对CopyCat进行训练后，LED墙可以在摄影期间被移除。理论上，这意味着场景可以在现场拍摄，背景可以替换并且可以几乎实时进行合成，而无需使用LED屏幕。
Haug说：“在测试过程中，有一个时刻，Copycat已经变得足够复杂，能够理解前景和背景之间的差异，即使相机指向墙外，也会用Unreal环境替换背景。在我们的场景中，墙只是通往环境的窗口。”
电影《Comandante》中开创的技术将改变电影制作人使用实时技术的方式，为导演在拍摄过程中提供更大的信心，并使他们能够将VP的技术限制推向前所未有的高度。
Stump表示：“NRT压缩了完成电影的迭代过程。过去，我们通常先编辑整个电影，然后再加入视觉效果。比起更接近最终效果的工作流程，传统交互的即时性创新度不够。如果将交互性融入到编辑过程中，那么它就是一个完整的创意融合。”
NRT工作流允许使用较低分辨率的LED屏幕，而不会出现通常与其相关的莫尔条纹伪影。这为制作方提供了使用更具成本效益的面板或更高对比度的户外面板，并保持LED灯光的丰富度的选项。
工作流有助于弥合现场和后期制作之间的鸿沟。使用Cooke的录制摄像机轨迹和高级镜头元数据与UnrealReader，现场或离线的视觉效果变得更容易。此外，通过使用真实、时间码精确的摄像机运动重新渲染LED墙，可以减少VP系统的延迟。
“希望在我们拍摄完之前，大部分电影都已经完成了。”Haug说道。“从视觉效果的角度来看，我们觉得可以在导演剪辑完成前交付所有这些镜头。”
NRT确保跟踪和以高效的方式存储拍摄所需的所有元数据，因为拥有这些信息对于引入视觉效果元素并实时向导演展示工作非常关键。
《Comandate》将于11月开始主要拍摄。
Cooke的“智能”技术是一种元数据协议，它使得电影和数字电影摄像机能够自动记录每帧拍摄的关键镜头数据，这些数据可以以数字化方式提供给视觉效果团队。
设备通过序列号和镜头类型进行识别，数据包括焦距、对焦距离、变焦位置、近距和远距对焦、超焦距距离、光圈值、水平视场、入瞳位置、惯性跟踪、畸变和遮蔽数据。每帧信息可以以数字方式存储，帧速率高达285 fps。
每个/i镜头内部的电子设备连接到校准的电阻传感条，可以在电源接通后立即提供数据，无需初始化过程。由于不再需要场记为每个镜头设置手动记录镜头设置，因此可以消除人为错误的潜在风险。
/i Technology是一个开放协议，完全集成在Cooke Optics的镜头范围内，并得到包括ARRI、RED和Sony在内的行业合作伙伴的支持。
它旨在通过以最易于获取的方式提供精确的数据，帮助在后期制作中节省时间和资源。数码摄像机会自动记录每一帧镜头的关键信息，然后将这些信息以数字方式提供给视觉效果团队。
后期制作特效师可以将镜头数据与3D摄像机数据同步，产生更自然的3D模型，并确信数据具有最高的准确性。