视频摘要器：分解时间

Azlen Elza 的体视频可视化，2022 年。

视频是我们拥有的密度最高的媒介。而我们用来浏览它的工具，却只是一个进度条和几个章节标记。Video Summagator 走的是另一条路。它由 Cuong Nguyen、Yuzhen Niu 和 Feng Liu 于 2012 年在波特兰州立大学做出原型，十年后由 Azlen Elza 为浏览器重写。它把一段视频当作一个半透明的三维体块，可以旋转、切片、看进去。静止的区域变成沿时间轴延伸的实色板块。变化的部分在这个立方体里凿出有趣的形状。无聊的部分被压缩。鲜活的部分被撑开。

它遵循的直觉比电影还古老。

它属于一条长长的谱系：艺术家、科学家、哲学家、人机交互研究者，各自用自己的语言，伸手去够同一种直觉——时间可以被拆解成空间上的排布，而这样做会带来新的观看方式。

加载中……

Video Summagator 不是研究论文链条末端的一个猎奇玩意。它是一套根系上最新长出的枝条，这套根系始于 1878 年。这条谱系穿过维多利亚时代的一条赛马跑道、一位法国生理学家的步枪、巴黎一个立体主义的挂画委员会、约克郡的一处教堂墓地、一位瑞典地理学家的“人生水族馆”，以及一篇 MIT Media Lab 的论文。它浮现出的设计原则——拆解即生成、扫描取代播放、压缩无聊，撑开鲜活——正是现代主义者、哲学家和信息设计师一直在用不同词汇表述的东西。

运动中的马，1878

1878 年 6 月，在 Leland Stanford 的帕洛阿尔托养马场，Eadweard Muybridge 沿一条刷白的跑道排开十二台带电磁快门的相机。母马 Sallie Gardner 跑了过去，拉着一辆马车，车轮碾过十二根埋在地下的绊线。每根线触发一台相机。据当时在场的一名记者说，这些快门一起响起来，像一挺机枪。

Muybridge 拍了十二帧。Stanford 得到了他想要的答案：奔跑中的马是否会有四蹄全部离地的瞬间（有，在步幅之间）。画家们不得不修改他们沿用了几百年的腾空飞奔姿势。Sallie Gardner 成为第一只运动过程被按正确顺序拍摄下来的动物。

把一个连续事件切成离散的采样，再在空间里铺开。这一排横向排列的定格画面，也是今天每一个时间轴拖动条所继承的几何结构，只是被压缩成了一条线。

延伸阅读：The Murderer Who Made Movies Possible（Disappearing Pod，Science History Institute）讲了我们略过的那部分。Muybridge 在 1874 年杀死了妻子的情人，以边疆式正义为由被判无罪，而这一切都发生在 Stanford 雇用他之前。

Horse in Motion——Eadweard Muybridge 最早发表的两组连续运动照片之一。来源：Library of Congress, Prints and Photographs。

Marey 的计时摄影枪，1882

三年后的巴黎，生理学家 Étienne-Jules Marey 对 Muybridge 的网格并不满意。那些画面取自十二个不同的视角，间隔也不规则，从中量不出任何东西。Marey 要的是仪器，不是奇观。

1882 年，他造了一把计时摄影枪，外形像步枪，在单块旋转底片上每秒曝光十二次。他对着 Bois de Boulogne 的鹈鹕拍摄。不久他便放弃了枪，改用带狭缝快门的固定相机，把连续的动作阶段记录在同一块静止的底片上。得到的图像是肉眼从未见过的：一名击剑者向前突刺，拖出十个幽灵般的自己；一只鹈鹕被拉成一条翅膀的飘带。

迈布里奇拍的是连续序列，马雷则把运动在时间中的轨迹压进单张合成图像。两条路都留了下来。网格变成了分镜。合成变成了体积立方。

Le mouvement Étienne-Jules Marey，1894，乌菲齐美术馆

Étienne-Jules Marey 拍摄的鹈鹕

时序摄影枪图解。La Nature，Louis Poyet 绘，1882。

Joinville Soldier Walking，1883，Étienne-Jules Marey 的几何时序摄影。巴黎法兰西公学院

下楼梯的裸女，1912

1912 年 1 月，二十四岁的 Marcel Duchamp 画了一个碎裂成约二十个重叠姿态、沿楼梯倾泻而下的形体。几十年后他告诉 Katherine Kuh，击剑手和奔马的时序摄影给了他这个想法。马雷那条翅膀的飘带，被走成了一幅画。

他把这幅画送交巴黎独立者沙龙。由立体派组成的评审委员会——包括他的亲兄弟 Jacques Villon 和 Raymond Duchamp-Villon——要求他要么撤展，要么改标题。在立体派的正统看来，这个动势太未来主义了。他自己把画布取下来，走了出去。此后他再没向该沙龙送过作品，并在接下来的六年里放弃了绘画：他最后一幅布面油画是 1918 年的 Tu m’。

一年后，它挂上了纽约军械库展览的墙。一位评论家称它是“瓦片厂里的一场爆炸”。西奥多·罗斯福把它比作他浴室里的纳瓦霍地毯。《Art News》悬赏十美元，谁若能“找出那位女士”就归谁。杜尚人还没踏上美国土地，就已经在美国出了名。

杜尚的做法与迈布里奇正好相反。迈布里奇把一个个瞬间并排铺开，让眼睛去扫过一条带子；杜尚则把它们叠压在同一具身体里。这两种拆解方式都在这条谱系上。两者都一再回来。

Marcel Duchamp，《下楼梯的裸女，第2号》，1912年，布面油画。来源：费城艺术博物馆

立体主义：伪装成时间的视点

立体主义的另一条轴不是运动，而是视点的累积。Pablo Picasso 与 Georges Braque 在1908到1912年间合作，用布拉克的话说，“像两个拴在一根绳上的登山者”，把一个静止的对象拆成互相咬合的切面。一把吉他、一幅肖像、一组静物，全都画得仿佛你绕着它们走了一圈，再把每个角度同时叠印上去。

这是把环视空间化。如果视觉是累积的而非瞬时的，你看到的就是这样。Hockney 后来抓住这一点当作许可，声称立体主义不是一条走不通的抽象死路，而是对人类感知运作方式更准确的描绘。

同一座巴黎还出了哲学家 Henri Bergson，他区分 temps（钟表时间，可分割，空间性）与 durée（活过的绵延，不可分割），这一区分笼罩着整个先锋派。柏格森警告不要将时间空间化。立体派在1912年的宣言《Du Cubisme》里引用了他，然后照做不误。这条谱系持久的反讽在于：每一个把时间铺陈在空间里的界面，都冒着被柏格森指为伪造绵延的风险，而它们每一个又都换回了柏格森只肯承认画家能给予的东西——节奏，握在观看者手里。

Pablo Picasso，《两个女人》，布面油画。底边沿画面写有签名与日期：Boisgeloup，1934年5月29日。

一千美元的一周，1982

1982年2月，蓬皮杜中心摄影策展人Alain Sayag邀请David Hockney举办一场回顾展。Hockney对摄影的态度是矛盾的。他有一句常挂在嘴边的话：

只要你不介意用一只瘫痪的独眼巨人的视角、只看一瞬间的世界，摄影也没什么不好。但人活在世界里，并不是那样。

当时他正在画一幅洛杉矶的房间，用宝丽来照片做视觉笔记，摊在厨房桌上。他往后退了一步。

效果太好了，我看着它，简直不敢相信眼前发生的事。我看到了这些各不相同的空间，心想：天哪，我在摄影里从没见过这样的东西。之后我日夜守着相机。我立刻买了一千美元的宝丽来胶片。一周之内，我就做出了非常复杂的东西。

1982年2月到5月间，他创作了150件宝丽来拼贴作品，称之为“joiner”。他过去花在绘画上的时间，如今回到了照片内部，以一张张独立曝光拼成的网格累积起来。

David Hockney，《Gregory Watching The Snow Fall》，京都，1983年2月21日，来源：The David Hockney Foundation

布拉德福德，1985年7月

三年后，在西约克郡的一台升降平台上，Hockney拍摄了布拉德福德的国立摄影、电影与电视博物馆。他花了三天，从左到右横向扫拍。细看拼出来的成品：同一个穿米色外套的女人在入口前走过好几次。汽车在画面接缝处被切成两半。天空一侧阴沉、一侧晴朗，因为这些照片是分两天拍的。其中一格还能看到一只标着URGENT、来自Clear Colour Processing的信封——冲印店加急处理了他的照片。

这些照片中流逝的时间并非错觉，而是真实存在的，并且被计入照片的数量之中。

制作图像所耗费的时间，在图像内部清晰可读。这是一种你一旦看见就再也无法忽视的设计手法。时间成了布局的一种属性。一份被拍摄下来的工作日程。

它还许下一个更安静的承诺：如果时长可以被放进一张静止图像里，那么反过来也必然成立。一段视频本就是一叠图像，因此它必然已经包含了一张你能读出的静止图像。你只需要知道该怎样去看。

《Scrabble Game》，1983年1月1日。来源：The David Hockney Foundation

[David Hockney 那些精彩拼贴揭示了照片的什么 David Hockney 认为摄影是一种没有生命的媒介——至少与素描或绘画相比是如此。但一次摄影实验带来了完全出乎意料、且具有变革性的结果。

来自：HOCKNEY http://bit.ly/2fCQwY9

https://www.youtube.com/watch?v=rz5vWgKy2Sc](https://www.youtube.com/watch?v=rz5vWgKy2Sc)

沟槽，1993

Scott McCloud 的《Understanding Comics》（1993）直截了当地陈述了这一原理。在漫画中，时间与空间是同一回事。分格是一个笼统的标志，表明空间与时间正被切分。分格之间的空白，也就是沟槽，才是漫画真正发生的地方。

时间并不在分格中被描绘出来，而是由读者扫过分格的动作来演出。艺术家通过给予多少空间，来控制一个节拍占据多少时间。分格越大，节拍越长。序列越拥挤，节奏越快。

二十年后，Video Summagator 在三维中所做的正是同一件事。时间被切成块，按空间排列，而读者的注意力就是播放头。时间轴滑块是一条一维的带子，把时间均匀地分配。一页漫画、一幅 Hockney 拼贴、一个 Summagator 立方体，则是一个更高维的表面，布局本身就是节奏。

《The Gutter》：Scott McCloud，《Understanding Comics》，1993。

狭缝扫描：时间作为字面意义上的坐标轴

狭缝扫描摄影是一种少见的技术，时间在这里是空间坐标轴，而不是隐喻。相机与持续移动的胶片之间留一道窄缝。长时间曝光。成像结果的一个坐标轴是真实空间，另一个就是时间本身。

现代赛马场的终点摄影就是一张狭缝扫描图像。终点线固定在狭缝处。落在马群后段的马匹沿时间轴被拉长；跑得最快的马匹则被压缩。你在 Belmont 看到的那张图不是快照，而是把时间变成一条可见的水平坐标轴。

Douglas Trumbull 在《2001: A Space Odyssey》中的 Stargate 段落，在光学台上用了同样的手法。每帧曝光五分钟，蜗轮传动摄影车缓缓驶向一块四英尺黑色遮罩上开出的一道狭缝。银幕上每一秒画面，都要耗费数小时耐心的机械扫描。狭缝扫描是这一脉络的极限情形：图像根本没有被切成帧，读者除了按空间去读时间，别无选择。

Time remap - Anamorphose temporelle。来源：Adrien M & Claire B

意外的 Hockney，2020

当 Zoom 的画廊视图 用二十个矩形填满你的屏幕，每个矩形都是同一个瞬间各自独立的时间流，你看到的就是一件无意间做成的 Hockney 拼贴。Zoom 没有人当时在想立体主义。这个网格只是为多方通话做的界面妥协。

2020 年 3 月封城后几周内，“Brady Bunch 效应”就成了文化上的代称。Sherwood Schwartz 在 1969 年搭出《Brady Bunch》原版片头的网格，2011 年去世，始终不知道是他接生了大流行时期的这套视觉语言。

给设计师的启示：当你无法选定一个视角时，就把它们全部并置。观者会自行拼合出场景。Hockney 把它变成了一种美学选择。Zoom 把它变成了默认设置。两者产生了相同的形式，因为背后的约束——在一个矩形里表现多个同时存在的视点——只有少数几种稳定的解法。

这条脉络上的每一个节点，都是某位艺术家、科学家或工程师注意到了同一件事：人类的时间不是钟表，人类的观看不是快照，而眼前这个矩形太小，装不下其中任何一样而不失真。他们的回答是放弃那个单一的凝固瞬间，把多个瞬间并排铺开，剩下的交给观者的眼睛。

Mingle by Tellart：一个带有距离感知头像气泡的虚拟景观。“Mingle 重新构想了 Zoom 式的聚会，模仿面对面的交谈：靠近时声音更清晰，远离时逐渐淡出，让不同群体之间的切换流畅自然。”

Hägerstrand 的水族箱，1970

1970 年，瑞典地理学家 Torsten Hägerstrand 发表了《What about People in Regional Science?》。他提出，每个个体的存在都划出一条三维轨迹。两个水平轴表示位置，一个垂直轴表示时间。在课堂上，他把包含所有这类轨迹的立方体称为水族箱。

Hägerstrand 的图是手绘的。直到 1990 年代 GIS 软件出现，这些图才真正可操作。地理学家 Harvey Miller 在考察城市人口密集交叠的生命轨迹时，把渲染出的立方体称为“意大利面工厂里的爆炸”，与八十年前军械库展览的评论者所说的“木瓦工厂里的爆炸”遥相呼应。同一个意象，被同一种嘲讽击中，两次。

Hägerstrand 的水族箱，是这条谱系所追溯的转向最干净的数学表述。对于任何具有两个空间维度和一个时间维度的数据，立方体都是天然的几何形态。视频恰恰如此。地理学家比视频研究者早四十年抵达这里，他们的出发点是人类的活动，而不是穿过镜头的光。

Hagerstrand 的时空水族箱

Salient Stills，MIT，1992

Laura Teodosio 在 MIT Media Lab 的硕士论文由 Walter Bender 指导，研究的是一个大多数人不知道自己有的小问题：怎样把一段活动影像变成单张静止图像，又不丢掉拍摄时摄影机在做的事？

她的做法是用仿射变换把每一帧对齐到相邻帧，把摄影机的平移和变焦一并算进去，再把配准后的帧合成为一张宽幅高分辨率静帧。一段正在推近的小提琴手影像，会塌缩成一张他面部的图像，细节达到影棚水准，四周则是原始取景裁掉的那片更宽的舞台。这张静帧不是视频里的某一帧，而是对整段视频的累积读取。她与 Bender 合写的论文把这一点说成一组对照：这样的图像不像照片那样只代表某一个离散时刻，它承载的是一段序列中时间变化的聚合，同时保留显著特征。

Teodosio 在内部用来计算这张静帧的东西——一叠按时间对齐的配准帧——就是 Summagator 立方体。1992 年，她把立方体当作隐藏的中间产物，输出是一张平面图像。二十年后，Liu 在 Portland State 的团队把这个隐藏的立方体直接摆出来当作界面本身。算法与后续脉络见完整的 Salient Stills 档案。

Teodosio 离开 MIT 后创办了 Salient Stills, Inc.，把这项工作产品化为取证视频软件。立方体继续在幕后运转。真正有意思的是：当有人认定脚手架本身就是建筑时，会发生什么。

由缩放序列生成的合成图像。合成图中的四个方框区域取自上方经过形变的各帧。高分辨率图像是对形变帧中每个像素做时间中值得到的；也就是说，合成图中任一像素的最终取值都由第 1 至第 4 帧的像素共同决定。

Video Cubism，2000

这是 Summagator 最直接的前身。UBC 的 Sidney Fels 和京都 ATR 的 Kenji Mase 带着学生 Eric Lee 在 ACM Multimedia 2000 上发表了 Techniques for Interactive Video Cubism。摘要的第一句话提前十二年道出了 Summagator 的核心命题：视频数据是一块三维数据，用户在其中操纵一个切面。

水平切面还原出单帧。垂直于时间轴的切面给出的是计算机视觉研究者所说的对极图（epipolar diagram）——像素随时间留下的轨迹，把运动显现为可见的条纹。斜切得到的图像既是分析的，也是绘画的，像一块记录着四十个季节天气的木纹。

Fels 和 Mase 毫不反讽地把这个界面命名为 Video Cubism。艺术史典故正是重点。他们没能从立方体走到面向公众的产品，但确实从立方体走到了一个界面，而 Video Summagator 继承的正是这一步。

延伸阅读：Techniques for Interactive Video Cubism（ACM MM 2000，Fels、Lee、Mase）。

视频帧被堆叠起来构成一个体。右图展示的是一个包含 7 秒数据（210 帧；212×160 像素）的视频立方体。场景是一个房间，摄像机在平移和缩放。来源：Techniques for Interactive Video Cubism。

Video Summagator，2012 年，2022 年复活

Cuong Nguyen、Yuzhen Niu 和 Feng Liu 在 CHI 2012 上发表了 Video Summagator: An Interface for Video Summarization and Navigation。四页，平实的文字，堪称范本。

VS 把一段视频看作一个立方体，时间是第三个维度。它用实时体渲染技术，在 3D 体中快速把立方体可视化出来。VS 把视频摘要和导航无缝地合在了一起。

每个像素变成一个体素。视频中静止的部分沿时间轴形成一列列相同的体素，一个合理的透明度传递函数会把它们渲染成不透明的彩色板块。一个人走过画面，就在立方体里凿出一条斜向的虫洞。平移的摄像机可以直接通过 剪切立方体 归纳成一张全景图——这正是 Teodosio 在 1992 年用仿射变换自动完成的操作，如今作为直接操控交到用户手里。

在立方体里拖出一条样条曲线，渲染就会随之变形、跟着它走，即使摄像机在移动也能追踪到有意思的内容。这个界面实际上是在问一个问题：这段视频做成雕塑是什么样子？

这个原型从未产品化，而论文在结尾段落里自己算了账：运动物体检测用的是现成方案，“有时不太可靠”，而且会在渲染中留下视觉伪影。方法本身还有两处代价。从正面看，立方体会遮挡自己，所以用户的第一步操作就是把它转过来。而渲染每一帧会让体变得杂乱，所以你看到的立方体是一个采样，默认二十帧取一帧；对于一段长视频，就是 1500 帧代表 10000 帧。雕塑不是视频。它是对其中每二十帧取一帧的解读。Azlen Elza 2022 年的浏览器版本是少数几个公开的重新实现之一。

来源：Video Summagator: An Interface for Video Summarization and Navigation。

同一段素材的两种读法。左侧，货车驶过；右侧，一个平行于时间轴的切面把它的运动拉成斜条纹。

压缩无聊的，放大鲜活的

分解是生成性的。把连续的媒介切成离散的单元，并不是保真度的损失。它打开了新的排布方式。Muybridge 的十二台相机揭示出一种步态，几个世纪以来没有一位画家画对过。Hockney 的拼贴照片让他看到了摄影中从未见过的东西。切片是原料，不是残渣。

扫描取代播放。当时间被铺展在空间里，播放头就成了可选项。阅读速度由兴趣决定，而不是由原始录制的时钟决定。Bergson 担心空间化的时间杀死了绵延。这一脉络中的界面证明了相反的结果：空间化的布局把节奏交还给了观看者。

压缩无聊的，放大鲜活的。一条平直的时间轴，给死寂的空档和天翻地覆的那一刻分配了同样的宽度。这一脉络中的每一个界面都在扭曲这个比例。Hockney 在值得看的地方拍了更多照片。漫画给更长的节拍更大的画格。Summagator 的体素在毫无变化处坍缩，在动作发生处展开。

文艺复兴透视法兜售的那个虚构——一只眼睛、一个瞬间、一个画框——自 1878 年起就承受着压力。为时间而做的界面，一直在找到打破它的新办法。