動画要約ツール：時間を分解する

Azlen Elza によるボリュームビジュアライゼーション、2022年。

動画は、私たちが持つなかで最も密度の高いメディアだ。ところが、それを閲覧するための道具ときたら、プログレスバーとチャプターマーカーがせいぜいである。Video Summagator は別の道を行く。Cuong Nguyen、Yuzhen Niu、Feng Liu が2012年にポートランド州立大学でプロトタイプを作り、10年後に Azlen Elza がブラウザ向けに書き直した。動画を半透明の3次元ボリュームとして扱い、回転させ、スライスし、なかを見通せるようにする。静止している領域はタイムラインに沿って伸びる無地のスラブになる。変化する部分はこの立方体に面白い形を穿つ。退屈な部分は圧縮される。生き生きとした部分は引き伸ばされる。

その根底にある直感は、映画よりも古い。

これは長い系譜に連なる。芸術家、科学者、哲学者、ヒューマンコンピュータインタラクションの研究者たちが、それぞれの言葉で同じ直感に手を伸ばしてきた——時間は空間的な配置へと分解でき、そうすることで新たな見方が生まれる、という直感だ。

読み込み中……

Video Summagator は、研究論文の連鎖の末端に生えた珍妙な逸物ではない。1878年に始まる一本の根系から最新の枝として伸びたものだ。その系譜は、ヴィクトリア朝の競馬走路、あるフランスの生理学者の銃、パリのキュビスム絵画の掛け方委員会、ヨークシャーの教会墓地、あるスウェーデンの地理学者の「人生の水族館」、そして MIT Media Lab の一本の論文を通っていく。そこから浮かび上がる設計原則——分解は生成的である、再生ではなく走査、退屈を圧縮し、生き生きとしたものを引き伸ばす——は、モダニストたち、哲学者たち、情報デザイナーたちがずっと別の語彙で言い表してきたものにほかならない。

運動する馬、1878年

1878年6月、Leland Stanford のパロアルトの養馬場で、Eadweard Muybridge は白く塗った走路に沿って、電磁シャッター付きのカメラを12台並べた。牝馬 Sallie Gardner が走り抜け、馬車を引き、その車輪が地面に埋めた12本のトリップワイヤーを踏んでいく。1本のワイヤーが1台のカメラを作動させる。その場にいた記者によれば、シャッターが一斉に鳴り響くさまは機関銃のようだったという。

Muybridge は12フレームを撮影した。Stanford は求めた答えを得た。走っている馬に四蹄すべてが地面から離れる瞬間があるか（ある、歩幅と歩幅の間に）。画家たちは、何世紀も使い続けてきた騰空の疾走ポーズを修正せざるを得なくなった。Sallie Gardner は、その動きが正しい順序で撮影された最初の動物になった。

連続する出来事を離散的なサンプルに切り分け、それを空間に並べる。この横一列のストップモーションは、今日のあらゆるタイムラインスクラバーが受け継いでいる幾何構造でもある。ただし、一本の線に押し込められてはいるが。

さらに読む：The Murderer Who Made Movies Possible（Disappearing Pod、Science History Institute）は、ここで飛ばした部分を扱っている。Muybridge は1874年に妻の愛人を殺害し、辺境の流儀の正義を理由に無罪となった。しかもそれはすべて、Stanford が彼を雇う前のことだった。

Horse in Motion——Eadweard Muybridge が最初に発表した連続運動写真のひとつ。出典：Library of Congress, Prints and Photographs。

Marey のクロノフォトグラフィック銃、1882年

3年後のパリで、生理学者 Étienne-Jules Marey は Muybridge のグリッドに満足していなかった。あの画像は12の異なる視点から撮られ、間隔も不揃いで、そこから何かを測ることはできない。Marey が欲しかったのは計測器であって、見世物ではなかった。

1882年、彼はライフルに似た形のクロノフォトグラフィック銃を作り、1枚の回転する感光板の上に毎秒12回露光した。彼は Bois de Boulogne のペリカンに向けてそれを撃った。ほどなく銃を捨て、スリットシャッター付きの固定カメラに切り替えて、連続する動作の段階を同じ静止した感光板に記録するようにした。出来上がった画像は、肉眼では決して見たことのないものだった。フェンシングの選手が前に突きを放ち、10人分の幽霊のような自分を引きずる。ペリカンは翼のリボンとなって引き伸ばされる。

マイブリッジが撮ったのは連続したシーケンスであり、マレは時間の中を動く軌跡を一枚の合成画像に圧縮した。どちらの道も残った。グリッドは絵コンテになり、合成はボリュームキューブになった。

Le mouvement Étienne-Jules Marey、1894、ウフィツィ美術館

Étienne-Jules Marey が撮影したペリカン

時系列写真銃の図解。La Nature、Louis Poyet 画、1882年。

Joinville Soldier Walking、1883、Étienne-Jules Marey による幾何学的時系列写真。パリ、コレージュ・ド・フランス

階段を降りる裸体、1912

1912年1月、二十四歳の Marcel Duchamp は、約二十の重なり合う姿勢に砕け、階段を伝って流れ落ちる形体を描いた。数十年後、彼は Katherine Kuh に、フェンシングの選手と疾走する馬の時系列写真がこの着想を与えたと語っている。マレの翼のリボンは、歩みとなって一枚の絵になった。

彼はこの絵をパリのアンデパンダン展に出品した。キュビストで構成された審査委員会——実の兄弟である Jacques Villon と Raymond Duchamp-Villon も含まれていた——は、取り下げるかタイトルを変えるかのどちらかを求めた。キュビスムの正統から見れば、この動勢はあまりに未来派的だった。彼は自分でカンバスを外し、会場を出た。以後この展覧会に出品することはなく、続く六年間は絵を描くことをやめた。最後の油彩画は1918年の Tu m’ である。

一年後、この絵はニューヨークのアーモリーショーで壁にかかった。ある批評家は「タイル工場での爆発」と呼んだ。セオドア・ルーズベルトは自分の浴室のナバホ織りの絨毯に例えた。『Art News』は、「あの女性を探し出した」者に十ドルを懸けた。デュシャンはアメリカの土を踏む前に、すでにアメリカで有名になっていた。

デュシャンのやり方はマイブリッジと正反対だった。マイブリッジは瞬間を一つずつ横に並べ、目に一本の帯を走らせる。デュシャンはそれらを同じ一つの身体に重ね合わせる。どちらの分解の仕方もこの系譜に連なっている。どちらも繰り返し戻ってくる。

Marcel Duchamp『階段を降りる裸体、第2番』、1912年、カンバスに油彩。出典：フィラデルフィア美術館

キュビスム：時間を装った視点

キュビスムのもう一本の軸は運動ではなく、視点の累積である。Pablo Picasso と Georges Braque は1908年から1912年にかけて、ブラークの言葉を借りれば「一本のロープでつながれた二人の登山者」のように協働し、静止した対象を噛み合う切断面へと分解した。ギター、肖像、静物——どれも、対象の周りを一周し、あらゆる角度を同時に重ね焼きしたかのように描かれる。

これは見回すことを空間化したものだ。視覚が瞬間的ではなく累積的であるなら、目に映るのはこうなる。Hockney は後にこの点を許可証のように掴み取り、キュビスムは行き詰まった抽象の袋小路ではなく、人間の知覚の働きをより正確に描いたものだと主張した。

同じパリには哲学者 Henri Bergson がいた。彼は temps（時計の時間、分割可能、空間的）と durée（生きられた持続、分割不可能）を区別し、この区別が前衛芸術の全体に影を落とした。ベルクソンは時間を空間化することに警告を発した。キュビストたちは1912年の宣言『Du Cubisme』で彼を引用し、そのまま実行した。この系譜に付きまとう逆説はこうだ。時間を空間に並べるあらゆるインターフェースは、ベルクソンが持続の偽造だと指弾する危険を冒す。そしてそのどれもが、ベルクソンが画家にしか与えられないと認めたもの——鑑賞者の手にあるリズム——を引き換えに手に入れている。

Pablo Picasso『二人の女』、キャンバスに油彩。下端に沿って署名と日付が画面に記されている：Boisgeloup、1934年5月29日。

1000ドルの一週間、1982年

1982年2月、ポンピドゥー・センターの写真キュレーターAlain SayagはDavid Hockneyに回顧展の開催を依頼した。Hockneyの写真に対する態度は矛盾していた。彼がよく口にする言葉がある：

写真は悪くない、片目が麻痺したキュクロプスの視点で、世界を一瞬だけ見ることを気にしないならね。でも人間は世界の中で生きている。そんなふうにはいかない。

当時彼はロサンゼルスの部屋を描いていて、ポラロイド写真を視覚的なメモとしてキッチンのテーブルに広げていた。彼は一歩下がった。

出来が良すぎて、見ていて何が起きているのか信じられなかった。これらの異なる空間が見えて、思ったよ——なんてこった、写真でこんなものは見たことがない。それから昼も夜もカメラに張り付いた。すぐに1000ドル分のポラロイドフィルムを買った。一週間で、とても複雑なものを作り上げた。

1982年2月から5月の間に、彼は150点のポラロイド・コラージュ作品を制作し、それを「joiner」と呼んだ。かつて絵画に費やしていた時間が、今度は写真の内部に戻ってきた。一枚ずつ独立した露光を格子状に積み重ねることで蓄積されていく。

David Hockney『Gregory Watching The Snow Fall』、京都、1983年2月21日、出典：The David Hockney Foundation

ブラッドフォード、1985年7月

三年後、西ヨークシャーの昇降プラットフォームの上で、Hockneyはブラッドフォードの国立写真・映画・テレビ博物館を撮影した。三日をかけ、左から右へ横にスキャンするように撮っていった。出来上がったものをよく見てみる。ベージュのコートを着た同じ女が、入口の前を何度も行き来している。車は画面の継ぎ目で真っ二つに切れている。空は片側が曇り、片側が晴れている——写真が二日に分けて撮られたからだ。ある一コマにはURGENTと記されたClear Colour Processingからの封筒も写っている。現像所が彼の写真を急ぎで処理したのだ。

これらの写真の中で流れた時間は錯覚ではない。実在し、しかも写真の枚数に数え入れられている。

画像を作るのに費やした時間が、画像の内部で明瞭に読める。これは一度見てしまえばもう無視できないデザインの手法だ。時間がレイアウトの一属性になる。撮影された作業日程。

さらにそれは、もっと静かな約束もしている。もし時間の長さを一枚の静止画像に収められるのなら、逆もまた必ず成り立つはずだ。動画とは画像の束にほかならない。ならばそこには、読み取れる静止画像がすでに含まれている。あとは見方を知るだけでいい。

『Scrabble Game』、1983年1月1日。出典：The David Hockney Foundation

[David Hockneyの見事なコラージュが写真について明かしたこと David Hockneyは、写真は生気のない媒体だと考えていた——少なくとも素描や絵画と比べれば。だが一つの写真実験が、まったく予想外で、変革的な結果をもたらした。

より：HOCKNEY http://bit.ly/2fCQwY9

https://www.youtube.com/watch?v=rz5vWgKy2Sc](https://www.youtube.com/watch?v=rz5vWgKy2Sc)

溝、1993年

Scott McCloudの『Understanding Comics』（1993年）はこの原理をずばりと言い切っている。漫画において、時間と空間は同じものだ。コマは、空間と時間が切り分けられつつあることを示す包括的な記号である。コマとコマの間の空白、つまり溝こそが、漫画が本当に起きている場所だ。

時間はコマの中に描かれるのではなく、読者がコマを掃っていく動作によって演じられる。芸術家はどれだけ空間を与えるかによって、一つのビートがどれだけの時間を占めるかを制御する。コマが大きければビートは長い。並びが密であればテンポは速い。

二十年後、Video Summagatorが三次元でやったのはまさに同じことだ。時間は塊に切られ、空間的に配置され、読者の注意が再生ヘッドになる。タイムラインのスライダーは一次元の帯であり、時間を均等に配分する。漫画の一ページ、Hockneyのコラージュ、Summagatorの立方体は、より高次元の表面であり、レイアウトそのものがリズムだ。

『The Gutter』：Scott McCloud『Understanding Comics』、1993年。

スリットスキャン：時間が文字通りの座標軸になる

スリットスキャン撮影は珍しい技法で、ここでは時間が隠喩ではなく空間の座標軸になる。カメラと連続的に動くフィルムの間に細いスリットを置く。長時間露光。出来上がった画像の一方の軸は実空間、もう一方は時間そのものだ。

現代の競馬場のゴール写真はスリットスキャン画像そのものだ。ゴールラインはスリットの位置に固定されている。馬群の後方にいる馬は時間軸に沿って引き伸ばされ、最も速い馬は圧縮される。Belmont であの画像を見たとき、それはスナップショットではなく、時間を目に見える水平の座標軸に変えたものだ。

Douglas Trumbull が『2001: A Space Odyssey』の Stargate の場面で使ったのも、光学台の上での同じ手法だった。1フレームの露光に5分。ウォームギア駆動の撮影台が、4フィートの黒いマスクに開いたスリットに向かってゆっくり進む。スクリーン上の1秒ごとに、何時間もの根気強い機械的走査が費やされる。スリットスキャンはこの系譜の極限だ。画像はそもそもフレームに切られていない。読み手は時間を空間として読むしかない。

Time remap - Anamorphose temporelle。出典：Adrien M & Claire B

偶然の Hockney、2020年

Zoom のギャラリービューが20個の矩形で画面を埋め尽くすとき、それぞれの矩形は同じ瞬間の独立した時間の流れだ。そこで見ているのは、意図せず出来上がった Hockney のコラージュである。Zoom の誰もキュビスムを考えていたわけではない。あのグリッドは多人数通話のためのインターフェース上の妥協にすぎない。

2020年3月のロックダウンから数週間で、「Brady Bunch 効果」は文化を指す言葉になった。Sherwood Schwartz は1969年に『Brady Bunch』のオリジナルオープニングのグリッドを組み、2011年に亡くなった。パンデミック期のこの視覚言語を取り上げたのが自分だとは、最後まで知らずに。

デザイナーへの示唆：視点を一つに選べないなら、全部を並べればいい。観る側が自力で場面を組み立てる。Hockney はそれを美的な選択にした。Zoom はそれをデフォルトにした。同じ形式が生まれたのは、背後の制約——一つの矩形の中に同時に存在する複数の視点を表す——に安定した解がわずかしかないからだ。

この系譜のどの節点も、ある芸術家、科学者、エンジニアが同じことに気づいた結果だ。人間の時間は時計ではなく、人間の視覚はスナップショットではない。そして目の前の矩形は、どちらかを歪めずに収めるには小さすぎる。彼らの答えは、固定された単一の瞬間を捨て、複数の瞬間を横に並べ、残りは観る者の目に任せることだった。

Mingle by Tellart：距離を感知するアバターの吹き出しを備えた仮想空間。「Mingle は Zoom 的な集まりを再構想し、対面の会話を模倣する。近づけば声ははっきりし、離れれば薄れ、グループ間の移り変わりが自然になる。」

Hägerstrand の水槽、1970年

1970年、スウェーデンの地理学者 Torsten Hägerstrand は「What about People in Regional Science?」を発表した。個人の存在はそれぞれ三次元の軌跡を描く、という主張だ。二つの水平軸が位置を、一つの垂直軸が時間を表す。講義で彼は、そうした軌跡をすべて含む立方体を水槽と呼んだ。

Hägerstrand の図は手描きだった。実際に扱えるようになったのは1990年代に GIS ソフトウェアが登場してからだ。地理学者 Harvey Miller は、都市の中で密集し重なり合う人々のライフコースを調べる際、レンダリングされた立方体を「パスタ工場の爆発」と呼んだ。80年前のアーモリーショーで批評家が言った「木瓦工場の爆発」と呼応している。同じイメージが、同じ種類の嘲笑を、二度浴びた。

Hägerstrand の水槽は、この系譜がたどる転回を最もきれいに数学で表したものだ。二つの空間次元と一つの時間次元を持つデータにとって、立方体は自然な幾何学形態である。動画はまさにそれだ。地理学者は動画研究者より40年早くここに到達した。出発点はレンズを通る光ではなく、人間の活動だった。

Hagerstrand の時空間水槽

Salient Stills、MIT、1992年

Laura Teodosio は MIT Media Lab の修士論文で、Walter Bender の指導のもと、ほとんどの人が自分にそんな問題があると知らない小さな課題に取り組んだ。動画を1枚の静止画にするとき、撮影時にカメラがしていたことを失わずに済ませるにはどうすればいいか。

彼女の手法は、各フレームをアフィン変換で隣接フレームに位置合わせし、カメラのパンとズームを計算に含め、位置合わせしたフレームを合成して横長の高解像度静止画を作るというものだ。ヴァイオリン奏者に寄っていく映像は、彼の顔の画像に収束する。ディテールはスタジオ品質で、周囲には元のフレーミングでは切り落とされていた広い舞台が広がる。この静止画は動画のある1フレームではなく、動画全体を累積的に読み取ったものだ。Bender との共著論文はこう述べている。この種の画像は、写真のようにある離散的な瞬間だけを表すのではなく、シーケンス内の時間変化を集約して運びながら、顕著な特徴を保つ。

Teodosio がこの静止画を計算するために内部的に使っていたもの——時間方向に整列させたレジストレーションフレームの束——が Summagator キューブだ。1992 年、彼女はキューブを隠れた中間生成物として扱い、出力は一枚の平面画像だった。二十年後、Portland State の Liu のチームは、この隠れたキューブをそのままインターフェースとして表に出す。アルゴリズムとその後の系譜はSalient Stills アーカイブに詳しい。

Teodosio は MIT を離れた後 Salient Stills, Inc. を立ち上げ、この仕事をフォレンジック映像ソフトウェアとして製品化した。キューブは裏方で動き続けた。本当に面白いのは、誰かが足場そのものを建築だと思い込んだときに何が起きるかだ。

ズーム列から生成した合成画像。合成画像内の4つの矩形領域は、上段の変形済み各フレームから取られている。高解像度画像は、変形フレームの各ピクセルに時間方向のメディアンを適用して得られる。つまり、合成画像の任意のピクセルの最終値は、第1フレームから第4フレームまでのピクセルが共同で決める。

Video Cubism、2000年

これが Summagator の最も直接的な前身だ。UBC の Sidney Fels と京都 ATR の Kenji Mase は、学生の Eric Lee を交えて ACM Multimedia 2000 で Techniques for Interactive Video Cubism を発表した。要旨の最初の一文が、十二年早く Summagator の核心を言い当てている。映像データは三次元データの塊であり、ユーザーはその中で切断面を操作する。

水平な切断面は単一フレームを復元する。時間軸に垂直な切断面が与えるのは、コンピュータビジョン研究者が言うところのエピポーラ図（epipolar diagram）——ピクセルが時間とともに残す軌跡で、動きを目に見える縞として現す。斜めの切断面から得られる画像は分析的でありながら絵画的でもあり、四十季節分の天気を記録した木目のようだ。

Fels と Mase は皮肉抜きでこのインターフェースを Video Cubism と名付けた。美術史の典故こそが要点だ。キューブから一般向け製品へ進むことはできなかったが、キューブからインターフェースへは進んだ。Video Summagator が受け継いだのはまさにこの一歩だ。

関連文献：Techniques for Interactive Video Cubism（ACM MM 2000、Fels、Lee、Mase）。

映像フレームを積み重ねて一つのボリュームを構成する。右図は7秒分のデータ（210フレーム、212×160ピクセル）を含むビデオキューブを示す。シーンは部屋で、カメラがパンとズームを行っている。出典：Techniques for Interactive Video Cubism。

Video Summagator、2012年、2022年に復活

Cuong Nguyen、Yuzhen Niu、Feng Liu が CHI 2012 で Video Summagator: An Interface for Video Summarization and Navigation を発表した。4ページ、平明な文章で、まさに模範と言える。

VS は一本の映像をキューブとして捉え、時間を第三の次元とする。リアルタイムのボリュームレンダリング技術で、3D ボリューム内にキューブを高速に可視化する。VS は映像の要約とナビゲーションをシームレスに一つにまとめている。

各ピクセルがボクセルになる。映像の中で静止している部分は時間軸に沿って同一のボクセルの列を作り、妥当な不透明度伝達関数はそれを不透明な色の板として描画する。人が画面を横切れば、キューブの中に斜めのワームホールが穿たれる。パンするカメラは キューブのせん断 によってそのままパノラマへ帰着できる——まさに Teodosio が1992年にアフィン変換で自動化した操作であり、今では直接操作としてユーザーの手に渡っている。

キューブ内でスプライン曲線をドラッグすると、レンダリングがそれに合わせて変形し、追従する。カメラが動いていても興味深い内容を追跡できる。このインターフェースは実のところ、一つの問いを投げかけている。この映像を彫刻にしたらどんな形になるか？

このプロトタイプが製品化されることはなく、論文は結びの段落で自ら採算を計算している。動体検出は既製の手法を使っており、「時にあまり信頼できず」、レンダリングに視覚的なアーティファクトを残す。手法自体にも二つの代償がある。正面から見るとキューブは自分自身を遮蔽するため、ユーザーの最初の操作はキューブを回すことになる。そして毎フレームをレンダリングするとボリュームが雑然とするため、見えるキューブはサンプリングであり、既定では二十フレームに一フレームを取る。長い映像では、10000フレームを代表する1500フレームということになる。彫刻は映像ではない。二十フレームに一フレームを取った解釈だ。Azlen Elza による2022年のブラウザ版は、数少ない公開された再実装の一つである。

出典：Video Summagator: An Interface for Video Summarization and Navigation。

同じ素材の二つの読み方。左ではトラックが通り過ぎ、右では時間軸に平行な切断面がその動きを斜めの縞に引き伸ばしている。

退屈な部分を圧縮し、生き生きした部分を拡大する

分解は生成的である。連続したメディアを離散的な単位に切り分けることは、忠実さの損失ではない。それは新しい並べ方を開く。Muybridge の12台のカメラは、何世紀ものあいだどの画家も正しく描けなかった歩容を明らかにした。Hockney のフォトコラージュは、写真においてこれまで見たことのなかったものを彼に見せた。切片は原料であって、残渣ではない。

走査が再生に取って代わる。時間が空間に展開されれば、再生ヘッドは任意のものになる。読む速さは関心が決めるのであって、元の録画の時計が決めるのではない。Bergson は空間化された時間が持続を殺すと危惧した。この系譜のインターフェースは逆の結果を示している。空間化されたレイアウトは、テンポを観る者に返す。

退屈な部分を圧縮し、生き生きした部分を拡大する。平坦なタイムラインは、死んだように静かな空档にも、天地がひっくり返る瞬間にも、同じ幅を割り当てる。この系譜のどのインターフェースも、その比率を歪めている。Hockney は見る価値のある場所でより多く撮った。漫画は長いビートにより大きなコマを与える。Summagator のボクセルは、何も変わらない場所では潰れ、動きが起きる場所では展開する。

ルネサンス遠近法が売りつけたあの虚構——一つの眼、一つの瞬間、一つの額縁——は、1878年以降、圧力にさらされ続けている。時間のためのインターフェースは、それを打ち破る新しい方法を見つけ続けてきた。