気に入ったウェブサイトがあれば、バックアップしておこう

ネットアーキビストが最も愛したファンサイトが消え、そのドメインはギャンブル広告を掲載し始めた。お気に入りのサイトが同じ運命をたどる前にアーカイブする方法を以下に示す。

日本語
コピー
Browsertrix 抓取工具的界面截图,抓取范围设为「Pages on the same domain」

この話は、ある小さな悲劇から始まる。私は古いウェブページをいくつか保存していて、ときどき引っ張り出して眺めるのが好きだ。何年も、なかには何十年も前からネット上にあり続け、内容が一度も変わっていないサイトもある。ときどき様子を見に行って、旧友が元気にやっていると確認する。それだけで少し温かい気持ちになる。もちろん、悲劇が訪れることもある。

teapuppies.com というファンサイトがあった。古いアニメと、その同名の玩具シリーズ Ochaken を紹介するサイトだ。お茶の葉でできた耳を持つかわいい犬のキャラクターたちが登場し、どの犬にもお茶の名前がついている。1 このサイトは2004年に公開され、ほぼ2005年以降は変わっていない。それでも、そこにまだあるというだけで安心できた。ところが数週間前に訪れてみると、サイトは消えており、ドメインはオンラインカジノの広告に使われていた。

ちなみに、私の仕事はウェブアーカイブだ。つまり、このサイトがいずれ消えることは分かるはずだったし、しかも手元には何かをするための道具があった。サイトが生きているうちにアーカイブできたのに、しなかった。この記事を書くのは、私がそのとき思いつかなかったことを、あなたにお願いしたいからだ。やり方も説明する。

多くの人にウェブアーカイブの話をすると、自分には無理だと思い込んでいるらしい。Internet Archive のような大きな組織がやる仕事で、保存してほしいページがあれば、誰かがやってくれるのを待って祈るしかない、と。そうではない! 本当に伝えたいのは、あなたは自分の周りの世界に対して力を持っているということ、あなたが動けば何かを保存し、物事を良くできるということだ。できるだけでなく、やるべきなのだ! 誰かがやってくれるのを待たず、自分でやろう。気に入ったサイトがある? バックアップしよう! 失いたくない情報がある? バックアップしよう! どこかで好きな投稿を見つけた? みんなで声を合わせて言おう。バックアップしろ!

この記事で紹介するツールはすべて、WARC のような標準的なウェブアーカイブ形式を使っている。2 技術的な詳細は気にしなくていい3。これを挙げたのは、優れたツールがたくさんあり、できたファイルをどう扱っても構わないという意味だからだ。たとえば、元の投稿には完全なアーカイブ済みサイトがこのブログ記事にそのまま埋め込まれている:

リンクをすべて開くことも、画像をすべて見ることもできる。ウェブサイト全体が1つの投稿に収まっているのだ!(私がずっとホストし続けるのは不安だ、このウェブアーカイブを別の場所でホストしたい、という場合は? そこから直接ダウンロードできる。ケバブメニューを開いて「download archive」を選べば、あとは好きにすればいい。正直に言うと、ぜひそうしてほしい!)

念のため書いておくと、この記事で取り上げるツールは私の勤務先の製品だ。ただし、会社が私に給料を払っているからではない(ほとんどは無料だ!)。個人的なウェブアーカイブの分野で、これらが最良のツールだと思っているだけだ。

方法1:ArchiveWeb.page ブラウザ拡張

個人がウェブをアーカイブする最も手軽な方法は、Chrome の ArchiveWeb.page ブラウザ拡張だ。設定も技術的な知識もほとんど要らず、何でも保存できる。単一のページ、サイト全体、ソーシャルメディアの投稿やプロフィール。ブラウザで見られるものなら、保存できる。やることは本当にこれだけだ:

  1. ブラウザ拡張をインストールする。
  2. アーカイブしたい最初のページを開く。
  3. ツールバーの ArchiveWeb.page アイコンをクリックし、「Start Archiving」を押す。
  4. ページにインタラクティブな要素があれば、ひとつずつ開いてデータを読み込ませる。
  5. 同じコレクションに入れたい他のページを開き、拡張に取得させる。
  6. ツールバーの ArchiveWeb.page アイコンをクリックし、「Stop Archiving」を押す。

これで完了! あなたは今、ウェブページをアーカイブした! 保存できたので、拡張のアイコンをクリックし、ホームアイコンを押して拡張のパネルを開き、仕上がりをプレビューしてみよう。パネルで今回のアーカイブセッションを開けば、アーカイブ済みのページをプレビューし、ブラウザに読み込んで正常かどうか確認できる。(ウェブアーカイブの見方や他の人への共有方法は、この記事の後半で詳しく説明する。)

方法2:archiveweb.page アプリ

ブラウザ拡張を入れたくない、あるいは Chrome が入っていない場合は、スタンドアロンの archiveweb.page アプリをダウンロードすればいい。上のブラウザ拡張とほぼ同じもので、独自のブラウザが内蔵されているだけだ。起動するとウェブアーカイブを見るためのメニューが直接開き、ローカルでアーカイブを確認するのに便利だ。これまで説明したことはほぼそのまま当てはまる。

方法3:Browsertrix

ここまでの方法は、単一のページや、手動で見て回れる程度の小さなサイトに向いている。ページ数が多く、ひとつずつクリックしていくのが面倒なら、ウェブアーカイブ専用のクローラーを使うことになる。ツールはいろいろあるが、個人が使うのに最も手軽なのは Browsertrix だろう。クローラーは要するにブラウザを中心にした自動化ツールで、どのページから始めてどのページを訪れるかを伝えると、自分でリンクをたどってページを発見し、できるだけ完全にサイトをアーカイブしてくれる。先ほど紹介したウェブアーカイブは Browsertrix で作成したもので、設定はほぼデフォルトのままだ。ドメイン https://teapuppies.mistys-internet.website 全体のサイトクロールを指定しただけで、あとは Browsertrix がやってくれた:

Browsertrix のインターフェースのスクリーンショット。クロール範囲が「同一ドメイン内のページ」と表示されている

ただし、何を探しているかによって、アーカイブの範囲を絞り込むためのカスタマイズオプションが用意されている。たとえば、エピソードページだけが欲しいなら、サイトの /episodes/ 部分だけを取得するよう指定できる:

Browsertrix インターフェースのスクリーンショット。クロール範囲が「同じディレクトリ内のページ」、シードが https://teapuppies.mistys-internet.website/episodes/ であることを示している

あるいは、1ページと、そのページから直接リンクされているページだけでもいい:

Browsertrix の画面のスクリーンショット。クロール範囲が「単一ページ」に設定され、「直接リンクされたページを含める」チェックボックスがオンになっている。

ほかにも選択肢はたくさんある。この短い概要で紹介しきれるものではない。多機能なツールで、オプションも多い。ただ、サイト全体やSNSのプロフィール全体をアーカイブしたいなら、試してみるといい。

他のツールは主に自分のマシン上で動くが、Browsertrixは違う。基本はWebアプリだ。この記事で唯一有料のツールでもある。7日間の試用期間があり、その後は従量課金になる。ただしオープンソースなので、技術に明るければ自分のマシンで動かせるし、望むなら別の場所にデプロイしてもいい。

アーカイブしたウェブページを見る

サイトをバックアップしたら、それをリプレイして、ブラウザでオンラインのページと同じように使える。Wayback Machineの私設版を持つようなものだ。使っているバージョンのarchiveweb.pageに内蔵されたUIで、自分で試したり個人利用したりできる。ただ、誰かと共有したい場合はいくつか方法がある。非公開で共有するなら、WARC/WACZファイルを相手に送り、ArchiveWeb.pageアプリかReplayWeb.pageのサイトで読み込んでもらえばいい。公開するなら、ウェブアーカイブを置いたサイトを立てればいい。

この記事ではReplayWeb.pageの埋め込みビューアを使っている。オープンソースで、どんなウェブページにも埋め込める。サーバー上で動かすアプリは不要だ。アーカイブファイルをアップロードできて、少しのJavaScriptがあれば、どんなページやブログ記事にもリプレイ画面を追加できる。

データを手にした後の保存

バックアップした内容はWACZファイルひとつにまとまっていて、保存も共有も簡単だ。何しろ複数持っておくほうが安全だ。友人が自分のバックアップのコピーを預かってくれそうなら、送って保存の責任を分け合うといい。

少しでも面白いと思ったら、まず試してみてほしい。私は、何千もの小さなウェブアーカイブがこの世界に広がり、個人や地域のグループが自分のためにアーカイブし、自分にとって大切なものを共有するようになることを 強く望んでいる。内容が多すぎてどこから始めればいいかわからないなら、声をかけてほしい。喜んで手を貸す。


Footnotes

  1. それが私を惹きつける理由は、明らかだろう。 ↩

  2. ここで挙げたツールの多くはWACZ形式も使う。WARCファイルと追加のメタデータをまとめたものだ。 ↩

  3. もう少し技術的な詳細を知りたい人向けに補足すると、WARCの特徴のひとつは、リクエストとレスポンスの完全な情報をすべてのヘッダー込みで記録することだ。おかげでWARCは、サイトを訪れるプロセス全体をより完全に再現でき、クライアントサイドJavaScriptが大量のリクエストを送る複雑なサイトもアーカイブできる。 ↩

出典: The Future Is Now← ホームへ戻る