Webサイトをクローリング、スクレイピングする前に必ずお読みください

2018年02月18日

はじめに

Webスクレイピングの技術的な情報は多いのですが、法律に関する情報は数少ないです。せっかく力作のクローラーが完成したのに、後になって取り返しのつかない状況になることだけは避けたいところです。クローラーを作る前に、他人に制作を依頼する前に事前に注意事項を認識した上で取り組もう、というのがこの記事の趣旨です。

他人の著作物を勝手に抜き出し、自身のWebサイトで公開しても良いのか？

クローラーを導入される企業や開発者にとって、これが最も気になるところではないでしょうか？

結論から言いますと現行の法律上では著作権法第47条の7（情報解析のための複製）より、Webスクレイピングでデータを集めて分析し、結果を公開する事は自由に行えます。しかし、会員制サイトの場合は、会員となる為に利用規約に自ら同意しているので、規約の内容を守らなくてはいけません。つまりログインした先のページ内のコンテンツを基にWebサイト上で自身のコンテンツとして公開するのはやめた方がいいです。たまにクローリングを行なう者に対しての注意喚起が記されていない会員制のWebサイトもありますが、それなりにしっかりとした内容のサービスであれば表記されています。

とはいえ会員制のサイトでなければ好きなようにクローラーでアクセスしても良いわけではありません。いくつか注意点を下記でご説明します。

Webサイトからデータを取得する時

Webサイトへアクセスする時は下記の制限を守りましょう。

robots.txt/robotsメタタグのアクセス制限内容を守る。

robots.txtというファイルには、ロボットに対してどのURLにアクセスして良いか、してはいけないかが書いてありますので内容に従いましょう。robots.txtがない場合でも、サーバアクセスの間隔を1秒以上空けるようにしてください。連続アクセスするとWebサーバーに負荷をかけることになり、クロールされる側の迷惑になったり、DoS攻撃（サーバーに過剰な負荷をかけてサービスを妨害する攻撃）とみなされることがあります。Webサーバーに負荷をかけると、他のユーザーがそのWebサイトを参照できなかったり、ひどい場合はサーバーが落ちてしまう場合もあります。

自分のサイトがクロールされる側になり、負荷をかけられた場合のことをを考えれば容易に理解できることです。

Pragma:No-cacheメタタグが設定されているページはダウンロードしない。

サイト運営者に意向に従いましょう。

rel=”nofollow”が設定されているリンクはクローラーで辿らない。

googleのクローラーへの指示としてリンクタグにnofollowを施すのがほとんどのケースですが、こちらもサイト運営者に意向に従いましょう。

会員のみが閲覧できるページの場合は利用規約を守る。

冒頭で述べた通りです。もしも個人のエンジニアが企業に訴えられたらほぼ100%勝てません。

アクセス制限がかかった場合、クローリングで取得していた情報はすべて削除する。

※参考：著作権法第47条(6)

連絡先を明示しましょう

クローラーを開発する際は連絡先を明示しましょう、相手のサーバー管理者が連絡しやすい情報を与えることで何らかの問題が起きた場合に解決しやすくなります。連絡先を明示する手段としては、クローラーのUser-Agentヘッダーに連絡先のURLやメールアドレスを書く方法が一般的です。User-Agentヘッダーの情報が相手のサーバーにログとして残っていれば、管理者は、そのログを確認して連絡先を確認できます。たとえばGoogleのクローラーは「http://www.google.com/bot.html」というURLをUser-Agentヘッダーに含めることで、連絡先を明示しています。

場合によって課される罪：威力業務妨害罪

実際にクローリングする際は特定サイトへの大量アクセスをするケースが多いのですが、大量アクセスをした結果アクセス先のサイトがダウンしてしまった場合、威力業務妨害罪に該当するため罰せられます。実際に過去逮捕者も出ています。

岡崎市中央図書館事件：のちに当該サイトダウンはバグであったことが判明し不起訴となっています。

取得したデータをWeb上で公開する時

集計データを公開する場合は許可を取る必要はなし。

ただし、個人が特定できてしまうようなデータを扱う場合はNGです。

個別データを公開する場合は許可を取る必要がある。

ただし、Web検索サービスで先方のサイトを紹介する為の利用は除きます。
（キャッシュ配信型のキュレーションサービスは、Web検索サービスと認められない可能性があり）