LibraHack事件とは?
2010年、ウェブスクレイピング系のツールを制作しているプログラマーに衝撃が走りました。それが岡崎市立中央図書館事件、別名「LibraHack事件」です。
あるプログラマーが、図書館の情報を収集するプログラムを作りました。そしてそれを利用して岡崎市立中央図書館の情報を収集していました。ところが図書館側のシステムに不具合があったのか、このプログラムが原因で図書館のデータベースに過重な負荷がかかり、アクセスが困難な状況となりました。
そして図書館側が警察に連絡し、そのプログラマーが逮捕された、という事件です。
その後そのプログラマーは無罪となって釈放されましたが、逮捕当時から「次は自分が逮捕されるのではないか?」と、同様のプログラムを制作していた日本中のプログラマーに衝撃が走ったわけです。
■ 岡崎市立中央図書館事件
■ LibraHack事件 (実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック)
LibraHack事件では、図書館の情報を収集するために「ウェブスクレイピング」という技術が使われました。これは、サイトを自動巡回して情報を収集する技術です。グーグルなどもこの「ウェブスクレイピング」または「クローラー」と呼ばれる技術で、世界中のサイトを巡回して情報を収集しています。
では何が問題なのかというと、「ウェブスクレイピング」での情報収集はそのサイトに負荷がかかるので、常識を越えた回数を超えて利用すると、図書館の例のようにそのサイトの動作が鈍くなったり、場合によっては動かなくなってしまうことがあるわけです。
ウェブスクレイピングによってサイト(サービス)が動かなくなるということは、ビジネスができなくなると言うことですから、サイト運営者としては業務を妨害されたことになります。
ですから、ウェブスクレイピングは常識の範囲でそのサイトから情報を収集する必要があり、そうでないと「逮捕」されることもあるわけですね。
この常識の範囲は「1秒に1回まで」といわれています。
ちなみにこの「LibraHack事件」でなぜ容疑者がすぐに釈放されたかといえば、「常識の範囲内」でウェブスクレイピングを利用していたからです。したがって、そもそも警察による逮捕が間違いだったといわれています。
「規約違反のAmazon輸出ツール」の問題点を指摘している人は一人もいない
さて、本題のAmazon輸出ツールに話を移しましょう。
「Amazon輸出ツールがAmazonから裁判を起こされる日」、「Amazon輸出ツールがAmazonから裁判を起こされる日-2」でご説明したとおり、世の中には規約違反のAmazon輸出ツールというものがたくさん出回っています。月1万円程度で数百人のセラーが利用していたり、そのツールがブログやネット塾、書籍などで絶賛されていたりします。
Amazonは、ウェブスクレイピングによる情報の収集を一切禁止しています。
ウェブスクレイピングは1秒に1回までであれば問題ないとご説明しましたが、Amazonは一切のウェブスクレイピングによる情報収集を禁止しているわけです。
これが何を意味するかといえば、「ウェブスクレイピングを利用したAmazon輸出ツール利用者は、いつ逮捕されてもおかしくない」ということですw
ところが、世の中には「ウェブスクレイピングを利用したAmazon輸出ツール」が多数出回っています。月1万円で多数の利用者を集めているところもあります。ネット輸出入塾で絶賛されたり、アフィリエイターが「画期的なツール」としてブログで紹介していたりするわけです。
Amazon輸出ツール以外にも、たとえば「せどりツール」や「Amazon輸入ツール」にも同じような危険なツールがたくさんあります。「最強のせどりツール」、「高速Amazon輸入ツール」、「長年の実践を元に作られた中国輸入ツール」、「自動で大量のASINコードを集めるツール」、「ライバルAmazonセラーを追跡調査」、「多数のネットショップから自動で仕入れチェック」などとして数千円から数万円で販売されていて、誰でもダウンロードしてすぐに使えたりします。中にはご丁寧に「このツールはウェブスクレイピングを利用しています」と説明しているものさえあります。
この問題について、ネット上などで指摘している人は一人も見当たりません^^;
ウェブスクレイピングは、サイトにアタックして情報を収集しています。これは、ハッカーがサイトを攻撃するときに利用する「Dos攻撃」や「DDos攻撃」と原理的に同じです。
■ DoS攻撃(ドスこうげき)(英:Denial of Service attack)は、コンピューティングにおいてサーバなどのコンピュータやネットワークリソース(資源)がサービスを提供できない状態にする意図的な行為をいう。サービス妨害攻撃と訳される。
ブログやサイトなどで発信した情報は、永遠に残ります。Wayback Machineなどの過去にさかのぼってサイトを確認するサービスを利用すれば、仮にそのサイトが完全に削除されていても、過去にどのような情報が発信されていたのか、全て確認することができるからです。
おそらく、ツールを販売している人も、それを絶賛している人も、そしてそれをお金を出して利用している人も、こういった問題があることを全く知らないのでしょうね。
コメントする
記事拝読させていただきました。
とても勉強になり感謝しております。
記事を拝読していて疑問に思いましたので、
よろしければ教えて下さい。
アマゾンが規約で禁止しているからといって
それに背いたら即逮捕されるのでしょうか?
大企業とはいえ一企業の決めた取り決め事に背いたからという理由で
法律的に訴えることは可能なのでしょうか。
例えば、1秒に100回アクセスを繰り返して
アマゾンの運営に影響を与えた等であれば
営業を妨害したという理由で訴えられ無くもないとは思うのですが。
(アマゾンのようなサイトであれば
その程度でも大したアクセスではないのかもしれないですが)
これが10秒に一回だとして、影響が軽微であっても訴えられますか?
60秒に1回であれば?
訴えるとしたら何を根拠に訴えられますか?
また、敗訴した場合にどんなペナルティがありますでしょうか?
そういったツールにも興味がありますので
よろしければ教えて頂けますでしょうか。
三重野さま。こんにちは、山村です。ご質問いただき、ありがとうございます。
まず、サイトを自動巡回して情報を集めるプログラム(いわゆる「スクレイピング」)は、Amazonの規約によって禁止されています。サーバに大きな負荷をかけるので、Amazonのサーバはそれだけ動作が遅くなり、売上に影響します。これは「業務妨害」なので、刑法の対象になります(威力業務妨害罪 刑法234条)。また、AmazonのサイトをスクレイピングするプログラムはAmazonのサーバに届く前にさまざまなネット回線を経由しますから、大規模なスクレイピングによるAmazonへのダメージは「違法に通信回線の遅延を招いた」ということで「ネット犯罪(サイバー犯罪、ハッキング)」とみなされ、社会問題化する可能性もあります。
そもそもAmazonは、スクレイピングによる情報収集を「一切」認めていないので、仮に1秒100アクセスでも、0.00001秒に1アクセスでも、Amazonの規約違反となり、業務妨害となり得ます。実際Amazonは、5年くらい前に、スクレイピングを利用したツールの販売者と利用者の約3,000人のアカウントを強制的に削除しました(裁判や逮捕はされていないようです)。
ちなみにこれらの違法ツールは日本国内でも堂々と販売されており、Amazon輸出コンサルタントたちがそういったツールをブログや書籍の中で推奨していたりします。
なお、こういった危険を承知の上で「スクレイピング ツール」に興味がある場合は、メール相談いただければ詳しくご説明させていただきます。