
よくある質問をまとめました。
よくあるお問い合わせ
WEBクローラーとはどのようなサービスですか?
WEBクローラーは特定のサイトからデータ(テキスト・ファイル・画像・動画・音声など)を整理収集するツールです。マーケットリサーチ、競合調査、コンテンツ収集などあらゆる用途にお応えします。詳細は下記ページをご覧ください。
WEBクローラーはどのように提供されますか?
お客様の指定OSへの構築、DIGでの運転管理、おおまかに2つのプランからお選び頂けます。
WEBクローラーはどのように利用できますか?
クロールを行いたいサイト(サイト名・URL)と取得を希望されるデータ(項目名)をご指定ください。対象サイトのスクリーンショットを撮り、取得したいデータに印を付けていただくだけでも構いません。簡単なヒアリングの後、無料で見積もり致します。
クロール出来ないサイトはありますか?
ブラウザ上で表示可能なwebサイトの情報であればどんな情報でも取得できます。例外として、FLASHや Javaで記述されているサイトはクロールできない場合があります。
Ajaxを使用しているサイトはクロール出来ますか?
対応可能です。
海外(日本語以外)のサイトはクロールできますか?
どんな言語テキストでも収集可能です。
PDF、EXCEL、WORD、PowerPointファイルは取得できますか?
取得可能です。
画像を取得することはできますか?
取得可能です。
クロールするスケジュールを指定することはできますか?
可能です。秒単位から曜日まで設定することが出来るので、ご要望に応じたスケジュールでクロールすることが出来ます。
クロールしたデータのファイル形式について教えてください。
CSV、XML、Jsonなど、ご要望に応じたファイル形式で取得いたします。または取得データと連携した御社専用の管理画面を作ることも可能です。
取得先のサイトがリニューアル等し、サイト構造が変わった場合もスクレイピングを継続できますか?
できません。サイトの作りが変われば変更に応じてクローラーのプログラムを調整する必要があります。
データの取得回数に制限はありますか?
ありません。ただし、過度な頻度のクローリングは対象サイトへの負荷になりますので注意してください。連続アクセスすると相手のサーバーに負荷をかけることになり、クロールされる側の迷惑になったり、DoS攻撃(サーバーに過剰な負荷をかけてサービスを妨害する攻撃)とみなされることがあります。Webサーバーに負荷をかけると、他のユーザーがそのWebサイトを参照できなかったり、ひどい場合はサーバーが落ちてしまう場合もあります。
ログインが必要なサイトでもデータを取得できますか?
ログインが必要なサイトでもブラウザで閲覧できるデータであれば取得可能です。ただし会員制のサイトの場合、必ず利用規約を読みましょう。会員登録した時点で規約に同意したとみなされます。著作権法第47条の7(情報解析のための複製)により、集めたデータを分析し、結果を公開する事は自由に行えますが規約により禁じられている場合、話は変わります。
収集したデータを集計することは可能ですか?
お客様のご要望に合わせて、データの集計や統計処理も行えます。
クローラサービスの実績を教えてください。
2018年3月現在、累計100社以上のお客様にマーケットリサーチ・競合調査・価格モニタリング・コンテンツ収集など様々な用途でご導入いただいております。
料金体系を教えてください。
初期費(サーバ設定費)とクローラー構築費です。ランニングコストは発生いたしません。詳細はお問い合わせください。