はじめに
ウェブサイトから情報を取得する場合、RSSやウェブサービスなどのAPIが用意されていればそれらを使うのが一般的ですが、もしサービス側でAPI等が用意されていない場合、どのようにしたら良いか？ この問題を解決するのがスクレイピングと呼ばれる手法です。Webスクレイピングに役立ちそうなHTMLパーサーはいくつかありますが今回は導入や学習コストが低めなPHP製のライブラリ「Goutte」を使ったスクレイピング手法を説明します。
Goutteとは？
主要機能はSymfonyのコンポーネントで構成されており，生みの親はSymfonyプロジェクトリーダーのFabien Potencier氏です。．
Goutteでできないこと
冒頭で導入、学習コストが低いお伝えしましたが扱う難易度が低い分、出来ることに限りがあります。まず最も重要な注意点はJavascriptで生成されるコンテンツはGoutteでは取得ができないことです。理由はとてもシンプルで一般的にJavascriptはブラウザ上で実行されるプログラムであり、Goutteはブラウザではないからです。
※どうしてもJavasvriptをクローリングしながら実行したい場合はヘッドレスブラウザ を搭載したクローラーや実際のブラウザを使う必要があります。当サイトの下記ページでこの問題を解決しています。
iMacrosでブラウザ操作を自動化する方法まとめ
2018-04-13 03:33
iMacrosとは？ ブラウザ操作を自動化できるブラウザの拡張機能です。繰り返し行う操作を記録して再生するだけでなく、自分で様々なコマンドを用いながらマクロを編集でき、プログラミン...
Goutteをインストールしてみよう
php7でcomposerを使ったGoutteのインストール方法を説明します。
Goutte(PHP7)のインストール方法 #001
2018-04-17 13:50
はじめに 以前の Goutte は phar で提供されていましたが、php7からは Composer によるインストールになりました。composerを使ったことがない方はつまづ...
Goutteを使ってみよう
簡単なサンプルを例に使い方を説明します。
Goutte(PHP7)を使ってみる #002
2018-04-17 15:57
はじめに #001でGoutteをインストール出来たので早速、簡単なサンプルを動かして見ましょう。 html情報の取得 手始めにWikipediaのページをスクレイピングしてみまし...
form送信に必要なデータを調べる方法
【Goutte(PHP7)】フォーム送信に必要な情報を調べる方法 #003
2018-04-17 17:46
はじめに まず、このページの趣旨はGoutteでのフォーム送信のやり方の説明ではなく、フォーム送信時に必要な送信情報を漏れなく洗い出すため方法です。 ※Goutteを使った基本的な...
テーブル内のコンテンツを抜き出す最適なコーディング方法
