はじめに

RubyにはWebスクレイピングするためのライブラリ、Nokogiriがあります。Nokogiriを使うとWEBサイトのHTMLの構造を解析して、特定の要素を指定しやすい形に加工することが出来ます。

Amazon Linux2にRubyをインストール

必要なパッケージをインストール

パスを通す

ruby-buildをインストール

Rubyをコンパイルするためのライブラリをインストール

rbenvのインストール可能なバージョンを確認

rbenvとは、複数のRubyのバージョンを管理し、プロジェクトごとにRubyのバージョンを指定して使うことを可能としてくれるツールです。

rbenv2.6.2をインストール

rbenvのバージョンの切り替え

rubyのバージョンを確認

Nokogiriをインストール

Nokogiriのバージョンを確認

rubyとNokogiriのバージョンが表示されていれば、インストールは完了です。

  • Nokogiri(Ruby)のインストール方法 #001
  • 要素数の変化に対応したスクレイピング技法
    要素数の変化に対応したスクレイピング技法 〜 table要素編 〜
  • 【Goutte(PHP7)】フォーム送信に必要なデータを調べる方法 #003
    【Goutte(PHP7)】フォーム送信に必要な情報を調べる方法 #003
  • Goutte(PHP7)を使ってみる
    Goutte(PHP7)を使ってみる #002
  • Goutte(PHP7)のインストール方法
    Goutte(PHP7)のインストール方法 #001
  • Goutte使い方
    Goutte(PHP7)でスクレイピングする【完全マニュアル】
おすすめの記事
iMacrosのインストール方法
ブラウザを自動操作したい
iMacrosのインストール方法 iMacrosのインストール方法について説明します。 ※Chrome、Firefox、それぞれのブラウザ...
サーバー上でiMacrosを動かしたい
ブラウザを自動操作したい
まずはじめに #001〜#006ではiMacrosの基本的な使い方やちょっとした応用技について説明しました。ある程度、iMacrosに慣れて...
Goutte(PHP7)を使ってみる
クローラーを作りたい
はじめに #001でGoutteをインストール出来たので早速、簡単なサンプルを動かして見ましょう。 html情報の取得 手始めにWikipe...
DIGについて
まずはじめに はじめまして。DIGと申します。 上場IT企業の部長職を経てフリーランスになりました。Webクローラーの開発・運用を行なってい...