Rubyの静的・ステートレスなクローラー(crawler)Anemoneのインストールと使い方

Rubyの静的・ステートレスなクローラー(crawler)Anemoneのインストールをしました。

スポンサーリンク

先ず、Nokogiriをインストールしました。

RubyのHTML構文解析ライブラリ・スクレイピングNokogiriのインストール
RubyのHTML構文解析ライブラリ・スクレイピングNokogiriのインストールをしました。 手順を記録しておきます。 クロー...

次にAnemoneをインストールしました。

これでインストール出来ました。

使い方

リンク取得

あるサイトの指定URLから1階層目までのリンクを表示するRubyは以下です。

これを実行すると

このような形で出てきました。URL(test.test)は適当に入れたものです。

img src取得

当ブログのTOPページにアクセスして、ブログ記事一覧からaタグのhrefとサムネイル画像のsrcを取得しました。

↓出力結果

他にも色々出来そうなので試してみます。

参考書籍

Rubyによるクローラー開発技法を読んで覚えた事まとめ
クローラーが自分で作れるの? というのが先ずこの本の題名を見て感じた事です。 Rubyによるクローラー開発技法 巡回...