Ruby Mechanizeを使用したスクレイピングのサンプル・例

2017/2/17 2017/2/25 Ruby

Ruby Mechanizeを使用したスクレイピングのサンプル・例を記載します。

一括での画像収集も出来ました。

見出し

1 img src の jpg png を imgディレクトリに保存する
2 img src のパスを表示する
3 ログインをしてから該当クラスの画像を一括保存
4 img src の jpg png を imgディレクトリに保存するがリンク切れなどで存在しない画像は飛ばす
5 images_with
6 注意点

img src の jpg png を imgディレクトリに保存する

# -*- coding: utf-8 -*-

require 'mechanize'

module Crawler
 class Normalblog
  def saveImage
   agent = Mechanize.new
   agent.user_agent = 'Windows Mozilla'
   page = agent.get('http://normalblog.net/system')

   page.images_with(:src => /(jpg)|(png)/).each do |img|
    sleep(5)
    img_str = img.to_s
    m = img_str.match(/([^\/]+jpg)|([^\/]+png)/)
    img.fetch.save_as("./img/" + m[0])
   end
  end
 end
end

crawler = Crawler::Normalblog.new
crawler.saveImage

# -*- coding: utf-8 -*-

require 'mechanize'

module Crawler

class Normalblog

def saveImage

agent = Mechanize.new

agent.user_agent = 'Windows Mozilla'

page = agent.get('http://normalblog.net/system')

page.images_with(:src => /(jpg)|(png)/).each do |img|

sleep(5)

img_str = img.to_s

m = img_str.match(/([^\/]+jpg)|([^\/]+png)/)

img.fetch.save_as("./img/" + m[0])

end

crawler = Crawler::Normalblog.new

crawler.saveImage

img src のパスを表示する

# -*- coding: utf-8 -*-

require 'mechanize'

module Crawler
 class Normalblog
  def dispImage
   agent = Mechanize.new
   agent.user_agent = 'Windows Mozilla'
   page = agent.get('http://normalblog.net/system')

   page.search('img').each do |img|
    sleep(5)
    src = img.get_attribute(:src)
    puts src
   end
  end
 end
end

crawler = Crawler::Normalblog.new
crawler.dispImage

# -*- coding: utf-8 -*-

require 'mechanize'

module Crawler

class Normalblog

def dispImage

agent = Mechanize.new

agent.user_agent = 'Windows Mozilla'

page = agent.get('http://normalblog.net/system')

page.search('img').each do |img|

sleep(5)

src = img.get_attribute(:src)

puts src

end

crawler = Crawler::Normalblog.new

crawler.dispImage

ログインをしてから該当クラスの画像を一括保存

# -*- coding: utf-8 -*-

require 'mechanize'

module Crawler
 class testSite
  def login
   agent = Mechanize.new
   agent.verify_mode = OpenSSL::SSL::VERIFY_NONE
   agent.user_agent = 'Windows Mozilla'

   page = agent.get('https://testtest.com')
   response = page.form_with(:action => '/') do |form|
    formdata = {
     :mail => 'メール',  # mailはname
     :password => 'パス', # passwordはname
    }
    form.field_with(:name => 'mailaddress').value = formdata[:mail]
    form.field_with(:name => 'passwd').value = formdata[:password]
   end.submit

   agent.get('https://testtest.com') do |page|
    # 該当のクラスを指定
    page.search('.test_class').each do |item|
     item.images_with(:src => /(JPG)|(PNG)/).each do |img|
      sleep(3)
      img_str = img.to_s
      m = img_str.match(/([^\/]+JPG)|([^\/]+PNG)/)
      img.fetch.save_as("./img/" + m[0])
     end
    end
   end
  end
 end
end

crawler = Crawler::testSite.new
crawler.login

# -*- coding: utf-8 -*-

require 'mechanize'

module Crawler

class testSite

def login

agent = Mechanize.new

agent.verify_mode = OpenSSL::SSL::VERIFY_NONE

agent.user_agent = 'Windows Mozilla'

page = agent.get('https://testtest.com')

response = page.form_with(:action => '/') do |form|

formdata = {

:mail => 'メール', # mailはname

:password => 'パス', # passwordはname

}

form.field_with(:name => 'mailaddress').value = formdata[:mail]

form.field_with(:name => 'passwd').value = formdata[:password]

end.submit

agent.get('https://testtest.com') do |page|

# 該当のクラスを指定

page.search('.test_class').each do |item|

item.images_with(:src => /(JPG)|(PNG)/).each do |img|

sleep(3)

img_str = img.to_s

m = img_str.match(/([^\/]+JPG)|([^\/]+PNG)/)

img.fetch.save_as("./img/" + m[0])

end

crawler = Crawler::testSite.new

crawler.login

img src の jpg png を imgディレクトリに保存するがリンク切れなどで存在しない画像は飛ばす

# -*- coding: utf-8 -*-

require 'mechanize'

module Crawler
 class Test
  def saveImage
   agent = Mechanize.new
   agent.user_agent = 'Windows Mozilla'
   page = agent.get('http://testtest.com')

   page.images_with(:src => /(jpg)|(png)/).each do |img|
    begin
     sleep(10)
     img_str = img.to_s
     m = img_str.match(/([^\/]+jpg)|([^\/]+png)/)
     img.fetch.save_as("./img/" + m[0])
    rescue Mechanize::ResponseCodeError => e
     puts 'ResponseCodeError!! ' + img_str
    end
   end
  end
 end
end

crawler = Crawler::Test.new
crawler.saveImage

# -*- coding: utf-8 -*-

require 'mechanize'

module Crawler

class Test

def saveImage

agent = Mechanize.new

agent.user_agent = 'Windows Mozilla'

page = agent.get('http://testtest.com')

page.images_with(:src => /(jpg)|(png)/).each do |img|

begin

sleep(10)

img_str = img.to_s

m = img_str.match(/([^\/]+jpg)|([^\/]+png)/)

img.fetch.save_as("./img/" + m[0])

rescue Mechanize::ResponseCodeError => e

puts 'ResponseCodeError!! ' + img_str

end

crawler = Crawler::Test.new

crawler.saveImage

images_with

class名を指定する場合

page.images_with(:class => "test_class")

1	page.images_with(:class => "test_class")

idとclassを合わせて指定する場合

page.images_with(:id => /test_id/, :class => "test_class")

1	page.images_with(:id => /test_id/, :class => "test_class")

注意点

スクレイピング先に負荷がかかるのでsleepを入れました。