RubyのHTML構文解析ライブラリ・スクレイピングNokogiriのインストールをしました。
手順を記録しておきます。
クローラー開発の一環として実施。
データベース系サイト用にデータ収集クローラーを開発してみることにしました。その記録をこちらに記載していきます。
この記事は随時追記して...
normalblog.net
2016-10-27 00:02
Nokogiriのインストール
libxml2とlibxsltのインストール
Nokogiriはlibxml2とlibxsltを使用する為インストールしました。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 |
[root@localhost ~]# yum install -y libxml2 libxml2-devel libxslt libxslt-devel 読み込んだプラグイン:fastestmirror インストール処理の設定をしています Loading mirror speeds from cached hostfile epel/metalink | 5.8 kB 00:00 * base: ftp.nara.wide.ad.jp * epel: mirror.premi.st * extras: ftp.nara.wide.ad.jp * remi-safe: rpms.remirepo.net * updates: ftp.tsukuba.wide.ad.jp base | 3.7 kB 00:00 epel | 4.3 kB 00:00 epel/primary_db 4% [=- ] 0.0 B/s | 286 kB --:-- ETA epel/primary_db 21% [========- ] 1.7 MB/s | 1.3 MB 00:02 ETA epel/primary_db 45% [==================- ] 1.8 MB/s | 2.7 MB 00:01 ETA epel/primary_db 68% [============================ ] 2.0 MB/s | 4.0 MB 00:00 ETA epel/primary_db 91% [===================================== ] 2.1 MB/s | 5.4 MB 00:00 ETA epel/primary_db | 5.9 MB 00:01 extras | 3.4 kB 00:00 nodesource | 2.5 kB 00:00 remi-safe | 2.9 kB 00:00 remi-safe/primary_db 6% [== ] 0.0 B/s | 43 kB --:-- ETA remi-safe/primary_db 10% [==== ] 33 kB/s | 76 kB 00:19 ETA remi-safe/primary_db 17% [======= ] 41 kB/s | 126 kB 00:14 ETA remi-safe/primary_db 25% [========== ] 49 kB/s | 181 kB 00:10 ETA remi-safe/primary_db 40% [================ ] 65 kB/s | 286 kB 00:06 ETA remi-safe/primary_db 59% [======================== ] 86 kB/s | 423 kB 00:03 ETA remi-safe/primary_db 86% [=================================== ] 119 kB/s | 613 kB 00:00 ETA remi-safe/primary_db | 712 kB 00:03 updates | 3.4 kB 00:00 パッケージ libxslt-1.1.26-2.el6_3.1.x86_64 はインストール済みか最新バージョンです 依存性の解決をしています --> トランザクションの確認を実行しています。 ---> Package libxml2.x86_64 0:2.7.6-20.el6_7.1 will be 更新 ---> Package libxml2.x86_64 0:2.7.6-21.el6_8.1 will be an update ---> Package libxml2-devel.x86_64 0:2.7.6-21.el6_8.1 will be インストール ---> Package libxslt-devel.x86_64 0:1.1.26-2.el6_3.1 will be インストール --> 依存性の処理をしています: libgcrypt-devel のパッケージ: libxslt-devel-1.1.26-2.el6_3.1.x86_64 --> トランザクションの確認を実行しています。 ---> Package libgcrypt-devel.x86_64 0:1.4.5-12.el6_8 will be インストール --> 依存性の処理をしています: libgcrypt = 1.4.5-12.el6_8 のパッケージ: libgcrypt-devel-1.4.5-12.el6_8.x86_64 --> 依存性の処理をしています: libgpg-error-devel のパッケージ: libgcrypt-devel-1.4.5-12.el6_8.x86_64 --> トランザクションの確認を実行しています。 ---> Package libgcrypt.x86_64 0:1.4.5-11.el6_4 will be 更新 ---> Package libgcrypt.x86_64 0:1.4.5-12.el6_8 will be an update ---> Package libgpg-error-devel.x86_64 0:1.7-4.el6 will be インストール --> 依存性解決を終了しました。 依存性を解決しました ==================================================================================================================================== パッケージ アーキテクチャ バージョン リポジトリー 容量 ==================================================================================================================================== インストールしています: libxml2-devel x86_64 2.7.6-21.el6_8.1 updates 1.1 M libxslt-devel x86_64 1.1.26-2.el6_3.1 base 561 k 更新: libxml2 x86_64 2.7.6-21.el6_8.1 updates 805 k 依存性関連でのインストールをします。: libgcrypt-devel x86_64 1.4.5-12.el6_8 updates 118 k libgpg-error-devel x86_64 1.7-4.el6 base 14 k 依存性関連での更新をします。: libgcrypt x86_64 1.4.5-12.el6_8 updates 229 k トランザクションの要約 ==================================================================================================================================== インストール 4 パッケージ アップグレード 2 パッケージ 総ダウンロード容量: 2.7 M パッケージをダウンロードしています: (1/6): libgcrypt-1.4.5-12.el6_8.x86_64.rpm | 229 kB 00:00 (2/6): libgcrypt-devel-1.4.5-12.el6_8.x86_64.rpm | 118 kB 00:00 (3/6): libgpg-error-devel-1.7-4.el6.x86_64.rpm | 14 kB 00:00 (4/6): libxml2-2.7.6-21.el6_8.1.x86_64.rpm | 805 kB 00:00 (5/6): libxml2-devel-2.7.6-21.el6_8.1.x86_64.rpm | 1.1 MB 00:00 (6/6): libxslt-devel-1.1.26-2.el6_3.1.x86_64.rpm | 561 kB 00:00 ------------------------------------------------------------------------------------------------------------------------------------ 合計 5.0 MB/s | 2.7 MB 00:00 rpm_check_debug を実行しています トランザクションのテストを実行しています トランザクションのテストを成功しました トランザクションを実行しています 更新 : libxml2-2.7.6-21.el6_8.1.x86_64 1/8 インストールしています : libxml2-devel-2.7.6-21.el6_8.1.x86_64 2/8 インストールしています : libgpg-error-devel-1.7-4.el6.x86_64 3/8 更新 : libgcrypt-1.4.5-12.el6_8.x86_64 4/8 インストールしています : libgcrypt-devel-1.4.5-12.el6_8.x86_64 5/8 インストールしています : libxslt-devel-1.1.26-2.el6_3.1.x86_64 6/8 整理中 : libxml2-2.7.6-20.el6_7.1.x86_64 7/8 整理中 : libgcrypt-1.4.5-11.el6_4.x86_64 8/8 Verifying : libgcrypt-1.4.5-12.el6_8.x86_64 1/8 Verifying : libgpg-error-devel-1.7-4.el6.x86_64 2/8 Verifying : libxml2-2.7.6-21.el6_8.1.x86_64 3/8 Verifying : libxslt-devel-1.1.26-2.el6_3.1.x86_64 4/8 Verifying : libgcrypt-devel-1.4.5-12.el6_8.x86_64 5/8 Verifying : libxml2-devel-2.7.6-21.el6_8.1.x86_64 6/8 Verifying : libgcrypt-1.4.5-11.el6_4.x86_64 7/8 Verifying : libxml2-2.7.6-20.el6_7.1.x86_64 8/8 インストール: libxml2-devel.x86_64 0:2.7.6-21.el6_8.1 libxslt-devel.x86_64 0:1.1.26-2.el6_3.1 依存性関連をインストールしました: libgcrypt-devel.x86_64 0:1.4.5-12.el6_8 libgpg-error-devel.x86_64 0:1.7-4.el6 更新: libxml2.x86_64 0:2.7.6-21.el6_8.1 依存性を更新しました: libgcrypt.x86_64 0:1.4.5-12.el6_8 完了しました! |
Nokogiriのインストール
|
1 2 3 4 5 6 7 8 9 10 11 12 |
[user@localhost ~]$ gem install nokogiri Fetching: mini_portile2-2.1.0.gem (100%) Successfully installed mini_portile2-2.1.0 Fetching: nokogiri-1.7.0.gem (100%) Building native extensions. This could take a while... Successfully installed nokogiri-1.7.0 Parsing documentation for mini_portile2-2.1.0 Installing ri documentation for mini_portile2-2.1.0 Parsing documentation for nokogiri-1.7.0 Installing ri documentation for nokogiri-1.7.0 Done installing documentation for mini_portile2, nokogiri after 8 seconds 2 gems installed |
問題なくインストール出来ました。完