スクレイピングのススメ

スクレイピングのススメ
長谷川智希

自己紹介
• 長谷川智希
• デジタルサーカス株式会社副団長CTO
• iOSアプリ/Web開発
• その他趣味: カート, 電子工作…
@tomzoh facebook.com/
hasegawa.tomoki

デジタルサーカス（株）
• Webサイト開発（PHP, CakePHP, Drupal）
• スマホアプリ開発（iOS / Android)
団員募集中 WE WANT YOU！

今日のテーマ
• スクレイピング (scraping)
• HTMLからデータを抜き出す
• 検索エンジン、OGP (Open Graph Protocol)、
Twitter Cards、まとめサイト …

scrape
【自動】
1. 〔固い物に〕こする、すれる
2. 〔こすって〕キーキーと音を立てる
3. 〔人が〕節約して暮らす
4. 辛うじてやり通す［成し遂げる］
【他動】
1. 〔∼の表面を〕ゴシゴシこする◆∼をきれいにするために行うもの。
2. 〔表面の〕∼をこすり落とす［取る］◆固い物をゴシゴシとこすり
付けて。
3. 〔固い物にこすって〕∼を擦りむく［傷つける］
4. 〔固い物に〕∼をこすり付ける［こすってキーキーと音を立てる］
5. 〔苦労して〕∼をかき集める［かき寄せる］
6. 《コ》〔データなどを〕取得［収集］する◆特に別のプログラムの
出力から、本来とは異なる用途・形式などでデータを抽出すること。
出展: SPACE ALC http://www.alc.co.jp

利用例
これを… こうする
array(
(int) 0 => array(
'is-fba' => false,
'shipping' => (int) 257,
'price' => (int) 2001,
'condition' => '中',
'subcondition' => '可',
'seller' => array(
'name' => 'lambdas',
'merchant-id' =>
'A3VELMD24S0ERO'
),
),

スクレイピングの基本方針
• 文字列として処理する
• HTML文字列から正規表現で文字列としてデータ
を取り出す
文字列処理
XML処理
• XMLとして処理する
• HTML文字列をXMLとしてパースしてDOMツ
リーとしてデータを取り出す

どちらの方針がベスト？
文字列処理
• ちょっとした情報を取得するならお手軽。
• 文字列処理だけで完了。PHPの得意領域。
• 複雑な構造の情報を取得するならXMLが便利。
• 文字列処理ではしんどいHTML（idやclassが付い
ていないとか…。）でも取得可能。
XML処理
どちらがベストかはケースバイケース

基本方針
• 文字列として処理する
• HTML文字列から正規表現で文字列としてデータ
を取り出す
文字列処理
XML処理
• XMLとして処理する
• HTML文字列をXMLとしてパースしてDOMツ
リーとしてデータを取り出す
今日はこっちのお話

手順
1. HTMLを取得する
2. HTMLを整形する
3. HTMLをパースする
4. 情報を取り出す

• 文字列としてHTMLを取得する。
• ﬁle_get_contents(‘http://…'); で良い。
• CookieやUserAgent設定をしたい場合は curl
を使おう。

// HTMLを取得
$contents = ﬁle_get_contents('http://www.amazon.co.jp/gp/
oﬀer-listing/4873111870');

2. HTMLを整形する
• 世の中のHTMLは意外と正しくない。
• 閉じタグが無い、タグが入れ子になっている、XML特
殊文字のエスケープがされていない…
• そのままXMLとしてパースすることができない
• Tidy（タイディ）で整形する。
• PHPでは標準サポート。

2.HTMLを整形する
// Tidy Option
$conﬁg = array();
// Tidyオブジェクト作成
$tidy = tidy_parse_string($contents, $conﬁg, 'shiftjis');
// 整形実行
$tidy->cleanRepair();
// 整形済HTMLを取得
$contents = (string)$tidy;

3. HTMLをパースする
• HTMLをXMLとしてパースする。
• 方法はいろいろ。
• PHP標準 … simplexml_load_ﬁle()
• HTMLScraping … 文字コードの指定が出来たりして便利。
• Diggin_Scraper などなどその他たくさんの選択肢
• 余談: TidyオブジェクトのままでもNodeを走査すればデータの取
得は可能。
今日はこれ。

3.HTMLをパースする
// スクレイピングオブジェクト初期化
$s = new HTMLScraping('/tmp');
// XMLパースする
$data = array(
'body' => $contents,
'headers' => array('content-type' => 'text/html; charset=Shift_JIS',),
'code' => 200,
);
try {
$xml = $s->getXmlObjectFromContents($data);
} catch (Exception $e){
// エラー処理
}

4. 情報を取り出す
• simplexml_load_ﬁle()やHTMLScrapingはPHP
のSimpleXMLオブジェクトを返す。
• SimpleXMLのメソッドを使って情報を取り出
す。
• xpathが便利。

4.情報を取り出す
// Xpathを使って配列を取得
$items = $xml->xpath('//div[@class="a-row a-spacing-mini olpOﬀer"]');
// 配列をループして処理する
$items = array();
foreach ($items as $item){
$price_xml = $item->xpath('//span[contains(@class, olpOﬀerPrice")]');
$price = intval(str_replace(',', '', $price_xml[0]));
$condition_xml = $item->xpath('//h3[contains(@class, "olpCondition")]');
$condition = trim((string)$condition_xml[0]);
:
$items[] = array( price => $price, condition => $condition, …);
}

まとめ
• スクレイピング、難しくはない。
• トライ & エラー的なところはある。
• Webシステムが出来ることがすごく広がる。
• 技術的選択肢として持っておいても良い。
• ただしHTML変更に弱いので選択は慎重に。

注意点
• 必ずしもTidyをかけるのが良いとは限らない
• HTMLに対して前処理するのも良い
• <head>∼</head>内をあらかじめ削除してからTidy /
パースするとか…
• 対象のサイトの利用規約に注意。
• 対象のサイトに負荷をかけない様に。参考: 岡崎図書館事件

ところで …
• 本日ご紹介したHTMLScraping、出展を示そう
と数年ぶりに検索、開いてみたら…

WANTED
• 無くなっていました。orz
• 誰かSJISでも使えるパーサ知ってたら教えてく
ださい。

KeyNote テンプレート:
「大体いい感じになるKeynoteテンプレート「Azusa」作った」http://memo.sanographix.net/post/82160791768
ありがとうございました
@tomzoh facebook.com/hasegawa.tomoki

スクレイピングのススメ

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (8)

Similar to スクレイピングのススメ

Similar to スクレイピングのススメ (20)

More from Tomoki Hasegawa

More from Tomoki Hasegawa (20)

スクレイピングのススメ