Blog 時代の検索エンジン Bulkfeeds

Blog 時代の検索エンジン Bulkfeeds

Tatsuhiko Miyagawa [email protected]

Livedoor, Co.,Ltd. / Shibuya Perl MongersBloggers meeting in Kyoto 2004

Copyright 2004 Livedoor, Co.,Ltd.Copyright 2004 Livedoor, Co.,Ltd. Bloggers meeting in Kyoto 2004Bloggers meeting in Kyoto 2004

アジェンダ

Bulkfeeds 活用術 RSS 検索エンジン全文検索と RSS フィード Similarity Search

Bulkfeeds のしくみ RSS, Ping Server, etc.

Bulkfeeds API 全文検索 , Similarity, etc.

Bulkfeeds 活用術


Bulkfeeds = RSS 検索エンジン

日本語 RSS のディレクトリ rss-jp.net Syndic8.com

日本語かどうかの判別現状は …


RSS フィードの全文検索

RSS の item を検索 Blog で言及されたエントリの検索 Google より早い！（最近は Googlebot

もがんばってる）


検索結果の RSS フィード

検索した結果の記事を RSS で出力未来的検索気になる単語の検索結果を受信エゴサーチ（自分や会社の名前）


RSS 検索結果をアプリケーションで

検索結果チャネル FeedDemon ReadOne Headline-Reader


Similarity Search

類似記事検索記事のテキストをマイニング類似記事を表示 javascript フィードもあるよ適当な自然言語処理


その他いろいろ

Stats Blog ツールごとの遷移

FOAF Relationship RSS FOAF の関連付け

更新間隔表示

Bulkfeeds バックエンドの仕組み


Bulkfeeds バックエンド

Open Source Software Apache 1.3.29 Perl 5.8.3 mod_perl 1.29 MySQL 4.0

サーバは Data-Hotel http://www.data-hotel.net/ CPU PenIV 1.5G / メモリ 1G / HDD 80G


RSS フィードのアグリゲート

Ping サーバ ping.bloggers.jp MyBlog Japan ココログ

各サービス Livedoor Blog はてなダイアリ etc.


検索エンジン

Open Source Software RSS を HTML 化 Namazu + Kakasi

3,000,000 記事 Namazu の限界とりあえず直近 1 ヶ月の記事のみに (4/6)


アクセス状況

RSS 検索 (search2) 30,000 / day

Similarity Search 100,000 / day (PV: javascript)

Bulkfeeds API


Application Programming Interface

各種データフォーマットによる API 提供 RSS OPML XML (REST)

サービス Search2, search, similarity discovery terms


API クライアント

REST HTTP GET (POST) + XML プラットフォーム非依存

Blogmap 新着 Blog の検索

GREE, Pigeonhole RSS Auto-Discovery


Similarity Terms API

特徴語の抽出 POST + REST オートニュー速ニュー速 Ping サーバ MT- ニュー速プラグイン

API キーを取得して利用してください

ご静聴ありがとうございました

ご質問どうぞ

Documents

Blog 時代の検索エンジン Bulkfeeds