Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
copy 2010 IBM Corporation
2010年10月12日
日本アイビーエム株式会社
ソフトウェア事業 Enterprise Content Management (ECM)
全文検索ソリューションOmniFind
Enterprise
Edition
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
2
目次
なぜ企業内検索エンジンが必要なのか
競合分析
OmniFindユースケースndash セキュア環境でのNOTESWindowsファイルシステム横断検索
ndash さまざまなデーターソース横断検索
ndash WebSphere Portal Serverとの統合
ndash カスタマイズもろもろ
IBM OmniFind Enterprise Edition V91 (OEE) ndash ハイライト
bull 最新のユーザーインターフェイス
bull 高品質な検索
bull 大規模対応
ndash 機能概要
ndash システムアーキテクチャ
ndash サポート情報
ndash アプライアンスモデルご紹介
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
3
ユーザーが本当に求めている情報に絞り込んで表示してほしい
ほしい情報を瞬時に手に入れたい
人によってアクセスできる文書アクセスできない文書が異なるアクセス権を持つ文書のみ結果表示するようにしたい
企業にはさまざまなレポジトリーが存在するどこにほしい情報が入っているか分からないので纏めて一気に検索したい
なぜ企業内検索エンジンが必要なのか
企業内検索エンジンは効率的な情報収集をして業務効率を上げる手助けをします
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
4
OmniFindサポートデータソース
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAM
サポートデータソース
Microsoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
28のデータソース250以上のデータフォーマットに対応
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
5
OmniFindセキュリティ
アクセス権を持つ文書のみの検索結果をユーザーに提供
一般職
管理職
コレクション
人事情報
一般職一般職
管理職管理職
コレクション
人事情報
検索結果
検索結果検索結果
OmniFind
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
6
企業内検索画面イメージ
①テキストボックスに文字を入力
②検索ボタンをクリック
③検索結果を取得
④文書リンクから文書へアクセス
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
7
競合分析
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
8
OmniFindユースケース
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
9
OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索
検索OmniFind
ファイルサーバー Lotus Domino
bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで
bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応
【ソリューション概要】
【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
10
OmniFindユースケースその2さまざまなデータソース横断検索
検索OmniFind
bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理
【ソリューション概要】
【利点】bull30以上のデータリポジトリに対応
bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc
bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など
ORACLEFileNet
DB2
Lotus
Quickr
Lotus
Connections
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
11
OmniFindユースケースその3WebSphere Portal Serverとの統合
bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc
bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能
【ソリューション概要】
【利点】bull ポータル内検索ボックスからOEE
機能を使用可能bull スクリプト起動でポータルサーバー
にデプロイ可能bull SSO(LTPA)可能なので検索シス
テムにログイン不必要
検索ボックス検索ポートレット
WebSphere Portal V61
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
12
OmniFindユースケースその4カスタマイズもろもろ (14)
要望1対応していないデータソースを検索対象としたい
OmniFind
ノーツクローラー
カスタムクローラー
非対応データソース
bull手作り文書管理システム
bull非対応RDBMS
bullCSVファイル
など
クローラーフレームワークにより簡単にカスタムクローラーを作成
Quickrクローラー
カスタムクローラーフレームワーク
bullJavaベースのクローラー用フレームワーク
bullEclipseなどのJava開発環境で開発
bullエラーハンドリングスケジューリング更新検知などのコーディング不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
2
目次
なぜ企業内検索エンジンが必要なのか
競合分析
OmniFindユースケースndash セキュア環境でのNOTESWindowsファイルシステム横断検索
ndash さまざまなデーターソース横断検索
ndash WebSphere Portal Serverとの統合
ndash カスタマイズもろもろ
IBM OmniFind Enterprise Edition V91 (OEE) ndash ハイライト
bull 最新のユーザーインターフェイス
bull 高品質な検索
bull 大規模対応
ndash 機能概要
ndash システムアーキテクチャ
ndash サポート情報
ndash アプライアンスモデルご紹介
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
3
ユーザーが本当に求めている情報に絞り込んで表示してほしい
ほしい情報を瞬時に手に入れたい
人によってアクセスできる文書アクセスできない文書が異なるアクセス権を持つ文書のみ結果表示するようにしたい
企業にはさまざまなレポジトリーが存在するどこにほしい情報が入っているか分からないので纏めて一気に検索したい
なぜ企業内検索エンジンが必要なのか
企業内検索エンジンは効率的な情報収集をして業務効率を上げる手助けをします
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
4
OmniFindサポートデータソース
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAM
サポートデータソース
Microsoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
28のデータソース250以上のデータフォーマットに対応
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
5
OmniFindセキュリティ
アクセス権を持つ文書のみの検索結果をユーザーに提供
一般職
管理職
コレクション
人事情報
一般職一般職
管理職管理職
コレクション
人事情報
検索結果
検索結果検索結果
OmniFind
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
6
企業内検索画面イメージ
①テキストボックスに文字を入力
②検索ボタンをクリック
③検索結果を取得
④文書リンクから文書へアクセス
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
7
競合分析
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
8
OmniFindユースケース
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
9
OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索
検索OmniFind
ファイルサーバー Lotus Domino
bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで
bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応
【ソリューション概要】
【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
10
OmniFindユースケースその2さまざまなデータソース横断検索
検索OmniFind
bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理
【ソリューション概要】
【利点】bull30以上のデータリポジトリに対応
bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc
bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など
ORACLEFileNet
DB2
Lotus
Quickr
Lotus
Connections
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
11
OmniFindユースケースその3WebSphere Portal Serverとの統合
bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc
bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能
【ソリューション概要】
【利点】bull ポータル内検索ボックスからOEE
機能を使用可能bull スクリプト起動でポータルサーバー
にデプロイ可能bull SSO(LTPA)可能なので検索シス
テムにログイン不必要
検索ボックス検索ポートレット
WebSphere Portal V61
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
12
OmniFindユースケースその4カスタマイズもろもろ (14)
要望1対応していないデータソースを検索対象としたい
OmniFind
ノーツクローラー
カスタムクローラー
非対応データソース
bull手作り文書管理システム
bull非対応RDBMS
bullCSVファイル
など
クローラーフレームワークにより簡単にカスタムクローラーを作成
Quickrクローラー
カスタムクローラーフレームワーク
bullJavaベースのクローラー用フレームワーク
bullEclipseなどのJava開発環境で開発
bullエラーハンドリングスケジューリング更新検知などのコーディング不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
3
ユーザーが本当に求めている情報に絞り込んで表示してほしい
ほしい情報を瞬時に手に入れたい
人によってアクセスできる文書アクセスできない文書が異なるアクセス権を持つ文書のみ結果表示するようにしたい
企業にはさまざまなレポジトリーが存在するどこにほしい情報が入っているか分からないので纏めて一気に検索したい
なぜ企業内検索エンジンが必要なのか
企業内検索エンジンは効率的な情報収集をして業務効率を上げる手助けをします
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
4
OmniFindサポートデータソース
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAM
サポートデータソース
Microsoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
28のデータソース250以上のデータフォーマットに対応
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
5
OmniFindセキュリティ
アクセス権を持つ文書のみの検索結果をユーザーに提供
一般職
管理職
コレクション
人事情報
一般職一般職
管理職管理職
コレクション
人事情報
検索結果
検索結果検索結果
OmniFind
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
6
企業内検索画面イメージ
①テキストボックスに文字を入力
②検索ボタンをクリック
③検索結果を取得
④文書リンクから文書へアクセス
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
7
競合分析
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
8
OmniFindユースケース
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
9
OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索
検索OmniFind
ファイルサーバー Lotus Domino
bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで
bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応
【ソリューション概要】
【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
10
OmniFindユースケースその2さまざまなデータソース横断検索
検索OmniFind
bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理
【ソリューション概要】
【利点】bull30以上のデータリポジトリに対応
bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc
bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など
ORACLEFileNet
DB2
Lotus
Quickr
Lotus
Connections
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
11
OmniFindユースケースその3WebSphere Portal Serverとの統合
bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc
bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能
【ソリューション概要】
【利点】bull ポータル内検索ボックスからOEE
機能を使用可能bull スクリプト起動でポータルサーバー
にデプロイ可能bull SSO(LTPA)可能なので検索シス
テムにログイン不必要
検索ボックス検索ポートレット
WebSphere Portal V61
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
12
OmniFindユースケースその4カスタマイズもろもろ (14)
要望1対応していないデータソースを検索対象としたい
OmniFind
ノーツクローラー
カスタムクローラー
非対応データソース
bull手作り文書管理システム
bull非対応RDBMS
bullCSVファイル
など
クローラーフレームワークにより簡単にカスタムクローラーを作成
Quickrクローラー
カスタムクローラーフレームワーク
bullJavaベースのクローラー用フレームワーク
bullEclipseなどのJava開発環境で開発
bullエラーハンドリングスケジューリング更新検知などのコーディング不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
4
OmniFindサポートデータソース
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAM
サポートデータソース
Microsoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
28のデータソース250以上のデータフォーマットに対応
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
5
OmniFindセキュリティ
アクセス権を持つ文書のみの検索結果をユーザーに提供
一般職
管理職
コレクション
人事情報
一般職一般職
管理職管理職
コレクション
人事情報
検索結果
検索結果検索結果
OmniFind
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
6
企業内検索画面イメージ
①テキストボックスに文字を入力
②検索ボタンをクリック
③検索結果を取得
④文書リンクから文書へアクセス
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
7
競合分析
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
8
OmniFindユースケース
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
9
OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索
検索OmniFind
ファイルサーバー Lotus Domino
bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで
bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応
【ソリューション概要】
【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
10
OmniFindユースケースその2さまざまなデータソース横断検索
検索OmniFind
bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理
【ソリューション概要】
【利点】bull30以上のデータリポジトリに対応
bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc
bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など
ORACLEFileNet
DB2
Lotus
Quickr
Lotus
Connections
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
11
OmniFindユースケースその3WebSphere Portal Serverとの統合
bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc
bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能
【ソリューション概要】
【利点】bull ポータル内検索ボックスからOEE
機能を使用可能bull スクリプト起動でポータルサーバー
にデプロイ可能bull SSO(LTPA)可能なので検索シス
テムにログイン不必要
検索ボックス検索ポートレット
WebSphere Portal V61
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
12
OmniFindユースケースその4カスタマイズもろもろ (14)
要望1対応していないデータソースを検索対象としたい
OmniFind
ノーツクローラー
カスタムクローラー
非対応データソース
bull手作り文書管理システム
bull非対応RDBMS
bullCSVファイル
など
クローラーフレームワークにより簡単にカスタムクローラーを作成
Quickrクローラー
カスタムクローラーフレームワーク
bullJavaベースのクローラー用フレームワーク
bullEclipseなどのJava開発環境で開発
bullエラーハンドリングスケジューリング更新検知などのコーディング不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
5
OmniFindセキュリティ
アクセス権を持つ文書のみの検索結果をユーザーに提供
一般職
管理職
コレクション
人事情報
一般職一般職
管理職管理職
コレクション
人事情報
検索結果
検索結果検索結果
OmniFind
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
6
企業内検索画面イメージ
①テキストボックスに文字を入力
②検索ボタンをクリック
③検索結果を取得
④文書リンクから文書へアクセス
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
7
競合分析
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
8
OmniFindユースケース
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
9
OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索
検索OmniFind
ファイルサーバー Lotus Domino
bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで
bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応
【ソリューション概要】
【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
10
OmniFindユースケースその2さまざまなデータソース横断検索
検索OmniFind
bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理
【ソリューション概要】
【利点】bull30以上のデータリポジトリに対応
bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc
bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など
ORACLEFileNet
DB2
Lotus
Quickr
Lotus
Connections
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
11
OmniFindユースケースその3WebSphere Portal Serverとの統合
bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc
bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能
【ソリューション概要】
【利点】bull ポータル内検索ボックスからOEE
機能を使用可能bull スクリプト起動でポータルサーバー
にデプロイ可能bull SSO(LTPA)可能なので検索シス
テムにログイン不必要
検索ボックス検索ポートレット
WebSphere Portal V61
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
12
OmniFindユースケースその4カスタマイズもろもろ (14)
要望1対応していないデータソースを検索対象としたい
OmniFind
ノーツクローラー
カスタムクローラー
非対応データソース
bull手作り文書管理システム
bull非対応RDBMS
bullCSVファイル
など
クローラーフレームワークにより簡単にカスタムクローラーを作成
Quickrクローラー
カスタムクローラーフレームワーク
bullJavaベースのクローラー用フレームワーク
bullEclipseなどのJava開発環境で開発
bullエラーハンドリングスケジューリング更新検知などのコーディング不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
6
企業内検索画面イメージ
①テキストボックスに文字を入力
②検索ボタンをクリック
③検索結果を取得
④文書リンクから文書へアクセス
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
7
競合分析
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
8
OmniFindユースケース
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
9
OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索
検索OmniFind
ファイルサーバー Lotus Domino
bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで
bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応
【ソリューション概要】
【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
10
OmniFindユースケースその2さまざまなデータソース横断検索
検索OmniFind
bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理
【ソリューション概要】
【利点】bull30以上のデータリポジトリに対応
bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc
bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など
ORACLEFileNet
DB2
Lotus
Quickr
Lotus
Connections
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
11
OmniFindユースケースその3WebSphere Portal Serverとの統合
bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc
bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能
【ソリューション概要】
【利点】bull ポータル内検索ボックスからOEE
機能を使用可能bull スクリプト起動でポータルサーバー
にデプロイ可能bull SSO(LTPA)可能なので検索シス
テムにログイン不必要
検索ボックス検索ポートレット
WebSphere Portal V61
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
12
OmniFindユースケースその4カスタマイズもろもろ (14)
要望1対応していないデータソースを検索対象としたい
OmniFind
ノーツクローラー
カスタムクローラー
非対応データソース
bull手作り文書管理システム
bull非対応RDBMS
bullCSVファイル
など
クローラーフレームワークにより簡単にカスタムクローラーを作成
Quickrクローラー
カスタムクローラーフレームワーク
bullJavaベースのクローラー用フレームワーク
bullEclipseなどのJava開発環境で開発
bullエラーハンドリングスケジューリング更新検知などのコーディング不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
7
競合分析
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
8
OmniFindユースケース
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
9
OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索
検索OmniFind
ファイルサーバー Lotus Domino
bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで
bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応
【ソリューション概要】
【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
10
OmniFindユースケースその2さまざまなデータソース横断検索
検索OmniFind
bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理
【ソリューション概要】
【利点】bull30以上のデータリポジトリに対応
bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc
bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など
ORACLEFileNet
DB2
Lotus
Quickr
Lotus
Connections
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
11
OmniFindユースケースその3WebSphere Portal Serverとの統合
bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc
bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能
【ソリューション概要】
【利点】bull ポータル内検索ボックスからOEE
機能を使用可能bull スクリプト起動でポータルサーバー
にデプロイ可能bull SSO(LTPA)可能なので検索シス
テムにログイン不必要
検索ボックス検索ポートレット
WebSphere Portal V61
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
12
OmniFindユースケースその4カスタマイズもろもろ (14)
要望1対応していないデータソースを検索対象としたい
OmniFind
ノーツクローラー
カスタムクローラー
非対応データソース
bull手作り文書管理システム
bull非対応RDBMS
bullCSVファイル
など
クローラーフレームワークにより簡単にカスタムクローラーを作成
Quickrクローラー
カスタムクローラーフレームワーク
bullJavaベースのクローラー用フレームワーク
bullEclipseなどのJava開発環境で開発
bullエラーハンドリングスケジューリング更新検知などのコーディング不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
8
OmniFindユースケース
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
9
OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索
検索OmniFind
ファイルサーバー Lotus Domino
bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで
bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応
【ソリューション概要】
【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
10
OmniFindユースケースその2さまざまなデータソース横断検索
検索OmniFind
bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理
【ソリューション概要】
【利点】bull30以上のデータリポジトリに対応
bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc
bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など
ORACLEFileNet
DB2
Lotus
Quickr
Lotus
Connections
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
11
OmniFindユースケースその3WebSphere Portal Serverとの統合
bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc
bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能
【ソリューション概要】
【利点】bull ポータル内検索ボックスからOEE
機能を使用可能bull スクリプト起動でポータルサーバー
にデプロイ可能bull SSO(LTPA)可能なので検索シス
テムにログイン不必要
検索ボックス検索ポートレット
WebSphere Portal V61
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
12
OmniFindユースケースその4カスタマイズもろもろ (14)
要望1対応していないデータソースを検索対象としたい
OmniFind
ノーツクローラー
カスタムクローラー
非対応データソース
bull手作り文書管理システム
bull非対応RDBMS
bullCSVファイル
など
クローラーフレームワークにより簡単にカスタムクローラーを作成
Quickrクローラー
カスタムクローラーフレームワーク
bullJavaベースのクローラー用フレームワーク
bullEclipseなどのJava開発環境で開発
bullエラーハンドリングスケジューリング更新検知などのコーディング不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
9
OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索
検索OmniFind
ファイルサーバー Lotus Domino
bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで
bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応
【ソリューション概要】
【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
10
OmniFindユースケースその2さまざまなデータソース横断検索
検索OmniFind
bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理
【ソリューション概要】
【利点】bull30以上のデータリポジトリに対応
bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc
bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など
ORACLEFileNet
DB2
Lotus
Quickr
Lotus
Connections
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
11
OmniFindユースケースその3WebSphere Portal Serverとの統合
bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc
bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能
【ソリューション概要】
【利点】bull ポータル内検索ボックスからOEE
機能を使用可能bull スクリプト起動でポータルサーバー
にデプロイ可能bull SSO(LTPA)可能なので検索シス
テムにログイン不必要
検索ボックス検索ポートレット
WebSphere Portal V61
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
12
OmniFindユースケースその4カスタマイズもろもろ (14)
要望1対応していないデータソースを検索対象としたい
OmniFind
ノーツクローラー
カスタムクローラー
非対応データソース
bull手作り文書管理システム
bull非対応RDBMS
bullCSVファイル
など
クローラーフレームワークにより簡単にカスタムクローラーを作成
Quickrクローラー
カスタムクローラーフレームワーク
bullJavaベースのクローラー用フレームワーク
bullEclipseなどのJava開発環境で開発
bullエラーハンドリングスケジューリング更新検知などのコーディング不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
10
OmniFindユースケースその2さまざまなデータソース横断検索
検索OmniFind
bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理
【ソリューション概要】
【利点】bull30以上のデータリポジトリに対応
bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc
bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など
ORACLEFileNet
DB2
Lotus
Quickr
Lotus
Connections
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
11
OmniFindユースケースその3WebSphere Portal Serverとの統合
bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc
bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能
【ソリューション概要】
【利点】bull ポータル内検索ボックスからOEE
機能を使用可能bull スクリプト起動でポータルサーバー
にデプロイ可能bull SSO(LTPA)可能なので検索シス
テムにログイン不必要
検索ボックス検索ポートレット
WebSphere Portal V61
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
12
OmniFindユースケースその4カスタマイズもろもろ (14)
要望1対応していないデータソースを検索対象としたい
OmniFind
ノーツクローラー
カスタムクローラー
非対応データソース
bull手作り文書管理システム
bull非対応RDBMS
bullCSVファイル
など
クローラーフレームワークにより簡単にカスタムクローラーを作成
Quickrクローラー
カスタムクローラーフレームワーク
bullJavaベースのクローラー用フレームワーク
bullEclipseなどのJava開発環境で開発
bullエラーハンドリングスケジューリング更新検知などのコーディング不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
11
OmniFindユースケースその3WebSphere Portal Serverとの統合
bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc
bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能
【ソリューション概要】
【利点】bull ポータル内検索ボックスからOEE
機能を使用可能bull スクリプト起動でポータルサーバー
にデプロイ可能bull SSO(LTPA)可能なので検索シス
テムにログイン不必要
検索ボックス検索ポートレット
WebSphere Portal V61
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
12
OmniFindユースケースその4カスタマイズもろもろ (14)
要望1対応していないデータソースを検索対象としたい
OmniFind
ノーツクローラー
カスタムクローラー
非対応データソース
bull手作り文書管理システム
bull非対応RDBMS
bullCSVファイル
など
クローラーフレームワークにより簡単にカスタムクローラーを作成
Quickrクローラー
カスタムクローラーフレームワーク
bullJavaベースのクローラー用フレームワーク
bullEclipseなどのJava開発環境で開発
bullエラーハンドリングスケジューリング更新検知などのコーディング不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
12
OmniFindユースケースその4カスタマイズもろもろ (14)
要望1対応していないデータソースを検索対象としたい
OmniFind
ノーツクローラー
カスタムクローラー
非対応データソース
bull手作り文書管理システム
bull非対応RDBMS
bullCSVファイル
など
クローラーフレームワークにより簡単にカスタムクローラーを作成
Quickrクローラー
カスタムクローラーフレームワーク
bullJavaベースのクローラー用フレームワーク
bullEclipseなどのJava開発環境で開発
bullエラーハンドリングスケジューリング更新検知などのコーディング不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
13
OmniFindユースケースその4カスタマイズもろもろ (24)
要望2セマンティックサーチをしたい
例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加
尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です
鉱物種硫化鉱物
クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する
鉱物種硫化鉱物 検索
検索時
クロール
鉱物種(100)
硫化鉱物(50)
酸化鉱物(20)
炭酸塩鉱物(10)
活用法1)分類 活用法2)検索結果
オリジナル文書にメタデータがない場合でも
う分類
尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip
ldquo硫化鉱物rdquoに属する鉱物が
含まれている文書を抽出
黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip
検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
14
OmniFindユースケースその4カスタマイズもろもろ (34)
要望3ユーザーインターフェイスを変更したい
パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用
(カスタマイズなし)
パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供
(カスタマイズなし)
パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要
Java API
REST API
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
15
OmniFindユースケースその4
カスタマイズもろもろ (44)
要望4その他
SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要
セキュア検索対象ではないデータリポジトリに対してセキュア検索したい
rarr セキュリティトークンを索引に埋め込む処理が必要
アーカイブ(退避)されたファイルをクロールしたい
rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので
アクセス日付を書き換えアーカイブに戻すなどの作業が必要
URLの書き換え
rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation16
事例
bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している
bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している
bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している
bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
17
OmniFind
Enterprise
Edition
V91
高品質な検索
最新のユーザーインターフェイス
大規模対応and
MORE
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
18
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル
スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
19
洗練されたユーザーインターフェイス
情報を直感的に見つけるのにサムネールが役立つ
文書アイコンをクリックするとその文書の全文を表示
Microsoft Windowsファイルサーバの文書がヒット
クリックすると画像が拡大表示
ファセットによる分類を表示
事業部ごとに分類されたカテゴリー
入力候補を表示することで入力を促進します候補は索引内
ログから選択予想される結果数
ldquoもしかしてrdquo機能
検索条件の保存呼出
1ページあたりの検索結果数の指定
ファイルタイプフィルタリング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
20
ファセット検索
1 ファセット検索 2 カテゴリー検索
URL(ファイルサーバーのディレクトリ名)で分類
文書が持っているメタデータで分類レンジファセットを使って範囲で分類
1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類
bull 階層ファセット
bull レンジ(範囲)ファセット
2 カテゴリー検索文書収集時にルールによって分類
bull URIルール URIにある文字が含まれているかで分類
例) softwareimecm -gt ldquoECMrdquoカテゴリーへ
例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ
bull クエリールール ある特定の語句で検索される文書により分類
bull 階層は任意の深さに設定
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
21
ファセット検索(例NOTESフィールドのマッピング)
NOTES文書
NOTES文書が持っているフィールドをOmniFindのファセットにマッピング
キーワード検索以外の検索手法により正確な検索を実現
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
22
タイプアヘッド
検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF
索引
クエリーログ
入力途中クエリー
入力候補
ldquo日本rdquo
日本 260000 results
日本人 154000 results
日本語 60000 results
hellip
日本IBM 146000 results
日本語 84000 results
hellip
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
23
検索語の候補を表示
ndash 検索ユーザーに検索語中に入力ミスがあることを示唆
ndash セキュリティパフォーマンスの観点から本機能をONOFF
クエリーサジェスチョン
候補語
入力語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
サムネイル機能
オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)
プレビュー機能
ハイライト付きの全文章を表示
サムネイル amp プレビュー
全文表示
拡大表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
25
管理UI ( レポート機能 ) 検索の統計を表示
ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語
CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析
時系列単位(日週月)で表示 リアルタイムで分析
検索語検索者時刻結果数応答時間を表示
今日今週今月ごとに検索数の推移をグラフ化
高頻度の検索語を表示
結果を戻さなかった検索語を表示
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
26
OmniFind ハイライト
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
27 2011126
インデックスを作成するための解析方法は
形態素解析Nグラム解析の2種類が主流
形態素解析方式辞書引き文法に従って意味のある単語に分かち書き
Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き
形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
28 2011126
比較項目 形態素解析方式 Nグラム方式
適合率(検索ノイズ) 高い (少ない) 低い (多い)
再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)
索引作成時間 中 (Nグラムに比べると遅い) 速い
索引サイズ 小さい 大きい
辞書(分かち書き) 必要 必要なし
検索速度 速い 遅い
自動車を購入したい
形態素解析 自動車 を 購入 した い
2グラム 自動 動車 車を を購 購入 入し した たい
ハイブリッド索引① 形態素 amp Nグラム
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
29 2011126
Nグラム方式のノイズの例
形態素解析方式での漏れが発生する例
研究所研究
文化
人類学文化人
X
bull東京都bull営団地下鉄bullインストール
ハイブリッド索引① 形態素 amp Nグラム
X
X
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
30
ハイブリッド索引②
形態素解析とNグラムを単一の索引で使用
両方の長所を取り入れたハイブリッド索引
形態素索引
Nグラム索引
クエリーハイブリッド
索引マージ xmlxml
結果
クエリー
xmlxml
結果
文書 検索語 形態素 Nグラム ハイブリッド
コンピュータ コンピューター ヒット ヒットしない ヒット
カーナビ ナビ ヒットしない ヒット ヒット
東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い
アプリケーションでのマージは不要
ディスク容量の削減
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
31
Apache UIMAを使ったセマンティック検索セマンティック検索とは
アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索
IBMのセマンティック検索に対する回答
UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術
2009年3月からOASIS標準
して勤務にABC株式会社は山田太郎
をしています仕事のエンジニアおり
彼の年齢は29歳で事業所は神奈川
-1234-080は連絡先にあります川崎の県
hellipです1234
例
山田太郎
ABC株式会社
エンジニア
川崎
080-1234-1234
人名
会社名
職業
地名
電話番号
アノテーション
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
32
ランキングチューニング (12)
静的ランキングのスコア調整
検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定
ユーザー定義メタデータによるランキングチューニング
ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ
最新更新した文書のランキングを上げたい
参照(リンク)されているWebページのランキングを上げたい
参照回数が多い文書のランキングを上げたい
重要な文書のランキングを上げたい
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
33
ランキングチューニング (22)
ブーストタームクエリー
特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに
Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定
URLパターンマッチング(V85から継承)
ある特定のURLパターンと適合する文書のランキングを上げる
例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる
ブーストターム辞書(V85から継承)
ランキングを上げたい語を辞書登録することによりその語のランキングを上げる
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
34
OmniFind ハイライト
高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング
最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI
大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
35
拡張性を備えたマルチサーバー構成
クロール
クロール文書処理索引処理
文書処理
文書処理
文書処理索引処理
検索
検索
検索
検索
RDS 索引 索引
索引
索引
索引
高可用性(HA)クラスター
スケールアウト(拡張)
拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
36
リアルタイム索引更新
新規に追加更新された文書を検索結果に即時反映
ndash 定期的に索引の更新を検知
ndash リアルタイムで索引が更新されるので差分索引は不要
ndash 索引の再編成は不要
データソース 索引 検索結果
検索コンポーネント
検索コンポーネント
文書
データソース
索引
検索結果
検索コンポーネント
検索コンポーネント
文書
OEE V91
OEE V85
再編成
定期的な再編成
リアルタイムに索引に反映
再編成は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
37
索引構成の最適化
大量の文書を対象とするための索引構成の最適化
ndash 1索引あたりの文書数を2千万文書に制限
ndash 索引が2千万文書を超えた場合索引を複数に分割配置
ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速
索引
索引
索引
索引
索引処理 仮想索引 検索コンポーネント
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
38
機能概要
検索ユーザー
bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く
bull ファセット検索文書のさまざまな属性で絞込み可能
bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援
bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示
bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供
bull サムネイル検索にヒットしたPDFなどのサムネイルを表示
bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立
and
MORE
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
39
参考 機能概要 and
MORE
検索管理者
bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される
bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示
bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応
bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応
bull 検索アプリケーションのソース付属
bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
40
参考 機能概要 and
MORE
システム管理者
bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応
bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現
bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮
bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現
bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)
bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
41
参考 REST API
HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装
ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易
索引一覧の取得httplocalhost8394apiv10collections
Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910
サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt
文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22
Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf
例)
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
42
参考 SIAPI 拡張検索拡張されたクエリー文法
ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo
ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo
ndash ファジー検索 スペルのあいまい検索
ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo
ldquoOmniFind Editionrdquo
Search
Enterprise
Search~08
LocationCaliforniaSanJose
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
43
参考 検索UIのカスタマイズ
管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)
カスタマイズ項目サーバー設定
ホスト名ポート番号タイムアウト値hellip
見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip
検索アプリのプリファレンス検索ページファセット結果カラム
サーチセッションの再起動は不要
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
44
参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有
ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上
IndexConfiguration
Network Strange
Search Runtime Server 1
Search Runtime
Search Runtime Server 2
Search Runtime
Search Runtime Server 3
Search Runtime
Doc Processing
Crawler Indexer Service
File share
eg GPFS
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
45
参考 Microsoft Windowsファイルシステムエージェント
主要機能ndash Microsoft Windows以外のプラットフォームから
Microsoft Windows上のファイルをクロールndash セキュア検索
必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール
Microsoft
WindowsOmniFind
Agent for
Windows
FS Crawler
OmniFind
ParseIndex
OmniFind
Search
OEE Agent
protocolAgent for
Windows
File system
Microsoft
Windows
Local file
system
Remote
file system
CIFS
protocol
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
46
OmniFind Enterprise Edition V91
まとめ
高品質な検索
最新のユーザーインターフェイス
大規模対応
1
2
3
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
47
参考 システムアーキテクチャ
DocumentCache
Raw DataStore
Scheduler LoggingControl ConfigurationMonitor Security
Common Infrastructure
Cra
wle
r
Plu
g-i
n
Crawler Framework
SearchIndex
CustomCrawler
QuickPlaceCrawler
DominoDoc MgtCrawler
NotesCrawler
SharePointCrawler
ExchangeServer
Crawler
NNTPCrawler
DB2Crawler
JDBCDatabaseCrawler
ContentIntegrator
Crawler
DB2Content Mgr
Crawler
FileNet P8Crawler
WebCrawler
Seed ListCrawler
WebContent Mgr
Crawler
WebSpherePortal
Crawler
WindowsFile System
Crawler
UnixFile System
Crawler
Agent forFile System
Crawler
Global Processing
Web LinkAnalysis
ThumbnailGeneration
Classic Collection
Exp
ort
Plu
g-i
n
SIAPIApplication
CustomPoint
Indexer SearchIndex
Δ
An
n
An
n
An
n
UIMA
Parser
Indexer
Indexer Service
Document Processor Y
Parser Doc GeneratorA
nn
An
n
An
n
UIMA
Document Processor 1
Document Processor X
Search Collection
Exporter
Search Node YSearch Node X
Search Runtime
Search Node 1
Search Node 2
Search Runtime
Search Node 1
Search Application
ESSearch Application
Admin Application
REST APIApplication
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
48
参考 サポート情報 (12)
IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections
AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)
Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36
データソース プラットフォーム
ブラウザ
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
49
サポート情報 (22)
ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish
言語
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
50
お問合せ先
日本IBM
ソフトウェア事業ECM営業部
CMofficejpibmcom
httpibmcomsoftwarejpdatasearchsearchhtml
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております
copy 2010 IBM Corporation
IBM OmniFind Enterprise Edition V91
IBMスマーターソフトウェア祭りのポイント登録方法
51
ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ
セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml
登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな
っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_
smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ
さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください
本スライド(P51)はネットワールドにより挿入しております