165
教育訓練 逢甲大學 GIS 中心/水利署資訊室 20141027 1

教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

  • Upload
    others

  • View
    20

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

教育訓練

逢甲大學 GIS 中心水利署資訊室 20141027

1

課程表

上課時間 課程項目 講師

0930~0950 水利資料整合雲擴大應用計畫簡介 林哲暉

0950~1040水資源資料交換標準平台擴充功能說明與實機操作

黃裘恩

1040~1120雲端檔案同步說明與實機操作

劉宏恩

1120~1150 雲端SaaS應用案例-公文系統再活化 施育縉

1150~1210AD網頁版管理功能說明與實機操作

柯佳伶

1210~1310 午餐時間

1310~1340資料提供與服務引用說明與實機操作

張珮綺

1340~1410水利資料整合雲平台擴充功能說明與實機操作

張珮綺

1410~ 賦歸2

計畫緣起及目的

資料整合供應

交換標準

帳號整合

雲端環境

委託單位經濟部水利署

資訊室執行單位

逢甲大學地理資訊系統研究中心

3

計畫工作內容

強化雲端應用環境

建立水資源交換標準內容之品質確保機制

直覺式人機介面

其他配合事項

確保個資維護之符合性

建立簡易雲端應用介面

bull 升級雲端環境節點bull 標準資料入庫與服務擴充bull 雲端儲存空間服務整合與提昇bull 資料入庫效能調教bull 雲端資料庫同步bull 標準檔案上稿審核

bull 雲端運算模版bull 水利雲端開發插件bull SaaS案例-水利署公

文系統資料再活化

bull 應用系統行動版網站APP整合規劃

bull 情境式主題與使用引導機制

bull 監控報表即時警報整合規劃

bull 使用者登入方式與角色權限調整

bull 擴充應用系統使用與服務引用管理功能

bull 線上AD編輯器bull 個資存取軌跡

bull 標準草案修訂作業bull 資料之內容確保與稽核

機制bull 標準資料之新增刪除

及維護bull 正式版標準之行政支援bull 平台強化調整與整合

bull 駐點人力bull 專案管理與會議bull 系統開發配合事項bull 平台維運與交辦事項bull 其他配合事項

4

平台功能模組

平台入口

平台介紹

服務目錄

雲端資料庫

應用系統

雲端儲存空間服務

開放資料

交換標準

使用說明

下載專區

應用案例

我的專區

平台管理

雲端儲存空間服務【單機版】

雲端儲存空間服務【行動版】

資料交換核心模組

CDX資料同步模組雲端資料庫綱要

同步模組

代理服務模組

功能擴充調整

新增功能

標準需求

標準資料新增與維護

標準查詢

標準稽核

AD同步模組

單一簽入模組

5

重點工作- AD同步與SSO

水雲平台

AD管理員

AD編輯器

應用系統

應用系統

應用系統

使用者

使用者

使用者

使用者 使用者

SSO

6

重點工作-個人雲端儲存空間服務

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間7

重點工作-資料入庫與交換

雲端資料庫

服務引用者

水資源資料標準

非水資源資料標準

水資源資料標準

代理服務

水雲平台CDX WRA

CDX EPA

標準服務引用

8

重點工作-

訂定水資源資料標準與交換規範主階層 Main Category 子階層 Sub-category

河川 River水位 Water Level流量 Water Flow

河川管理 River Management河川土地 River Cadastre

地下水 Ground Water地下水水位 Groundwater Level地下水水質 Groundwater Quality

地層下陷 Land Subsidence水資源相關單位 Related Agency

排水設施 Drain Facilities

環境敏感 Sensitive Environment

地震 Earthquake

水質水量保護區Water Source Quality and Volume Protection Area

生態 Ecology水庫 Reservoir

防洪設施 Flood Protection

水權 Water Right 水權登記 Water Usage Registration

近海水文 Inshore潮位 Tidal波浪 Wave

降雨 Rainfall

水利管理 Administration

工程管理 Construction計畫管理 Project投資開發 Investigation知識管理 Knowledge

一般行政 Administration

水利統計 Statistic of Water Resources用水統計 Statistic of WaterUsage水權統計 Statistic of WaterRights

資料蒐集 訪談 資料確認 維護標準 發布標準 9

重點工作-雲端運算SaaS案例

水利署雲端應用系統平台

資料採礦模版

統計模版

文字模版

We

bS

erv

ice

s雲端開發插件

使用者自訂模版

公文搜尋amp公文分群 預測公文量功能

預測公文處理速度功能

10

重點工作-水雲平台擴充

應用系統行

動版網站

APP整合

情境式主題

與使用引導

機制

監控報表

即時警報整

使用者登入

方式與角色

權限

應用系統服

務功能擴充

www

AD憑證自然人憑證工商憑證GCA

XCA

11

重點工作-標準平台擴充

強化後台管理與報表建立標準會簽與封存機制 開發水資源交換標準服務

建立交換標準服務之應用系統

報表介接服務報表存取次

數報表等功能

建立標準審核多人會簽功能

標準內容異動自動通知引用者

與舊版標準資料封存等功能

依據WSDL標準開發WEB服務

提供使用者自動取得交換標準

XML SchemaMetadata等

XML資料

標準來源應用系統

標準服務引用介接

標準資料存取次數

lt交換標準服務gt引用者您好

新版本的交換標準服務已於lt年gtlt月gtlt日gt發布本次異動影響到您所引用的服務內容如下表

服務名稱 異動主旨

時水位 修改測站編號欄位名稱

詳細

詳細

如對本次異動有任何問題或建議歡迎您反應給資料集權責人員或系統管理員謝謝

經濟部水利署資訊室

何丁武 敬上

電話(04)2250-1433

傳真(04)2250-1627

E-mailnorrithhowragovtw

標準審核會簽表單

審核資訊

表單資訊

詳細資訊

Schema資訊

表單資訊

資料集摘要

輸入文字

資料權責人員黃振聖 送出審核時間103716 1821

資料集中文名稱時水位

資料集英文名稱Hourly water level

OpenData 否

不開放原因水文資訊收費條例

是否需要其他審核者 是 否

資料集審核人員

資料集復核人員

經濟部水利署

經濟部水利署

黃振聖

馬家驎

水文技術組一科

水文技術組一科

核准 退回審核結果

標準會簽

異動通知與封存

12

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 2: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

課程表

上課時間 課程項目 講師

0930~0950 水利資料整合雲擴大應用計畫簡介 林哲暉

0950~1040水資源資料交換標準平台擴充功能說明與實機操作

黃裘恩

1040~1120雲端檔案同步說明與實機操作

劉宏恩

1120~1150 雲端SaaS應用案例-公文系統再活化 施育縉

1150~1210AD網頁版管理功能說明與實機操作

柯佳伶

1210~1310 午餐時間

1310~1340資料提供與服務引用說明與實機操作

張珮綺

1340~1410水利資料整合雲平台擴充功能說明與實機操作

張珮綺

1410~ 賦歸2

計畫緣起及目的

資料整合供應

交換標準

帳號整合

雲端環境

委託單位經濟部水利署

資訊室執行單位

逢甲大學地理資訊系統研究中心

3

計畫工作內容

強化雲端應用環境

建立水資源交換標準內容之品質確保機制

直覺式人機介面

其他配合事項

確保個資維護之符合性

建立簡易雲端應用介面

bull 升級雲端環境節點bull 標準資料入庫與服務擴充bull 雲端儲存空間服務整合與提昇bull 資料入庫效能調教bull 雲端資料庫同步bull 標準檔案上稿審核

bull 雲端運算模版bull 水利雲端開發插件bull SaaS案例-水利署公

文系統資料再活化

bull 應用系統行動版網站APP整合規劃

bull 情境式主題與使用引導機制

bull 監控報表即時警報整合規劃

bull 使用者登入方式與角色權限調整

bull 擴充應用系統使用與服務引用管理功能

bull 線上AD編輯器bull 個資存取軌跡

bull 標準草案修訂作業bull 資料之內容確保與稽核

機制bull 標準資料之新增刪除

及維護bull 正式版標準之行政支援bull 平台強化調整與整合

bull 駐點人力bull 專案管理與會議bull 系統開發配合事項bull 平台維運與交辦事項bull 其他配合事項

4

平台功能模組

平台入口

平台介紹

服務目錄

雲端資料庫

應用系統

雲端儲存空間服務

開放資料

交換標準

使用說明

下載專區

應用案例

我的專區

平台管理

雲端儲存空間服務【單機版】

雲端儲存空間服務【行動版】

資料交換核心模組

CDX資料同步模組雲端資料庫綱要

同步模組

代理服務模組

功能擴充調整

新增功能

標準需求

標準資料新增與維護

標準查詢

標準稽核

AD同步模組

單一簽入模組

5

重點工作- AD同步與SSO

水雲平台

AD管理員

AD編輯器

應用系統

應用系統

應用系統

使用者

使用者

使用者

使用者 使用者

SSO

6

重點工作-個人雲端儲存空間服務

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間7

重點工作-資料入庫與交換

雲端資料庫

服務引用者

水資源資料標準

非水資源資料標準

水資源資料標準

代理服務

水雲平台CDX WRA

CDX EPA

標準服務引用

8

重點工作-

訂定水資源資料標準與交換規範主階層 Main Category 子階層 Sub-category

河川 River水位 Water Level流量 Water Flow

河川管理 River Management河川土地 River Cadastre

地下水 Ground Water地下水水位 Groundwater Level地下水水質 Groundwater Quality

地層下陷 Land Subsidence水資源相關單位 Related Agency

排水設施 Drain Facilities

環境敏感 Sensitive Environment

地震 Earthquake

水質水量保護區Water Source Quality and Volume Protection Area

生態 Ecology水庫 Reservoir

防洪設施 Flood Protection

水權 Water Right 水權登記 Water Usage Registration

近海水文 Inshore潮位 Tidal波浪 Wave

降雨 Rainfall

水利管理 Administration

工程管理 Construction計畫管理 Project投資開發 Investigation知識管理 Knowledge

一般行政 Administration

水利統計 Statistic of Water Resources用水統計 Statistic of WaterUsage水權統計 Statistic of WaterRights

資料蒐集 訪談 資料確認 維護標準 發布標準 9

重點工作-雲端運算SaaS案例

水利署雲端應用系統平台

資料採礦模版

統計模版

文字模版

We

bS

erv

ice

s雲端開發插件

使用者自訂模版

公文搜尋amp公文分群 預測公文量功能

預測公文處理速度功能

10

重點工作-水雲平台擴充

應用系統行

動版網站

APP整合

情境式主題

與使用引導

機制

監控報表

即時警報整

使用者登入

方式與角色

權限

應用系統服

務功能擴充

www

AD憑證自然人憑證工商憑證GCA

XCA

11

重點工作-標準平台擴充

強化後台管理與報表建立標準會簽與封存機制 開發水資源交換標準服務

建立交換標準服務之應用系統

報表介接服務報表存取次

數報表等功能

建立標準審核多人會簽功能

標準內容異動自動通知引用者

與舊版標準資料封存等功能

依據WSDL標準開發WEB服務

提供使用者自動取得交換標準

XML SchemaMetadata等

XML資料

標準來源應用系統

標準服務引用介接

標準資料存取次數

lt交換標準服務gt引用者您好

新版本的交換標準服務已於lt年gtlt月gtlt日gt發布本次異動影響到您所引用的服務內容如下表

服務名稱 異動主旨

時水位 修改測站編號欄位名稱

詳細

詳細

如對本次異動有任何問題或建議歡迎您反應給資料集權責人員或系統管理員謝謝

經濟部水利署資訊室

何丁武 敬上

電話(04)2250-1433

傳真(04)2250-1627

E-mailnorrithhowragovtw

標準審核會簽表單

審核資訊

表單資訊

詳細資訊

Schema資訊

表單資訊

資料集摘要

輸入文字

資料權責人員黃振聖 送出審核時間103716 1821

資料集中文名稱時水位

資料集英文名稱Hourly water level

OpenData 否

不開放原因水文資訊收費條例

是否需要其他審核者 是 否

資料集審核人員

資料集復核人員

經濟部水利署

經濟部水利署

黃振聖

馬家驎

水文技術組一科

水文技術組一科

核准 退回審核結果

標準會簽

異動通知與封存

12

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 3: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

計畫緣起及目的

資料整合供應

交換標準

帳號整合

雲端環境

委託單位經濟部水利署

資訊室執行單位

逢甲大學地理資訊系統研究中心

3

計畫工作內容

強化雲端應用環境

建立水資源交換標準內容之品質確保機制

直覺式人機介面

其他配合事項

確保個資維護之符合性

建立簡易雲端應用介面

bull 升級雲端環境節點bull 標準資料入庫與服務擴充bull 雲端儲存空間服務整合與提昇bull 資料入庫效能調教bull 雲端資料庫同步bull 標準檔案上稿審核

bull 雲端運算模版bull 水利雲端開發插件bull SaaS案例-水利署公

文系統資料再活化

bull 應用系統行動版網站APP整合規劃

bull 情境式主題與使用引導機制

bull 監控報表即時警報整合規劃

bull 使用者登入方式與角色權限調整

bull 擴充應用系統使用與服務引用管理功能

bull 線上AD編輯器bull 個資存取軌跡

bull 標準草案修訂作業bull 資料之內容確保與稽核

機制bull 標準資料之新增刪除

及維護bull 正式版標準之行政支援bull 平台強化調整與整合

bull 駐點人力bull 專案管理與會議bull 系統開發配合事項bull 平台維運與交辦事項bull 其他配合事項

4

平台功能模組

平台入口

平台介紹

服務目錄

雲端資料庫

應用系統

雲端儲存空間服務

開放資料

交換標準

使用說明

下載專區

應用案例

我的專區

平台管理

雲端儲存空間服務【單機版】

雲端儲存空間服務【行動版】

資料交換核心模組

CDX資料同步模組雲端資料庫綱要

同步模組

代理服務模組

功能擴充調整

新增功能

標準需求

標準資料新增與維護

標準查詢

標準稽核

AD同步模組

單一簽入模組

5

重點工作- AD同步與SSO

水雲平台

AD管理員

AD編輯器

應用系統

應用系統

應用系統

使用者

使用者

使用者

使用者 使用者

SSO

6

重點工作-個人雲端儲存空間服務

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間7

重點工作-資料入庫與交換

雲端資料庫

服務引用者

水資源資料標準

非水資源資料標準

水資源資料標準

代理服務

水雲平台CDX WRA

CDX EPA

標準服務引用

8

重點工作-

訂定水資源資料標準與交換規範主階層 Main Category 子階層 Sub-category

河川 River水位 Water Level流量 Water Flow

河川管理 River Management河川土地 River Cadastre

地下水 Ground Water地下水水位 Groundwater Level地下水水質 Groundwater Quality

地層下陷 Land Subsidence水資源相關單位 Related Agency

排水設施 Drain Facilities

環境敏感 Sensitive Environment

地震 Earthquake

水質水量保護區Water Source Quality and Volume Protection Area

生態 Ecology水庫 Reservoir

防洪設施 Flood Protection

水權 Water Right 水權登記 Water Usage Registration

近海水文 Inshore潮位 Tidal波浪 Wave

降雨 Rainfall

水利管理 Administration

工程管理 Construction計畫管理 Project投資開發 Investigation知識管理 Knowledge

一般行政 Administration

水利統計 Statistic of Water Resources用水統計 Statistic of WaterUsage水權統計 Statistic of WaterRights

資料蒐集 訪談 資料確認 維護標準 發布標準 9

重點工作-雲端運算SaaS案例

水利署雲端應用系統平台

資料採礦模版

統計模版

文字模版

We

bS

erv

ice

s雲端開發插件

使用者自訂模版

公文搜尋amp公文分群 預測公文量功能

預測公文處理速度功能

10

重點工作-水雲平台擴充

應用系統行

動版網站

APP整合

情境式主題

與使用引導

機制

監控報表

即時警報整

使用者登入

方式與角色

權限

應用系統服

務功能擴充

www

AD憑證自然人憑證工商憑證GCA

XCA

11

重點工作-標準平台擴充

強化後台管理與報表建立標準會簽與封存機制 開發水資源交換標準服務

建立交換標準服務之應用系統

報表介接服務報表存取次

數報表等功能

建立標準審核多人會簽功能

標準內容異動自動通知引用者

與舊版標準資料封存等功能

依據WSDL標準開發WEB服務

提供使用者自動取得交換標準

XML SchemaMetadata等

XML資料

標準來源應用系統

標準服務引用介接

標準資料存取次數

lt交換標準服務gt引用者您好

新版本的交換標準服務已於lt年gtlt月gtlt日gt發布本次異動影響到您所引用的服務內容如下表

服務名稱 異動主旨

時水位 修改測站編號欄位名稱

詳細

詳細

如對本次異動有任何問題或建議歡迎您反應給資料集權責人員或系統管理員謝謝

經濟部水利署資訊室

何丁武 敬上

電話(04)2250-1433

傳真(04)2250-1627

E-mailnorrithhowragovtw

標準審核會簽表單

審核資訊

表單資訊

詳細資訊

Schema資訊

表單資訊

資料集摘要

輸入文字

資料權責人員黃振聖 送出審核時間103716 1821

資料集中文名稱時水位

資料集英文名稱Hourly water level

OpenData 否

不開放原因水文資訊收費條例

是否需要其他審核者 是 否

資料集審核人員

資料集復核人員

經濟部水利署

經濟部水利署

黃振聖

馬家驎

水文技術組一科

水文技術組一科

核准 退回審核結果

標準會簽

異動通知與封存

12

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 4: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

計畫工作內容

強化雲端應用環境

建立水資源交換標準內容之品質確保機制

直覺式人機介面

其他配合事項

確保個資維護之符合性

建立簡易雲端應用介面

bull 升級雲端環境節點bull 標準資料入庫與服務擴充bull 雲端儲存空間服務整合與提昇bull 資料入庫效能調教bull 雲端資料庫同步bull 標準檔案上稿審核

bull 雲端運算模版bull 水利雲端開發插件bull SaaS案例-水利署公

文系統資料再活化

bull 應用系統行動版網站APP整合規劃

bull 情境式主題與使用引導機制

bull 監控報表即時警報整合規劃

bull 使用者登入方式與角色權限調整

bull 擴充應用系統使用與服務引用管理功能

bull 線上AD編輯器bull 個資存取軌跡

bull 標準草案修訂作業bull 資料之內容確保與稽核

機制bull 標準資料之新增刪除

及維護bull 正式版標準之行政支援bull 平台強化調整與整合

bull 駐點人力bull 專案管理與會議bull 系統開發配合事項bull 平台維運與交辦事項bull 其他配合事項

4

平台功能模組

平台入口

平台介紹

服務目錄

雲端資料庫

應用系統

雲端儲存空間服務

開放資料

交換標準

使用說明

下載專區

應用案例

我的專區

平台管理

雲端儲存空間服務【單機版】

雲端儲存空間服務【行動版】

資料交換核心模組

CDX資料同步模組雲端資料庫綱要

同步模組

代理服務模組

功能擴充調整

新增功能

標準需求

標準資料新增與維護

標準查詢

標準稽核

AD同步模組

單一簽入模組

5

重點工作- AD同步與SSO

水雲平台

AD管理員

AD編輯器

應用系統

應用系統

應用系統

使用者

使用者

使用者

使用者 使用者

SSO

6

重點工作-個人雲端儲存空間服務

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間7

重點工作-資料入庫與交換

雲端資料庫

服務引用者

水資源資料標準

非水資源資料標準

水資源資料標準

代理服務

水雲平台CDX WRA

CDX EPA

標準服務引用

8

重點工作-

訂定水資源資料標準與交換規範主階層 Main Category 子階層 Sub-category

河川 River水位 Water Level流量 Water Flow

河川管理 River Management河川土地 River Cadastre

地下水 Ground Water地下水水位 Groundwater Level地下水水質 Groundwater Quality

地層下陷 Land Subsidence水資源相關單位 Related Agency

排水設施 Drain Facilities

環境敏感 Sensitive Environment

地震 Earthquake

水質水量保護區Water Source Quality and Volume Protection Area

生態 Ecology水庫 Reservoir

防洪設施 Flood Protection

水權 Water Right 水權登記 Water Usage Registration

近海水文 Inshore潮位 Tidal波浪 Wave

降雨 Rainfall

水利管理 Administration

工程管理 Construction計畫管理 Project投資開發 Investigation知識管理 Knowledge

一般行政 Administration

水利統計 Statistic of Water Resources用水統計 Statistic of WaterUsage水權統計 Statistic of WaterRights

資料蒐集 訪談 資料確認 維護標準 發布標準 9

重點工作-雲端運算SaaS案例

水利署雲端應用系統平台

資料採礦模版

統計模版

文字模版

We

bS

erv

ice

s雲端開發插件

使用者自訂模版

公文搜尋amp公文分群 預測公文量功能

預測公文處理速度功能

10

重點工作-水雲平台擴充

應用系統行

動版網站

APP整合

情境式主題

與使用引導

機制

監控報表

即時警報整

使用者登入

方式與角色

權限

應用系統服

務功能擴充

www

AD憑證自然人憑證工商憑證GCA

XCA

11

重點工作-標準平台擴充

強化後台管理與報表建立標準會簽與封存機制 開發水資源交換標準服務

建立交換標準服務之應用系統

報表介接服務報表存取次

數報表等功能

建立標準審核多人會簽功能

標準內容異動自動通知引用者

與舊版標準資料封存等功能

依據WSDL標準開發WEB服務

提供使用者自動取得交換標準

XML SchemaMetadata等

XML資料

標準來源應用系統

標準服務引用介接

標準資料存取次數

lt交換標準服務gt引用者您好

新版本的交換標準服務已於lt年gtlt月gtlt日gt發布本次異動影響到您所引用的服務內容如下表

服務名稱 異動主旨

時水位 修改測站編號欄位名稱

詳細

詳細

如對本次異動有任何問題或建議歡迎您反應給資料集權責人員或系統管理員謝謝

經濟部水利署資訊室

何丁武 敬上

電話(04)2250-1433

傳真(04)2250-1627

E-mailnorrithhowragovtw

標準審核會簽表單

審核資訊

表單資訊

詳細資訊

Schema資訊

表單資訊

資料集摘要

輸入文字

資料權責人員黃振聖 送出審核時間103716 1821

資料集中文名稱時水位

資料集英文名稱Hourly water level

OpenData 否

不開放原因水文資訊收費條例

是否需要其他審核者 是 否

資料集審核人員

資料集復核人員

經濟部水利署

經濟部水利署

黃振聖

馬家驎

水文技術組一科

水文技術組一科

核准 退回審核結果

標準會簽

異動通知與封存

12

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 5: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

平台功能模組

平台入口

平台介紹

服務目錄

雲端資料庫

應用系統

雲端儲存空間服務

開放資料

交換標準

使用說明

下載專區

應用案例

我的專區

平台管理

雲端儲存空間服務【單機版】

雲端儲存空間服務【行動版】

資料交換核心模組

CDX資料同步模組雲端資料庫綱要

同步模組

代理服務模組

功能擴充調整

新增功能

標準需求

標準資料新增與維護

標準查詢

標準稽核

AD同步模組

單一簽入模組

5

重點工作- AD同步與SSO

水雲平台

AD管理員

AD編輯器

應用系統

應用系統

應用系統

使用者

使用者

使用者

使用者 使用者

SSO

6

重點工作-個人雲端儲存空間服務

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間7

重點工作-資料入庫與交換

雲端資料庫

服務引用者

水資源資料標準

非水資源資料標準

水資源資料標準

代理服務

水雲平台CDX WRA

CDX EPA

標準服務引用

8

重點工作-

訂定水資源資料標準與交換規範主階層 Main Category 子階層 Sub-category

河川 River水位 Water Level流量 Water Flow

河川管理 River Management河川土地 River Cadastre

地下水 Ground Water地下水水位 Groundwater Level地下水水質 Groundwater Quality

地層下陷 Land Subsidence水資源相關單位 Related Agency

排水設施 Drain Facilities

環境敏感 Sensitive Environment

地震 Earthquake

水質水量保護區Water Source Quality and Volume Protection Area

生態 Ecology水庫 Reservoir

防洪設施 Flood Protection

水權 Water Right 水權登記 Water Usage Registration

近海水文 Inshore潮位 Tidal波浪 Wave

降雨 Rainfall

水利管理 Administration

工程管理 Construction計畫管理 Project投資開發 Investigation知識管理 Knowledge

一般行政 Administration

水利統計 Statistic of Water Resources用水統計 Statistic of WaterUsage水權統計 Statistic of WaterRights

資料蒐集 訪談 資料確認 維護標準 發布標準 9

重點工作-雲端運算SaaS案例

水利署雲端應用系統平台

資料採礦模版

統計模版

文字模版

We

bS

erv

ice

s雲端開發插件

使用者自訂模版

公文搜尋amp公文分群 預測公文量功能

預測公文處理速度功能

10

重點工作-水雲平台擴充

應用系統行

動版網站

APP整合

情境式主題

與使用引導

機制

監控報表

即時警報整

使用者登入

方式與角色

權限

應用系統服

務功能擴充

www

AD憑證自然人憑證工商憑證GCA

XCA

11

重點工作-標準平台擴充

強化後台管理與報表建立標準會簽與封存機制 開發水資源交換標準服務

建立交換標準服務之應用系統

報表介接服務報表存取次

數報表等功能

建立標準審核多人會簽功能

標準內容異動自動通知引用者

與舊版標準資料封存等功能

依據WSDL標準開發WEB服務

提供使用者自動取得交換標準

XML SchemaMetadata等

XML資料

標準來源應用系統

標準服務引用介接

標準資料存取次數

lt交換標準服務gt引用者您好

新版本的交換標準服務已於lt年gtlt月gtlt日gt發布本次異動影響到您所引用的服務內容如下表

服務名稱 異動主旨

時水位 修改測站編號欄位名稱

詳細

詳細

如對本次異動有任何問題或建議歡迎您反應給資料集權責人員或系統管理員謝謝

經濟部水利署資訊室

何丁武 敬上

電話(04)2250-1433

傳真(04)2250-1627

E-mailnorrithhowragovtw

標準審核會簽表單

審核資訊

表單資訊

詳細資訊

Schema資訊

表單資訊

資料集摘要

輸入文字

資料權責人員黃振聖 送出審核時間103716 1821

資料集中文名稱時水位

資料集英文名稱Hourly water level

OpenData 否

不開放原因水文資訊收費條例

是否需要其他審核者 是 否

資料集審核人員

資料集復核人員

經濟部水利署

經濟部水利署

黃振聖

馬家驎

水文技術組一科

水文技術組一科

核准 退回審核結果

標準會簽

異動通知與封存

12

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 6: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

重點工作- AD同步與SSO

水雲平台

AD管理員

AD編輯器

應用系統

應用系統

應用系統

使用者

使用者

使用者

使用者 使用者

SSO

6

重點工作-個人雲端儲存空間服務

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間7

重點工作-資料入庫與交換

雲端資料庫

服務引用者

水資源資料標準

非水資源資料標準

水資源資料標準

代理服務

水雲平台CDX WRA

CDX EPA

標準服務引用

8

重點工作-

訂定水資源資料標準與交換規範主階層 Main Category 子階層 Sub-category

河川 River水位 Water Level流量 Water Flow

河川管理 River Management河川土地 River Cadastre

地下水 Ground Water地下水水位 Groundwater Level地下水水質 Groundwater Quality

地層下陷 Land Subsidence水資源相關單位 Related Agency

排水設施 Drain Facilities

環境敏感 Sensitive Environment

地震 Earthquake

水質水量保護區Water Source Quality and Volume Protection Area

生態 Ecology水庫 Reservoir

防洪設施 Flood Protection

水權 Water Right 水權登記 Water Usage Registration

近海水文 Inshore潮位 Tidal波浪 Wave

降雨 Rainfall

水利管理 Administration

工程管理 Construction計畫管理 Project投資開發 Investigation知識管理 Knowledge

一般行政 Administration

水利統計 Statistic of Water Resources用水統計 Statistic of WaterUsage水權統計 Statistic of WaterRights

資料蒐集 訪談 資料確認 維護標準 發布標準 9

重點工作-雲端運算SaaS案例

水利署雲端應用系統平台

資料採礦模版

統計模版

文字模版

We

bS

erv

ice

s雲端開發插件

使用者自訂模版

公文搜尋amp公文分群 預測公文量功能

預測公文處理速度功能

10

重點工作-水雲平台擴充

應用系統行

動版網站

APP整合

情境式主題

與使用引導

機制

監控報表

即時警報整

使用者登入

方式與角色

權限

應用系統服

務功能擴充

www

AD憑證自然人憑證工商憑證GCA

XCA

11

重點工作-標準平台擴充

強化後台管理與報表建立標準會簽與封存機制 開發水資源交換標準服務

建立交換標準服務之應用系統

報表介接服務報表存取次

數報表等功能

建立標準審核多人會簽功能

標準內容異動自動通知引用者

與舊版標準資料封存等功能

依據WSDL標準開發WEB服務

提供使用者自動取得交換標準

XML SchemaMetadata等

XML資料

標準來源應用系統

標準服務引用介接

標準資料存取次數

lt交換標準服務gt引用者您好

新版本的交換標準服務已於lt年gtlt月gtlt日gt發布本次異動影響到您所引用的服務內容如下表

服務名稱 異動主旨

時水位 修改測站編號欄位名稱

詳細

詳細

如對本次異動有任何問題或建議歡迎您反應給資料集權責人員或系統管理員謝謝

經濟部水利署資訊室

何丁武 敬上

電話(04)2250-1433

傳真(04)2250-1627

E-mailnorrithhowragovtw

標準審核會簽表單

審核資訊

表單資訊

詳細資訊

Schema資訊

表單資訊

資料集摘要

輸入文字

資料權責人員黃振聖 送出審核時間103716 1821

資料集中文名稱時水位

資料集英文名稱Hourly water level

OpenData 否

不開放原因水文資訊收費條例

是否需要其他審核者 是 否

資料集審核人員

資料集復核人員

經濟部水利署

經濟部水利署

黃振聖

馬家驎

水文技術組一科

水文技術組一科

核准 退回審核結果

標準會簽

異動通知與封存

12

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 7: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

重點工作-個人雲端儲存空間服務

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間7

重點工作-資料入庫與交換

雲端資料庫

服務引用者

水資源資料標準

非水資源資料標準

水資源資料標準

代理服務

水雲平台CDX WRA

CDX EPA

標準服務引用

8

重點工作-

訂定水資源資料標準與交換規範主階層 Main Category 子階層 Sub-category

河川 River水位 Water Level流量 Water Flow

河川管理 River Management河川土地 River Cadastre

地下水 Ground Water地下水水位 Groundwater Level地下水水質 Groundwater Quality

地層下陷 Land Subsidence水資源相關單位 Related Agency

排水設施 Drain Facilities

環境敏感 Sensitive Environment

地震 Earthquake

水質水量保護區Water Source Quality and Volume Protection Area

生態 Ecology水庫 Reservoir

防洪設施 Flood Protection

水權 Water Right 水權登記 Water Usage Registration

近海水文 Inshore潮位 Tidal波浪 Wave

降雨 Rainfall

水利管理 Administration

工程管理 Construction計畫管理 Project投資開發 Investigation知識管理 Knowledge

一般行政 Administration

水利統計 Statistic of Water Resources用水統計 Statistic of WaterUsage水權統計 Statistic of WaterRights

資料蒐集 訪談 資料確認 維護標準 發布標準 9

重點工作-雲端運算SaaS案例

水利署雲端應用系統平台

資料採礦模版

統計模版

文字模版

We

bS

erv

ice

s雲端開發插件

使用者自訂模版

公文搜尋amp公文分群 預測公文量功能

預測公文處理速度功能

10

重點工作-水雲平台擴充

應用系統行

動版網站

APP整合

情境式主題

與使用引導

機制

監控報表

即時警報整

使用者登入

方式與角色

權限

應用系統服

務功能擴充

www

AD憑證自然人憑證工商憑證GCA

XCA

11

重點工作-標準平台擴充

強化後台管理與報表建立標準會簽與封存機制 開發水資源交換標準服務

建立交換標準服務之應用系統

報表介接服務報表存取次

數報表等功能

建立標準審核多人會簽功能

標準內容異動自動通知引用者

與舊版標準資料封存等功能

依據WSDL標準開發WEB服務

提供使用者自動取得交換標準

XML SchemaMetadata等

XML資料

標準來源應用系統

標準服務引用介接

標準資料存取次數

lt交換標準服務gt引用者您好

新版本的交換標準服務已於lt年gtlt月gtlt日gt發布本次異動影響到您所引用的服務內容如下表

服務名稱 異動主旨

時水位 修改測站編號欄位名稱

詳細

詳細

如對本次異動有任何問題或建議歡迎您反應給資料集權責人員或系統管理員謝謝

經濟部水利署資訊室

何丁武 敬上

電話(04)2250-1433

傳真(04)2250-1627

E-mailnorrithhowragovtw

標準審核會簽表單

審核資訊

表單資訊

詳細資訊

Schema資訊

表單資訊

資料集摘要

輸入文字

資料權責人員黃振聖 送出審核時間103716 1821

資料集中文名稱時水位

資料集英文名稱Hourly water level

OpenData 否

不開放原因水文資訊收費條例

是否需要其他審核者 是 否

資料集審核人員

資料集復核人員

經濟部水利署

經濟部水利署

黃振聖

馬家驎

水文技術組一科

水文技術組一科

核准 退回審核結果

標準會簽

異動通知與封存

12

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 8: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

重點工作-資料入庫與交換

雲端資料庫

服務引用者

水資源資料標準

非水資源資料標準

水資源資料標準

代理服務

水雲平台CDX WRA

CDX EPA

標準服務引用

8

重點工作-

訂定水資源資料標準與交換規範主階層 Main Category 子階層 Sub-category

河川 River水位 Water Level流量 Water Flow

河川管理 River Management河川土地 River Cadastre

地下水 Ground Water地下水水位 Groundwater Level地下水水質 Groundwater Quality

地層下陷 Land Subsidence水資源相關單位 Related Agency

排水設施 Drain Facilities

環境敏感 Sensitive Environment

地震 Earthquake

水質水量保護區Water Source Quality and Volume Protection Area

生態 Ecology水庫 Reservoir

防洪設施 Flood Protection

水權 Water Right 水權登記 Water Usage Registration

近海水文 Inshore潮位 Tidal波浪 Wave

降雨 Rainfall

水利管理 Administration

工程管理 Construction計畫管理 Project投資開發 Investigation知識管理 Knowledge

一般行政 Administration

水利統計 Statistic of Water Resources用水統計 Statistic of WaterUsage水權統計 Statistic of WaterRights

資料蒐集 訪談 資料確認 維護標準 發布標準 9

重點工作-雲端運算SaaS案例

水利署雲端應用系統平台

資料採礦模版

統計模版

文字模版

We

bS

erv

ice

s雲端開發插件

使用者自訂模版

公文搜尋amp公文分群 預測公文量功能

預測公文處理速度功能

10

重點工作-水雲平台擴充

應用系統行

動版網站

APP整合

情境式主題

與使用引導

機制

監控報表

即時警報整

使用者登入

方式與角色

權限

應用系統服

務功能擴充

www

AD憑證自然人憑證工商憑證GCA

XCA

11

重點工作-標準平台擴充

強化後台管理與報表建立標準會簽與封存機制 開發水資源交換標準服務

建立交換標準服務之應用系統

報表介接服務報表存取次

數報表等功能

建立標準審核多人會簽功能

標準內容異動自動通知引用者

與舊版標準資料封存等功能

依據WSDL標準開發WEB服務

提供使用者自動取得交換標準

XML SchemaMetadata等

XML資料

標準來源應用系統

標準服務引用介接

標準資料存取次數

lt交換標準服務gt引用者您好

新版本的交換標準服務已於lt年gtlt月gtlt日gt發布本次異動影響到您所引用的服務內容如下表

服務名稱 異動主旨

時水位 修改測站編號欄位名稱

詳細

詳細

如對本次異動有任何問題或建議歡迎您反應給資料集權責人員或系統管理員謝謝

經濟部水利署資訊室

何丁武 敬上

電話(04)2250-1433

傳真(04)2250-1627

E-mailnorrithhowragovtw

標準審核會簽表單

審核資訊

表單資訊

詳細資訊

Schema資訊

表單資訊

資料集摘要

輸入文字

資料權責人員黃振聖 送出審核時間103716 1821

資料集中文名稱時水位

資料集英文名稱Hourly water level

OpenData 否

不開放原因水文資訊收費條例

是否需要其他審核者 是 否

資料集審核人員

資料集復核人員

經濟部水利署

經濟部水利署

黃振聖

馬家驎

水文技術組一科

水文技術組一科

核准 退回審核結果

標準會簽

異動通知與封存

12

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 9: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

重點工作-

訂定水資源資料標準與交換規範主階層 Main Category 子階層 Sub-category

河川 River水位 Water Level流量 Water Flow

河川管理 River Management河川土地 River Cadastre

地下水 Ground Water地下水水位 Groundwater Level地下水水質 Groundwater Quality

地層下陷 Land Subsidence水資源相關單位 Related Agency

排水設施 Drain Facilities

環境敏感 Sensitive Environment

地震 Earthquake

水質水量保護區Water Source Quality and Volume Protection Area

生態 Ecology水庫 Reservoir

防洪設施 Flood Protection

水權 Water Right 水權登記 Water Usage Registration

近海水文 Inshore潮位 Tidal波浪 Wave

降雨 Rainfall

水利管理 Administration

工程管理 Construction計畫管理 Project投資開發 Investigation知識管理 Knowledge

一般行政 Administration

水利統計 Statistic of Water Resources用水統計 Statistic of WaterUsage水權統計 Statistic of WaterRights

資料蒐集 訪談 資料確認 維護標準 發布標準 9

重點工作-雲端運算SaaS案例

水利署雲端應用系統平台

資料採礦模版

統計模版

文字模版

We

bS

erv

ice

s雲端開發插件

使用者自訂模版

公文搜尋amp公文分群 預測公文量功能

預測公文處理速度功能

10

重點工作-水雲平台擴充

應用系統行

動版網站

APP整合

情境式主題

與使用引導

機制

監控報表

即時警報整

使用者登入

方式與角色

權限

應用系統服

務功能擴充

www

AD憑證自然人憑證工商憑證GCA

XCA

11

重點工作-標準平台擴充

強化後台管理與報表建立標準會簽與封存機制 開發水資源交換標準服務

建立交換標準服務之應用系統

報表介接服務報表存取次

數報表等功能

建立標準審核多人會簽功能

標準內容異動自動通知引用者

與舊版標準資料封存等功能

依據WSDL標準開發WEB服務

提供使用者自動取得交換標準

XML SchemaMetadata等

XML資料

標準來源應用系統

標準服務引用介接

標準資料存取次數

lt交換標準服務gt引用者您好

新版本的交換標準服務已於lt年gtlt月gtlt日gt發布本次異動影響到您所引用的服務內容如下表

服務名稱 異動主旨

時水位 修改測站編號欄位名稱

詳細

詳細

如對本次異動有任何問題或建議歡迎您反應給資料集權責人員或系統管理員謝謝

經濟部水利署資訊室

何丁武 敬上

電話(04)2250-1433

傳真(04)2250-1627

E-mailnorrithhowragovtw

標準審核會簽表單

審核資訊

表單資訊

詳細資訊

Schema資訊

表單資訊

資料集摘要

輸入文字

資料權責人員黃振聖 送出審核時間103716 1821

資料集中文名稱時水位

資料集英文名稱Hourly water level

OpenData 否

不開放原因水文資訊收費條例

是否需要其他審核者 是 否

資料集審核人員

資料集復核人員

經濟部水利署

經濟部水利署

黃振聖

馬家驎

水文技術組一科

水文技術組一科

核准 退回審核結果

標準會簽

異動通知與封存

12

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 10: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

重點工作-雲端運算SaaS案例

水利署雲端應用系統平台

資料採礦模版

統計模版

文字模版

We

bS

erv

ice

s雲端開發插件

使用者自訂模版

公文搜尋amp公文分群 預測公文量功能

預測公文處理速度功能

10

重點工作-水雲平台擴充

應用系統行

動版網站

APP整合

情境式主題

與使用引導

機制

監控報表

即時警報整

使用者登入

方式與角色

權限

應用系統服

務功能擴充

www

AD憑證自然人憑證工商憑證GCA

XCA

11

重點工作-標準平台擴充

強化後台管理與報表建立標準會簽與封存機制 開發水資源交換標準服務

建立交換標準服務之應用系統

報表介接服務報表存取次

數報表等功能

建立標準審核多人會簽功能

標準內容異動自動通知引用者

與舊版標準資料封存等功能

依據WSDL標準開發WEB服務

提供使用者自動取得交換標準

XML SchemaMetadata等

XML資料

標準來源應用系統

標準服務引用介接

標準資料存取次數

lt交換標準服務gt引用者您好

新版本的交換標準服務已於lt年gtlt月gtlt日gt發布本次異動影響到您所引用的服務內容如下表

服務名稱 異動主旨

時水位 修改測站編號欄位名稱

詳細

詳細

如對本次異動有任何問題或建議歡迎您反應給資料集權責人員或系統管理員謝謝

經濟部水利署資訊室

何丁武 敬上

電話(04)2250-1433

傳真(04)2250-1627

E-mailnorrithhowragovtw

標準審核會簽表單

審核資訊

表單資訊

詳細資訊

Schema資訊

表單資訊

資料集摘要

輸入文字

資料權責人員黃振聖 送出審核時間103716 1821

資料集中文名稱時水位

資料集英文名稱Hourly water level

OpenData 否

不開放原因水文資訊收費條例

是否需要其他審核者 是 否

資料集審核人員

資料集復核人員

經濟部水利署

經濟部水利署

黃振聖

馬家驎

水文技術組一科

水文技術組一科

核准 退回審核結果

標準會簽

異動通知與封存

12

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 11: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

重點工作-水雲平台擴充

應用系統行

動版網站

APP整合

情境式主題

與使用引導

機制

監控報表

即時警報整

使用者登入

方式與角色

權限

應用系統服

務功能擴充

www

AD憑證自然人憑證工商憑證GCA

XCA

11

重點工作-標準平台擴充

強化後台管理與報表建立標準會簽與封存機制 開發水資源交換標準服務

建立交換標準服務之應用系統

報表介接服務報表存取次

數報表等功能

建立標準審核多人會簽功能

標準內容異動自動通知引用者

與舊版標準資料封存等功能

依據WSDL標準開發WEB服務

提供使用者自動取得交換標準

XML SchemaMetadata等

XML資料

標準來源應用系統

標準服務引用介接

標準資料存取次數

lt交換標準服務gt引用者您好

新版本的交換標準服務已於lt年gtlt月gtlt日gt發布本次異動影響到您所引用的服務內容如下表

服務名稱 異動主旨

時水位 修改測站編號欄位名稱

詳細

詳細

如對本次異動有任何問題或建議歡迎您反應給資料集權責人員或系統管理員謝謝

經濟部水利署資訊室

何丁武 敬上

電話(04)2250-1433

傳真(04)2250-1627

E-mailnorrithhowragovtw

標準審核會簽表單

審核資訊

表單資訊

詳細資訊

Schema資訊

表單資訊

資料集摘要

輸入文字

資料權責人員黃振聖 送出審核時間103716 1821

資料集中文名稱時水位

資料集英文名稱Hourly water level

OpenData 否

不開放原因水文資訊收費條例

是否需要其他審核者 是 否

資料集審核人員

資料集復核人員

經濟部水利署

經濟部水利署

黃振聖

馬家驎

水文技術組一科

水文技術組一科

核准 退回審核結果

標準會簽

異動通知與封存

12

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 12: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

重點工作-標準平台擴充

強化後台管理與報表建立標準會簽與封存機制 開發水資源交換標準服務

建立交換標準服務之應用系統

報表介接服務報表存取次

數報表等功能

建立標準審核多人會簽功能

標準內容異動自動通知引用者

與舊版標準資料封存等功能

依據WSDL標準開發WEB服務

提供使用者自動取得交換標準

XML SchemaMetadata等

XML資料

標準來源應用系統

標準服務引用介接

標準資料存取次數

lt交換標準服務gt引用者您好

新版本的交換標準服務已於lt年gtlt月gtlt日gt發布本次異動影響到您所引用的服務內容如下表

服務名稱 異動主旨

時水位 修改測站編號欄位名稱

詳細

詳細

如對本次異動有任何問題或建議歡迎您反應給資料集權責人員或系統管理員謝謝

經濟部水利署資訊室

何丁武 敬上

電話(04)2250-1433

傳真(04)2250-1627

E-mailnorrithhowragovtw

標準審核會簽表單

審核資訊

表單資訊

詳細資訊

Schema資訊

表單資訊

資料集摘要

輸入文字

資料權責人員黃振聖 送出審核時間103716 1821

資料集中文名稱時水位

資料集英文名稱Hourly water level

OpenData 否

不開放原因水文資訊收費條例

是否需要其他審核者 是 否

資料集審核人員

資料集復核人員

經濟部水利署

經濟部水利署

黃振聖

馬家驎

水文技術組一科

水文技術組一科

核准 退回審核結果

標準會簽

異動通知與封存

12

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 13: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

技術諮詢服務

13

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 14: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

14

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 15: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

水資源資料交換標準平台擴充功能說明與實機操作

15

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 16: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

水資源資料交換標準整體架構

系統管理員標準產生器

應用系統D E Fhellip

水利整合雲datawra

Hbase雲端倉儲應用系統資料庫A B Chellip

4服務介接

2取得實體資料3存入雲端

1標準發布

環資部CDX

來源-標準Mapping

16

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 17: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

各標準整體架構圖水資源資料格式標準

(10)

水資源資料交換標準(XML)

水資源空間資料標準(GML)

OpenData

交換標準20

互為參考引用

1 資料檔案 對應 資料集2 已有資訊系統

IF適合對外開放

國際標準(GML XML

DublinCore etc)

17

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 18: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

各組室提供資料情形

bull 土地管理組(1)

bull 工程事務組 (2) +1

bull 水文技術組+1(35) +1

bull 水利行政組+1(8) +1

bull 水利防災中心+7(21) +7

bull 水利規劃試驗所(29)

bull 水源經營組(12)

bull 主計室(4)

bull 保育事業組-1(12) -1

bull 資訊室+6(9) +6

bull 綜合企劃組+1(12) +1

bull 河川海岸組(3)

自102年完成本年度持續新增與修改標

準共蒐集148項資料集

註因部份標準僅提供詮釋資料尚無資料結構與內容故系統內僅供查詢121項

18

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 19: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

交換標準查詢

19

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 20: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

交換標準查詢1 資料集基本屬性(XSD詮釋資料下載列印)

2 資料集權責人員

3 資料集收費amp授權欄位Schema

20

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 21: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

水資源資料交換作業規範

21

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 22: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

規範建立之緣起與目的

bull 政府施政透明提升民眾參與公共政策議題是世界各國政府推動的趨勢

經由政府資訊的開放可促進跨機關資料流通提升施政效能滿足民眾

需求

bull 近年來隨著電子資料流通實施要點政府資訊公開法行動化服務發展

作業原則等相關法令的立法與實施使得我國政府資訊公開制度逐步建立

期透過政府資料開放增進政府資訊的可用性提供給民間加值應用進

而帶動民間創新資訊加值服務創造民眾政府業界三贏局面

bull 有鑑於此水利署配合「行政院及所屬各級機關政府資料開放作業原則」

推動水資源資料之交換與開放作業為一致化水利署及所屬機關於水資源

資料之資源共享機制及確保內部交換與對外供應之資料品質爰擬具「水

利署政府資料交換與開放作業規範」

22

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 23: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

水資源資料交換標準之角色

1 資料集權責單位負責資料集產製與管理之內部組室協調指派組成交換標準資料集之管理成員

2 資料集權責人員資料集之聯繫窗口負責提供資料集詮釋資料包括資料內容慣用中英文名稱定義資料取得方式等資訊

3 資料集審核人員指對於特定資料集具專業知識背景之人員負責審核資料主辦人員所提供之中英文名詞

4 資料複核人員資料集權責人員之主管確認資料對外供應之妥適性

5 資料集稽核人員負責於資料正式對外供應前進行內容正確性與完整性檢核

6 資訊管理人員由水利署資訊室擔任負責協助推動標準執行版次管理標準修正等行政作業支援

23

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 24: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

標準生命週期之作業規範1 資料集之新增由資料集權責人員依據資料新增需求進行資料集詮釋

資料之建立

2 資料集內容之新增由資料集權責人員依據資料新增需求進行資料集內容與結構新增

3 資料集之審核由資料集審核人員針對資料命名妥適性解讀性進行審核由資料集復核人員針對資料開放範疇進行審核

4 資料集之發佈資料集經審核完成後由資訊管理人員進行線上發佈新版標準作業

5 資料集之異動資料集詮釋資料與內容之結構如需異動時需重新提送更新資料並依循34進行審核與發佈流程資料集管理成員等如有異動時應主動提報至資訊管理人員

6 資料集之廢止資料集權責人員基於業務考量可提出資料集刪除申請經資料集復核人員審核後由資訊管理人員將已開放之資料集下架刪除

24

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 25: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

水資源資料交換標準建立與服務註冊

25

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 26: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

整體作業流程

AGENT安裝與設定

標準建立與審核

服務註冊

標準服務內容稽核

標準服務上線

接收標準需求單

來源端Server主機

個人雲端檔案上傳

標準管理後台 水利整合雲網站

資料庫類型標準

檔案類型標準

26

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 27: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

AGENT安裝與設定

27

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 28: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

Agent代理服務安裝設定流程

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

28

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 29: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

29

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 30: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

30

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 31: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

31

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 32: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

如何建立交換標準

32

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 33: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

交換標準建立流程

圖例說明

業務需求者

資料權責人員

系統自動化作業

一般使用者

標準需求單建立標準詮釋資料

建立標準規格(資料庫剖析文件)

標準XSD產生

審核與發布

資料審核人員

查詢標準

33

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 34: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

新增標準需求

業務需求者

1輸入新增標準需求之必填欄位

2點擊[送出]鍵

3收到Mail通知-[新增需求單]

新增標準需求 【使用時機】需求單位提出新增需求標準【系統登錄】業務人員或系統管理者透過「新增標準需求」功能進行標準需求建立系統會發送Mail通知資料權責單位人員

資料權責單位人員

1

34

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 35: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

需求表單查詢

業務人員1輸入查詢條件在需求單處理狀態可選全部或挑選其一

2點擊[送出]鍵

4可進行[處理]或[退回]需求單

系統管理者

需求表單查詢【使用時機】查詢需求表單【系統登錄】業務人員(查所屬部門)或系統管理者(查全部資訊)透過「需求表單查詢」功能處理需求表單或退回需求表單

2

35

3可顯示標準建立狀態

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 36: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

需求表單處理

業務人員

1點擊[退回]鍵

系統管理者

需求表單處理【使用時機】處理需求表單【系統登錄】業務人員或系統管理者透過「需求表單查詢」功能退回需求表單系統將發送Mail通知需求單位人員

3

2填寫退回理由點擊[送出]鍵

3系統發送Mail通知-需求單退回予需求單位人員

36

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 37: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

新增交換標準詮釋資料

1標準基本屬性

2角色權責設定 3資料集基本資料

4收費與授權規範

1資料庫2 可剖析電子文件3 一般電子文件

37

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 38: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

建立標準連線資訊與規格

3進行新增標準欄位內容及狀態設定

5若確認資訊無誤點擊[送出審核]鍵將該筆資料送至系統管理者進行審核

4點擊[儲存]鍵可暫存資料

1先點擊[連線]鍵

2帶出[資料庫位址] [資料庫類型] [對應資料表]資訊

38

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 39: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

建立可剖析檔案標準規格

1先上傳範例檔案

2 上傳後系統自動解析欄位使用者確認剖析結果

3 設定excel檔案的結構與標準對應

39

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 40: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

標準審核(會簽)

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 41: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

新版本交換標準發布

1帶出預定發佈標準版本小視窗點擊發佈鍵

系統管理者

3顯示目前發佈版本資訊例200(功能鍵資訊轉為尚無標準需發佈鍵)31可將標準發佈至WRISP32使用者可在[標準查詢]

查到已發佈之標準

2帶出新版本已發佈小視窗點擊確定鍵

41

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 42: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

標準服務註冊

42

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 43: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

服務註冊 審核

查詢及引用服務

服務啟用

標準稽核

標準審核者操作

43

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 44: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務註冊

bull 服務註冊可透過「服務」以及「我的專區」進行服務註冊

44

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 45: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務註冊-交換標準服務註冊

bull 交換標準服務係透過水資源交換標準定義開放給服務註冊者提供服務給其他使用者所使用

45

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 46: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務註冊-交換標準服務註冊

1 選擇要註冊之標準資料集平台將帶入交換標準系統中審核完成之資料集請依據開放資料與否進行資料集的選擇

46

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 47: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務註冊-交換標準服務註冊

2 服務註冊表單填寫服務註冊表單會帶入交換標準系統該筆資料相關資訊檢視調整並點擊註冊進入審核流程

47

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 48: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

平台管理員審核服務註冊單

3 平台管理員審核送交標準審核者稽核確認

48

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 49: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

資料集稽核人員確認交換內容

4 送交標準稽核人員稽核標準服務內容標準審核者審核通過後服務註冊通過並暫停使用系統通知稽核人員完成首次稽核後服務才轉為上線中服務上線後亦提供(不)定期稽核作業

49

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 50: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務上線提供查詢及引用

5 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過交換標準列表查詢到註冊之服務

50

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 51: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

51

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 52: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

雲端檔案同步說明與實機操作

52

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 53: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

雲端硬碟

bull 雲端儲存機制

bull 提供使用者便利的檔案存取與資料共享服務

bull 只要有網路可隨時取得資料不用擔心忘了帶檔案

bull 雲端擁有完整的備援機制可當成自己的備份空間

bull 整合DropboxGoogle Drive公有雲端空間

53

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 54: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

雲端儲存空間服務功能架構

個人雲端儲

存空間服務

版本控制

檔案分享

檔案管理

分享通知

PDF與

ODF轉換

Google

Docs支援

Google Drive

單機版同步元件

網站-個人雲端空間

行動版-個人雲端空間54

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 55: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

網站-個人雲端空間55

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 56: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

公有雲帳號連結設定

56

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 57: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

雲端檔案分享

57

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 58: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

雲端檔案上傳

58

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 59: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

標準檔案上稿

59

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 60: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

雲端檔案檢視與格式轉換

60

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 61: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

個人雲端容量資訊

61

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 62: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

DEMO

62

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 63: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

行動版-個人雲端空間

檔案上傳更名

檔案搬移

資料分享

帳號連結

容量警示設定

63

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 64: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

檔案上傳更名

64

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 65: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

檔案搬移

65

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 66: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

資料分享

66

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 67: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

帳號連結容量警示設定

67

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 68: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

DEMO

68

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 69: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

單機版同步元件

檔案同步流程

同步元件安裝

檔案同步操作

69

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 70: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

雲端檔案同步流程 1

水利署同仁

檔案同步元件

本機資料夾新增更新刪除

檔案

水利署API監控檔案異動情況

確認amp同步異動檔案

雲端資料庫

1

2

3

確認amp異動檔案

4

70

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 71: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

雲端檔案同步流程2

水利署同仁

本機資料夾

新增更新刪除檔案

水利署API

更新異動檔案

同步異動檔案

雲端資料庫

1

5

4

更新異動檔案

3

檔案同步元件

2

同步異動檔案

71

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 72: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

雲端檔案同步元件安裝(12)

bull 由水利資料整合雲平台下載專區下載雲端檔案同步元件httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

72

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 73: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

httpdatawragovtwSoftwareWraCloudBoxdefaulthtm

雲端檔案同步元件安裝(22)

73

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 74: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

bull 電腦重新啟動後自動啟動雲端檔案同步元件並常駐於桌面小工具

bull 雲端檔案本機目錄

bull CUserDocumentCloudBox

檔案同步元件操作介紹

74

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 75: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

雲端檔案同步元件-設定畫面

bull 雙擊滑鼠左鍵可顯示設定畫面

bull 系統會自動抓取網域帳號

bull 預設檔案檢查同步時間為1分鐘

75

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 76: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

雲端檔案同步元件-設定畫面bull 單擊滑鼠右鍵一次可顯示快顯功能表面

bull 最近異動歷程

bull 顯示檔案同步異動歷程

bull 開啟資料夾

bull 顯示本機資料夾

bull 立即同步

bull 立即檢查異動檔案

bull 開啟網站

bull 開啟水利資料整合雲平台網站

bull 離開

bull 結束並停止雲端檔案同步元件

76

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 77: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

DEMO

77

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 78: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

雲端SaaS應用案例-公文系統再活化

bull 1 公文預先處理介紹

bull 2 模板介紹

bull 3 案例說明

78

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 79: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

建立簡易雲端應用介面

公文系統資料再活化運作示意圖

公文系統

抓取所需欄位資料

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services 公文案例查詢系統

計算模板呼叫介面

Web Services

叢集 時間序列分析 分類樹 關聯法則 線性迴歸

全文搜尋 名詞分類

1 Solr 組態檔設定2 Metadata 管理3 載入公文資料4 建立索引 (indexing SolrJ)5 搜尋介面佈署

1 搜尋運算資料檔2 執行運算3 運算結果儲存

1 搜尋關鍵字2 關鍵字查詢結果輸出

Solr 資料格式

Mahout 資料格式

R 資料格式

呼叫計算查詢

10 分鐘更新一次

公文搜尋功能預測公文處理速度功能預測公文量功能公文分群功能

Agent

79

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 80: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

使用 mmseg4j 中文斷字

bull mmseg4j 是採用蔡志浩先生在2000 年發表的一個中文分詞演算法 MMSeg它使用兩套演算法與四個模糊解析規則據稱能達到9841 中文斷詞準確率(理論請參考MMSeg官網)

bull mmseg4j 預設使用sogou 搜狗詞庫(去除無意義詞)並合併rmmseg (Ruby中文斷詞套件)的詞庫共14多萬詞的詞庫

bull mmseg4j詞庫採用utf-8編碼(不像ICTCLAS使用GB)而且可以自訂本案新增水利署專屬字典 (4219筆)

Raw Data Processing

概念介紹

80

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 81: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

建立水利署專屬字典 (4219筆)

中華民國政府機關網址索引bull httpwindgbasgovtweyimcwebindexsrclisthtm

水利署組織與職掌--組織圖bull httpwwwwragovtwctaspxItem=20025ampCtNode=4568

統計處-全國國小國中高中大學名稱bull httpwwwedutwpagesdetailaspxNode=1729ampPage=1530

0ampWID=31d75a44-efff-4c44-a075-15a9eb7aecdf

Raw Data Processing

81

概念介紹

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 82: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

加入水利署專屬字典提高正確性

bull 逢 | 甲 | 大學 | 執行 | 水利 | 署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 關於 | 公文 | 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

Raw Data Processing

82

概念介紹

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 83: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

以三則虛擬公文主旨為例抽出不重複的關鍵字

bull 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 拒 | 絕頂 | 新 | 提供 | 的 | 獎學金 | 政大 | 認為 | 良心 | 比 | 錢 | 重要

bull 逢甲大學 | 執行 | 水利署 | 計畫 | 政大 | 認為 | 良心 | 比 | 錢 | 重要 | 關於 | 公文| 主旨 | 斷 | 詞 | 處理 | 可以 | 從 | 執行 | 結果 | 看 | 斷 | 詞 | 是否 | 成功

bull 虎 | 尾 | 西安 | 抽水站 | 出水 | 口 | 昨天| 中午 | 出現 | 大量 | 紅色 | 不明 | 液體 | 污染 | 大 | 排 | 虎 | 尾 | 鎮民 | 代表會 | 主席 | 丁 | 學 | 忠 | 獲 | 報 | 後 | 趕往 | 現場 | 了 | 解 | 要求 | 主管 | 單位 | 徹查| 是 | 何種 | 液體 | 說明 | 有無 | 毒性 | 民眾 | 才能 | 安心

Raw Data Processing

83

概念介紹

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 84: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

文件處理指令使用

bull java -jar DocPrcoessjar etestChinesetxt eoutput

bull 在 output 指令夾中四份檔案

bull 產生docKeywordsMatrixtxtbull 文件分群演算法用

bull 產生keywordsBanktxtbull 紀錄不重複出現的關鍵字

bull 產生ProcessOuttxtbull 每一個公文的斷字結果

bull 產生RecommenderMatrixtxtbull 給類似公文運算模板使用

Raw Data Processing

84

概念介紹

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 85: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

模板概念介紹

bull 1 輸入輸出

bull 2 執行運算

bull 3 搭配案例說明

85

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 86: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

線性迴歸-14模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt --forecasting ltforecastinggt --draw ltdrawgt --width

ltwidthgt|--height ltheightgt --help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

迴歸分析是在尋找這些變數之間的關係通常是尋找「線性關係」舉例而言假如我們認為 y 與 x 之間具有線性關係也就是 y 是 x 的線性函數那麼我們可以將兩者之間的關係寫成 y= a + b x 其中 a 與 b 都是某個未知的常數

86

概念介紹

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 87: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

線性迴歸-24

輸入及輸出bull 指令一測試檔案CSVbull xcsvbull 2348bull ycsvbull 5989bull 求得線性迴歸式 y = 585 + 0446x

bull 指令二測試檔案CSVbull x1csvbull 2348bull x2csvbull 6652bull y2csvbull 13413bull 求得線性迴歸式 y = -1182 + 182x1 -027x2

執行運算指令bull (指令一) java -

Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -sm TRUE -x userwraxcsv -y userwraycsv -o userwralinear -d -w 1024 -h 768

bull 指令(指令二) java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar LinearRegressionjar -dm TRUE -x1 userwrax1csv -x2 userwrax2csv -y userwray2csv -o userwralinear2

87

概念介紹

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 88: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

線性迴歸-34(以VS2010開發為例)

失敗

成功

結果回傳結果記錄

認證並執行運算

身份認證

運算執行

Log 紀錄結果

bull 依據模版設定相關參數後即可於開發環境使用該運算模版並可透過自己的開發環境撰寫讀取 log 檔以及運算結果的程式片段

88

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 89: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

線性迴歸-44

單一自變數的線性迴歸 兩組自變數的線性迴歸

VS 介面使用

89

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 90: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

SaaS 應用說明

bull 1 公文搜尋功能-公文搜尋名詞分類類似公文

bull 2 預測公文量功能

bull 3 預測公文處理速度功能

bull 4 公文分群

90

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 91: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

建立簡易雲端應用介面

公文分群功能

公文搜尋功能

預測公文處理速度功能

預測公文量功能

介面展示

介面

91

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 92: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

公文搜尋功能-

公文搜尋名詞分類類似公文

名詞分類

公文搜尋

類似公文

Demo

92

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 93: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

公文搜尋功能-公文搜尋

輸入關鍵字按查詢

Demo

93

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 94: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

公文搜尋功能-名詞分類

名詞分類

2 動態產生按 X 按鈕可以關閉

1 點擊

94

Demo

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 95: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

推薦系統理論

bull 收集使用者資訊 (公文)bull 以使用者為基礎(User-based)的協同過濾

bull 針對項目 (關鍵字) 的最近鄰搜索bull 先計算己評價項目和待預測項目的相似度並以相似度作為權重

加權各已評價項目的分數得到待預測項目的預測值例如要對項目 A 和項目 B 進行相似性計算要先找出同時對 A 和 B 打過分的組合對這些組合進行相似度計算常用的演算法同以使用者為基礎(User-based)的協同過濾

bull 產生推薦結果bull 以項目為基礎的協同過濾不用考慮使用者間的差別所以精度比

較差但是卻不需要使用者的歷史資料或是進行使用者識別對於項目來講它們之間的相似性要穩定很多因此可以離線完成工作量最大的相似性計算步驟從而降低了線上計算量提高推薦效率尤其是在使用者多於項目的情形下尤為顯著

公文搜尋功能-類似公文

概念介紹

95

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 96: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

推薦系統-類似公文

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4公文搜尋功能-類似公文

96

概念介紹

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 97: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

推薦系統-類似公文

Recommand for document1RecommendedItem[item104 value4257081]RecommendedItem[item106 value40]Recommand for document2Recommand for document3RecommendedItem[item106 value40]RecommendedItem[item103 value25905366]Recommand for document4RecommendedItem[item102 value30]Recommand for document5解析輸出作為類似公文推薦可推薦 item (關鍵字)104 106 給公文 1 預算 測試可推薦 item (關鍵字)106 103 給公文 3 測試 公告可推薦 item (關鍵字) 102 給公文 4 水利署

110151102311032521012210225210352104231012531044310545310754101541033410445410645101451023510325104451053551064

1FCU51水利署31公告252FCU22水利署252公告52預算23FCU253預算43盈餘453完工54FCU54公告34預算454測試45FCU45水利署35公告25預算45盈餘355測試4

以推薦關鍵字去 solr 找相關公文

公文搜尋功能-類似公文

97

概念介紹

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 98: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

類似公文-動態跳出類似公文網頁Demo

98

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 99: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

時間序列-14

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文量功能

99

概念介紹

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 100: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

時間序列-24

輸入及輸出bull TrainDatacsv

bull 551471128324112911341118852

bull 輸出TSOutcsv 如下每一行的第一個值(紅字)代表預測的數值

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

預測公文量功能

100

概念介紹

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 101: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

時間序列-34

公文系統

抓取所需欄位資料(每一天的公文量)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services

時間序列分析

R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

預測公文量功能

101

概念介紹

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 102: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

時間序列-44

1 選取結束時間

2 按預測

3 結果顯示

102

Demo

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 103: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

決策樹-15

模板使用

Usage

[--input ltinputgt --output ltoutputgt --frequency ltfrequencygt --gamma ltgammagt

--forecasting ltforecastinggt --draw ltdrawgt --width ltwidthgt|--height ltheightgt

--help]

Options

--input (-i) input Data input file path

--output (-o) output Output path

--frequency (-freq) frequency Frequence of data

--gamma (-g) gamma Parameter used for the seasonal componet

If set to FALSE an non-seasonal model is

fitted

--forecasting (-f) forecasting Number of periods for forecasting

--draw (-d) draw Draw image or not(optional)

--width|--height

--width (-w) width Width of image

--height (-h) height Height of image

--help (-h) Print out help

預測公文處理速度功能

概念介紹

103

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 104: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

決策樹-25

輸入及輸出

Input Traincsv

bull 承辦ID來源目的處理時間

bull T0007行政院農業委員會水土保持局第三工程所逢甲大學地理資訊系統研究中心3

bull T0009行政院農業委員會水土保持局逢甲大學地理資訊系統研究中心4

bull T0008行政院農業委員會水土保持局逢甲大學2

指令

bull java -Djavalibrarypath=homewraRx86_64-pc-linux-gnu-library215rJavajri -cp homewraRx86_64-pc-linux-gnu-library215rJavajri -jar homewraTimeSeriesjar -iuserwraTrainDatacsv -o userwratimeseq -freq 7 -g FALSE -f 6-d TRUE -w 1024 -h 768

測試 TestDoccsv

T0010行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0025行政院農業委員會水土保持局逢甲大學 預測處理 2 天T0016行政院農業委員會水土保持局逢甲大學 預測處理 1 天

預測公文處理速度功能

104

概念介紹

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 105: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

決策樹-35

預測公文處理速度功能

105

概念介紹

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 106: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

決策樹-45

預測公文處理速度功能

106

公文系統

抓取所需欄位資料(每一公文處理時間)

使用者

Hadoop

(HbaseHDFS)

查詢

計算模組資料處理Raw Data Processing

上傳公文更新檔

資訊室雲端檔案存取介面

Web Services

計算模板呼叫介面

Web Services R 資料格式

呼叫計算查詢

10 分鐘更新一次

Agent

決策樹運算模板

實際運作

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 107: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

決策樹-55

107

不同承辦單位來文機關及回應機關

預測時間不同

預測公文處理速度功能

Demo

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 108: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

分群概念介紹

bull 分群 (Clustering) 是將一組資料依據某種距離的量度將其分割成若干群

bull 經由斷詞系統完成斷句後再依序進行文件前處理關鍵字選取等作業執行K-means分群演算法

bull 群與群關聯性小群體間關聯度大

公文分群功能分群示意圖

概念介紹

108

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 109: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

公文分群

輸入個數

Demo

公文分群功能

109

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 110: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

Demo-公文搜尋

110

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 111: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

Demo-預測公文量功能

111

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 112: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

Demo-預測公文處理速度功能

112

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 113: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

Demo-公文分群

113

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 114: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

AD網頁版管理功能說明與實機操作

bull 線上AD編輯器使用說明

bull Demo

bull QampA

114

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 115: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

運作機制

bull 雙重身份驗證提高帳號處理安全性

bull 使用者資料加密入庫

115

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 116: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

生效方式

bull 即時

bull 若無指定日期新增後資料立即生效於AD及資料庫

bull 排程

bull 若指定生效日期則於生效日當日凌晨由系統自動將人事資料寫入資料

bull 兩種方式皆立即生效於AD

116

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 117: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

登入使用

bull 進入水利資料整合雲平台

bull 以AD身分登入

bull 平台管理rarrAD人事資料管理

117

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 118: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

AD管理員登入

bull 進入AD編輯器首頁須再次輸入擁有AD操作權限之AD管理員帳號系統即時驗證當次輸入之帳號密碼僅限當次操作有效系統不保存此資訊

118

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 119: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

查詢bull 預設列出所屬機關下所有人事資料

bull 可依服務單位姓名身分證字號查詢

119

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 120: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

新增

120

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 121: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

新增介面

bull OU-實體AD OU層級

bull 服務單位-人事資料之服務單位

bull 啟用日期-若欲即時生效則保留空白欲使用排程新增則輸入生效日

bull 職務編號-僅限水利署本署所屬機關無此欄位

121

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 122: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

修改

122

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 123: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

修改介面

bull 修正人事資料後同步異動至AD及資料庫

123

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 124: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

停用

124

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 125: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

啟用

125

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 126: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

注意事項

bull 帳號新增時即給予預設密碼使用者登入時自行修改

bull 預設密碼規則為帳號+ldquordquo+身分證字號後四碼

bull 欄位對應單一簽入對照表

126

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 127: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

意見回饋

bull 新增項目的必填欄位提示

bull 新增畫面提供AD的顯示名稱欄位供輸入無輸入則預設帳號

bull 修改畫面提供實體OU的異動

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 128: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

128

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 129: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

資料提供與服務引用說明與實機操作

129

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 130: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

註冊服務目的

130

bull 使用者公開分享資料但不開放資料庫透過水利資料整合雲平台註冊服務開放其他使用者Web Service存取資料

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 131: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務提供流程

圖例說明

服務註冊者操作

平台管理員操作

系統自動化作業

服務引用者操作

代理服務程式安裝設定

服務註冊 審核

管理服務

服務發布

引用服務

131

以下統稱為Agent

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 132: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

程式下載與安裝

bull 下載取得安裝檔案於水利署機關內的使用者電腦上點擊安裝檔案進行安裝安裝檔案下載網址

httpdatawragovtwSoftwareAgentClientAgentClienthtml

132

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 133: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

程式安裝位址IP註冊

bull 至【服務 gt 資料入庫代理服務程式註冊】輸入程式安裝位址IP完成安裝程式註冊

133

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 134: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

資料來源連線設定

bull 至【服務 gt 資料入庫代理服務設定】

設定資料來源連線

134

程式下載與安裝程式安裝位址

IP註冊資料來源連線設定

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 135: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務註冊 - 一般服務註冊

bull 可透過「服務」以及「我的專區」進行服務註冊

135

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 136: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務註冊-一般服務註冊

1 建立與Agent連線選擇可連線至發布資料來源地Agent Client並下拉選擇Agent Client所在的IP位址

136

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 137: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務註冊-一般服務註冊

2 建立與資料庫伺服器連線選擇提供資料的資料庫伺服器位址使平台建立資料庫連線

137

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 138: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務註冊-一般服務註冊

3 設定來源端資料庫資料表及更新頻率選擇資料來源的資料庫名稱資料表名稱並設定平台多久連線至資料庫更新資料

138

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 139: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務註冊-一般服務註冊

4 設定服務產生條件及名稱設定欲提供之欄位條件以及更改欄位名稱服務使用者更易讀取提供者更能保護資料

139

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 140: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務註冊-一般服務註冊

5 服務註冊表單填寫主管單位資訊將影響引用審核若有異動請維護資料點擊完成將進入平台審核流程

140

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 141: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

平台管理員審核服務註冊單

6 結合表單流程可選取會簽者核准後自動發布服務

141

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 142: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務註冊-一般服務註冊

7 審核完成服務上架平台審核通過後將服務放置於服務清單中可透過一般服務列表查詢到註冊之服務

142

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 143: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務引用流程

圖例說明

服務引用者操作

管理員操作

服務引用

審核

使用服務

143

個人引用 應用系統引用

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 144: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

引用服務

bull 申請引用引用服務係為服務引用者向服務提供者申請使用服務經由服務提供者同意所使用的流程

144

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 145: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

引用服務

bull 服務引用申請表單引用服務需透過應用程式申請服務之使用請註明使用的應用程式以及申請事由年限

145

bull 應用系統申請使用年限預設10年bull 個人引用申請使用年限預設1年

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 146: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務引用審核

146

bull 檢視申請單透過檢視申請單了解使用者申請服務之詳細狀況根據相關資訊決定審核通過與否

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 147: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

我引用的服務

bull 我引用的服務若想要得知服務現有引用的服務可於我的專區中「我引用的服務」查詢目前可引用服務

147

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 148: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務資訊

bull 提供服務基本資料

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 149: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

瀏覽服務

bull 提供服務資料查詢

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 150: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

引用範例下載

bull 可依需求產生服務引用程式碼

150

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 151: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務需求提出(服務引用者)

bull 在平台上找不到合適的服務元件時

151

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 152: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

水利資料整合雲平台擴充功能說明與實機操作

152

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 153: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

平台擴充重點功能1 角色權限調整2 新增GCAXCA憑證登入3 擴大憑證角色權限4 AD與憑證帳號整併5 指定應用系統次序6 行動化服務7 應用系統使用者管理8 服務引用期限調整9 應用系統與服務列表狀態篩選10 情境式主題與使用引導說明

153

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 154: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

角色權限調整

154

使用者角色 角色權限

一般使用者 無服務引用需求僅瀏覽一般公開資訊與申請使用應用系統

資料庫管理員 存取雲端資料庫設定資料庫使用權限資料庫轉換效能監控服務發佈與管理

平台管理員 管理水利資料整合雲平台平台所有功能皆可使用並負責所有類型表單簽核與服務應用系統管理

服務引用者 包含應用系統之提供單位或其委託開發之廠商除一般公開資訊外可申請引用服務註冊與申請應用系統

服務註冊者 包含服務與應用系統之提供單位或其委託開發之廠商除一般公開資訊外可註冊服務註冊與申請應用系統

標準稽核人員(擴充) 使用交換標準相關功能確認水資源資料交換標準內容之品質

AD管理者(擴充) 於平台管理的人事資料管理功能維護AD人員資料

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 155: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

新增GCAXCA憑證登入

155

整合我的E政府單一簽入擴充GCAXCA憑證登入功能

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 156: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

擴大憑證角色權限

156

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 157: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

AD與憑證帳號整併

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 158: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

指定應用系統次序

bull 應用系統指定次序排列

158

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 159: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

行動化服務

159

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 160: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

應用系統使用者管理

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 161: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

服務引用期限調整

bull 應用系統引用服務

bull 個人引用服務

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 162: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

應用系統與服務列表狀態篩選皆可指定多重篩選條件

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 163: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

情境式主題與使用引導說明(12)

163

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 164: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

情境式主題與使用引導說明(22)

164

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165

Page 165: 教育訓練data.wra.gov.tw/UseGuide/Doc/水利資料整合雲平台教育訓練簡報.pdf · 雲端應用 介面 • 升級雲端環境節點 • 標準資料入庫與服務擴充

水利資料整合雲擴大應用計畫-

滿意度調查bull 問卷網址httpgooglformsJNEPAamNaK

165