Upload
others
View
34
Download
0
Embed Size (px)
Citation preview
图像分析基于所输入图像的视觉内容分析出图像的视觉特征
光学字符识别在图像中检测并识别文本
生成缩略图生成高品质和高存储效率的缩略图
计算机视觉 API
图片分析图片类型:
Clip Art Type 0 Non-clipart
Line Drawing Type 0 Non-Line Drawing
Black & White Image False
图片内容:
Adult Content False
Adult Score 0.18533889949321747
Faces [{ “age”: 27, “gender”: “Male”, “faceRectangle”: {“left”: 472, “top”: 258, “width”: 199,
“height”: 199}}]
Tags
[ { "name": "水", "confidence": 0.9996442794799805 }, { "name": "运动", "confidence": 0.9504992365837097 }, { "name": "游泳", "confidence": 0.9062818288803101, "hint": "体育" }, { "name": "池", "confidence": 0.8787588477134705 }, { "name": "水上运动", "confidence": 0.631849467754364, "hint": "体育" } ]
图片色值:
Dominant Color Background White
Dominant Color Foreground Grey
Dominant Colors White
Accent Color
图片分析 https://www.captionbot.ai/
我觉得图片中是一个人坐在电脑前,他看上去很开心。我有97%的信心认为这个人是比尔盖茨。
识别名人名人识别模块是计算机视觉API中领域特定模块的案例之一。我们全新的名人识别模块可以识别20万来自全球各地涉及商界、政界、体育界以及娱乐界的名人。这些计算机视觉API中的领域特定模块还在不断更新和发展中。
光学字符识别光学字符识别(OCR)可检测图片中的文字信息,并将提取出来的文字信息转化成为机器可读的字符串。通过分析图像来检测嵌入式文本,生成字符串并提供搜索功能。可以让直接拍摄文本的图片,无需手动转录文字,从而节省时间和精力。
智能缩略图对任何输入的图像均可生成高品质和高存储效率的缩略图。缩略图功能可以用最适合你需求的大小、形状和风格来呈现图像。可以通过智能剪裁,获得与图片原始比例不同的缩略图,同时保留你想要的视觉区域。
人脸检测检测图片中的人脸并识别属性
人脸验证核对两张人脸是否属于同一个人
相似人脸搜索从多张人脸中找出与所查人脸相似的人脸
人脸识别 API
人脸分组根据识别的人脸进行分组
人脸辨识查询某张人脸,与提供的数据中的何人相匹配
人脸识别 API
检测"faceRectangle": {"width": 193, "height": 193, "left": 326, "top": 204}
…
属性特征"attributes": { "age": 42, "gender": "male",
"headPose": { "roll": "8.2", "yaw": "-37.8", "pitch": "0.0" }}
辨识Jasper Williams
分组
人脸识别 API
验证结果:这两张图中的人属于同一个人。
识别情感基于面部表情来检测感情
情感识别 API
情感识别 API
人脸检测"faceRectangle": {"width": 193, "height": 193, "left": 326, "top": 204}
…
情感指数“scores": { "anger": 5.182241e-8,
"contempt": 0.0000242813,
"disgust": 5.621025e-7,
"fear": 0.00115027453,
"happiness": 1.06114619e-8,
"neutral": 0.003540177,
"sadness": 9.30888746e-7,
"surprise": 0.9952837}
可检测到的情感有愤怒、轻蔑、厌恶、恐惧、快乐、无表情、悲伤以及惊讶。这些情感具有特定的面部表情,被认为是可进行跨文化和普适交流的。
语音API
语音识别 (语音转文本)将语音转换为文本
语音输出(文本转语音)将文本合成语音
说话者ID & Diarisation即将上线
语音识别
语音识别将语音转换为文本。该API 可以直接打开并识别来自麦克风的实时语音,识别其他来源的实时语音或者从文件内获取的音频。在任何情况下,都可以通过实时流将语音传送到服务器,服务器再将部分识别结果传送回来。
将文本转换成语音。当应用程序需要对用户“说话“时,此API可以将该应用程序产生的文本转换为语音,然后播放给用户。
支持17种语言
语音合成
<speak version="1.0" xmlns="http://www.w3.org/2001/10/synthesis" xmlns:mstts="http://www.w3.org/2001/mstts" xml:lang="en-US"><voice name="Microsoft Server Speech Text to Speech Voice (en-US, ZiraRUS)">
Synthesize audio from text, to speak to your users.
</voice></speak>
声纹验证检测两个声音是否来自于同一个人
声纹辨识辨识出谁正在说话
声纹识别 API
微软最先进的拼写检查算法,以云平台为基础检测及识别多种拼写错误
拼写检查 API
在上下文语境中识别常用名称错误能更正上下文中的同形同音异义词及其他难以识别的错误
与时俱进支持不断涌现的新生品牌名称及其他创造性表达式
拼写检查 API
检查单个词语或者整个句子“Our engineers developed this four you!”
Corrected Text: “four” “for”
标识错误并提供修改建议"spellingErrors": [
{ "offset": 5, "token": "gona", "type": "UnknownToken", "suggestions": [
{ "token": "gonna" } ] }
语言理解智能服务
理解用户所说的话使用来自Bing和Cortana的预构的模型或者自己创建的模型
用交互的特征来减少贴标签的工作
使用可视化来测量和提升性能
与语音识别服务的无缝集成
几个样例就足以搭建自己的应用,并自主学习
语言理解智能服务
{“entities”: [
{“entity”: “航班延误”,“type”: “类别”
}],“intents”: [
{“intent”: “找寻新闻”,“score”: 0.99853384
},{
“intent”: “None”,“score”: 0.07289317
},{
“intent”: “朗读新闻”,“score”: 0.0167122427
},{
“intent”: “分享新闻”,“score”: 1.0919299E-06
}]
}
语言理解智能服务
理解您应用中的数据
对话即平台
80s
电脑
90s
网络
00s
智能手机
10s
消息
The world and technology are once again transforming– Satya Nadella, CEO Microsoft
对话服务已经成为人们的生活一种主要习惯之一消息应用呈现出快速增长的态势
Source: BI Intelligence, Portio Research
对话即平台
使用 LUIS + Bot Framework 打造请假对话机器人,其中 LUIS负责解析语言的部分,而Bot Framework 則是完成对话机器人框架。
黑科技
认知服务Skype中的人脸及语音识别
Microsoft Translator自动翻译、字幕呈现
Cortana将来用于Skype智能坐席和机器人
Office 365 + { … } 1 + 1 > 2
Office 365
+
Cognitive
认知服务IoT WeChat
Bot
机器人框架
API
开发者接口Office 365
On-Premise
本地资源
Azure
CRM
Office 365 + IoT + (Surface HUB)基于Office 365的智能会议室及楼道监控系统
Office 365 Exchange Online 物理会议室
物理会议室
楼层中央显示系统
Office 365
会议室1
会议室门口触摸屏
通过EWS获取对应会议室邮箱的忙闲信息
会议室邮箱1
会议室邮箱2
树莓派上的Win 10 IoT
上传传感器数据
会议室2
树莓派上的Win 10 IoT
会议室门口触摸屏
上传传感器数据
通过EWS获取对应会议室邮箱的忙闲信息
Windows Azure
获取传感器数据
获取传感器数据
光感应传感器
声音检测传感器
人体红外感应模块
温度传感器
湿度传感器等
光感应传感器
声音检测传感器
人体红外感应模块
温度传感器
湿度传感器等
关键功能:
楼层中央信息显示平台上用户可以看到各会议室的实时使用情况,人体移动监测、声音监测、温度监测、光亮监测等,方便找寻到理想的空闲会议室
通过移动客户端便实时预定会议室 通过会议室门口触摸显示器实时预定该会议室或查询该会议室使用情况 根据会议室的传感器返回的温度声音等信息帮助找到你最理想的空闲会议室 进一步的可以结合Skype For Business做到“Find ME”定位员工所在大楼
会议预定及管理策略:
• Room Availability
• Book Ad-hoc meetings
• Find colleagues
• Floor plan view
• Room distance
• Point-in-time visualization
Office 365 + Bot Framework + Cognitive
Helpdesk Center Digitalization
© COPYRIGHT MARS INCORPORATED | CONFIDENTIAL
Other Callers
Agents
Helpdesk Center Digitalization
43
Skype for Business
On-Premise/Online
Cloud PBX Dispatcher(UCMA Trusted Application)
SfB Callers
Agents UsingSkype for Biz
Yammer MSD group conversation
Call SfB Client
Phone Callers
LUIS.AI
Chat Robot
KM for Customerin Service Now
CWE Application(Web Server)
Self Service
Portal
Historical SfB conversation
Ticket System in Service Now
© COPYRIGHT MARS INCORPORATED | CONFIDENTIAL
Deployment Architecture
44
O365Dedicated SfB Environment
AD
MARS, Inc.
Users in On-Premise Pool
SfB Server
ADFS
SfB Edge Server
SfB Online
O365 Identity
Users in Online Pool
SfB Online PoolSfB Online Edge
Trusted Application Pool
New Server to Host UCMA trusted application
© COPYRIGHT MARS INCORPORATED | CONFIDENTIAL
Interaction Flow Design
45
User initiates
conversation with
“helpdesk” in SfB
SfB Server Directs User to
Trusted Endpoint
“helpdesk” responds to user
Natural Language Engine
Enabled
Conversation Window Extension
(CWE)LUIS.AI
Communication point for
DB Web Service
Communication point for
ServiceNow Web Service
1
SIP 2
3 TCP/TLS
4
HTTP
5
DB
HTTP
HTTP
TCP
Agents UsingSkype for Biz
6
© COPYRIGHT MARS INCORPORATED | CONFIDENTIAL
Functional Architecture
46
Dispatcher
• Skill Routing
• Waiting Queue
• Contextual Chat
• Relaying Chat
• …
CWE Application
• User Panel
• Agent Panel
• Manager Panel
• …
Chat Robotic
• Natural Language
Understanding
• Auto Response
• Transfer to Agent
Admin Portal
• Manual Training
• Routing rule
setting
• Monitoring
• Analysis
Data StorageLayer
Platform Layer
Business LogicLayer
PresentationLayer
Conversation History
Yammer
KM
Other LOB
IM/Voice/Video/Collaboration Engine AI Engine/Training Interface
© COPYRIGHT MARS INCORPORATED | CONFIDENTIAL
Technology Architecture
47
LUIS.AISfB On-Premise
Dispatcher
• C#
• UCMA 5.0
• Asynchronous
Handling
• MSMQ
CWE Application
• C#、JS、Html
• Silver Light
• .NET MVC
• Skype Web SDK
Chat Robot
• C#
• Bot Framework
• Luis Interface
• UCMA 5.0
Management Portal
• C#、JS、HTML
• .NET MVC
• Luis Interface
• Power BI
Data StorageLayer
Platform Layer
Business LogicLayer
PresentationLayer
Conversation History
Yammer
KM
Other LOB
Office 365 + Bot Framework + Cognitive
Office 365 + Dragon Gate龙门
基础包:
扩展包:
基于企业特定场景或企业业务系统接入的龙门应用解决方案咨询与定制开发
微软 OFFICE 365 的移动端入口• 一个连接 Office 365 和微信的全新服务• 一个轻型的、基于消息的移动协作平台• 一个即插即用的移动生产力应用套件• 一个基于 Office 365 、Azure和微信企业号的应用开发平台
行业方案举例 —— 教育行业 家教云沟通
轻松讨论 分发成绩