【图片】人工智能大数据文本分析浅谈——基于公安笔录文本分析应用【华通晟云吧】

08月31日漏签0天

华通晟云吧关注：2贴子：21

1回复贴，共1页

<返回华通晟云吧

人工智能大数据文本分析浅谈——基于公安笔录文本分析应用

只看楼主收藏回复

人工智能的发展和应用

人工智能经过了15的蛰伏探索、16年的迅市崛起、17年的如火如荼，目前人工智能的突出应用是在计算机视觉和模式识别领域，基于视频图片的深度学习神经网络模型和智能算法，如人脸识别、车辆识别、医疗影像分析、智能制造等。其核心是利用海量大数据样本结合深度模型训练，利用智能算法和博弈论理论通过多层神经网络训练智能判别事物特征问题的分类场景应用。人工智能的另一个突出代表是语音识别，通过深度学习处理音频数据，以将日常语音音频翻译成多语言文本的语音识别技术突破，正在为人们打通人类语言的“巴比塔”带来希望。
文本分析的发展和应用

简单来说就是从非结构化文本文档中提取价值信息。据国际数据公司（IDC）的在2011年的调查显示，在今后十年里，非结构化数据将占所有产生的互联网数据的90%。而作为一个尚未得到充分开发的“信息金矿”，文本数据分析可以揭示出，我们之前所认为的异常复杂、且难以捉摸的诸多商业驱动因素间的重要相关关系。
所以，我们有必要对文本数据分析引起高度重视！！！

目前我国在文本分析领域的发展还算比较早，特别是随着人工智能时代的到来，大数据文本分析的重要性也逐渐被市场重视起来。随着数据时代（DT）的高速发展，越来越多的用户会从多种形式的文档获取信息。同时随着NOSQL、Hadoop、图数据库等大数据存储处理技术的日趋成熟，这些曾经很难电子化归档的文档信息数据得以存储下来构成了一个庞大的分布式非结构化数据库，常见的应用场景是对文档数据的快速检索和查询。而文本分析一直举步维艰，原因是文本分析是一个多学科混杂的领域，涵盖了信息抽取、信息检索、机器学习、自然语言处理、统计数据分析等多种技术，自然语言处理（NLP）的技术成熟度还有待提升同时造成其运用难度较高。当然这并不能阻碍文本分析技术的发展，相反有一群手持利剑、心怀理想的领航者不畏艰险仍在不断突破积极探索推动NLP技术发展和行业落地，而且只要场景应用的好都能取得很好的效果。
行业分析
哪些行业的文本分析技术发展最快，毋庸置疑互联网、电子商务和数字营销首当其冲，原因是这些行业存有大量的客户文本类数据，使其得以利用提升客户服务质量，是增加客户粘度的最佳实践并可带来直观价值收获。“文本分析”，或者“语义分析”通过分析海量的非结构性的文本（信息）数据，得出的不仅是关于“是什么”的描述性分析，更多的回答了“为什么”，即目标用户购买和使用产品的潜在动机/真实需求。这类行业的文本分析主要运用的方面集中在“情绪分析”数据化广告精准投放、口碑管理提升企业品牌形象、用户评价反馈及行为分析以及基于内容新媒体的热点采集预测及跟踪等。

于此同时最为存有大量文档的企事业、政府单位中面临的海量文档数据分析利用的场景目前还未有很好的落地应用案例。
华通晟云科技有限公司从15年开始接触公安行业海量笔录数据的分析工作，经过三年多的项目经验和落地项目经验，充分发挥文本分析是企事业用户体验管理，提升工作效率的关键应用。对传统文本文档这些增量和总量很大的文本数据的分析意义重大，可凸显其知识、情报数据挖掘价值，尤其是对海量文本的结构化、标记化、知识化，则是构建专家系统、人工智能、知识图谱应用的基础。

笔录文本分析产品介绍
利用机器学习及语义分析的方法对公安接处警内容进行结构化关键信息提取或判别；主要包括警情分类，案发时段提取及标准化，案发地址标准化，关键信息判别，如：作案工具、作案手段、区域部位、侵害目标等。

警情文本分类简述：
1）通过样本训练分类器；
2）在每个分类下做语义识别判断；目前分析样本涉及盗窃、诈骗等二十多种大类，其中每个大类中又涉及近百个子类项；样本数量约30万份。

分类器分类结果：
警情文本案例：
2017年2月25号8时左右，报警人倪*(320483199102******，1803609****群星苑*区**幢***室)报称发现居住地(园区娄葑通园路群星苑*区**幢***室)的大门半开着，其女友放置在门口鞋架上的包有翻动，钱包内被盗现金600元，报警人称无门窗被撬，经回忆，是其在昨晚8时出去倒垃圾时忘记将大门关好导致，室内无其他物品被盗，现已制作笔录。事发现场附近有安装监控设备。
文本实体词云展现