大数据时代下巨变的互联网垂直搜索引擎
1、系统简介
博 约互联网舆情监测与评估系统是基于搜索引擎技术构建的，拥有完全自主知识产权的，支持全媒体、多语种、跨平台的网络舆情监测、分析和协同处理平台。系统通 过对热点问题和重点领域比较集 中的网页、论坛、博客、微博等信息进行实时监测、预警和响应，以图形化的呈现结果从不同角度和层次为用户提供全面的决策参考和全方位化解舆情危机。作为博约垂直搜索引擎产品家族的核心产品之一，政安互联网舆情监测与评估系统已经广泛应用在政府、教育、团委、银行、化工等各行各业，以其稳定、易用、全面的优点而广受青睐。2014年9月26日，该系统获2013-2014年度“安徽省优秀软件产品”荣誉称号。
2、技术概述
博 约互联网舆情监测与评估系统支持URL调度功能，实现对重要URL进行优先下载。支持网页编码的自动识别，能实现网页中的作者、 发表时间、回复数、点击数、标题、内容等字段的智能提取。系统是一个互联网信息存储和分析平台。采用分布式文件系统存储海量互联网信息，具有良好的可扩展 性。并能通过建立各种分析模型完成对系统舆情进行态势分析，包括系统运用实体识别对网页进行内容分析，完成主体，事件，地名和时间标注，基于该标注完成同 主题文章的判定，再根据时间和正文指纹确定文章的转发和传播路径，并绘制出传播路径图；运用频率分析的方法对近阶段的历史信息进行统计，再结合文章的公众 反应（点击数，回复数），分析出热门文章，并能够自动生成热门主题岛图；运用自动分类的的方法完成评论的倾向性判定；基于活跃度，关注度，认同度的计算识 别出特定主题领域的意见领袖；通过对网页作者的历史行为分析预测网络水军。
系统是一个完善的舆情服务平台，内置工作流引擎和即时通讯模 块，实现舆情的协同处理。系统可以根据用户设定的关注的主题进行信息推送，生成个性化舆 情门户。还能对已设定的敏感主题进行预警，并可通过短信、邮件、android客户端推送给相关客户。支持高级检索功能，用户可以按时间，关键词，站点查 询舆情信息，并支持复杂查询表达式。能将舆情评估模块生成的图表和文字信息自动导入word，生成舆情报告。
3、四大特色
全天候热点监测，实时全面：对新闻、论坛、博客、微博、微信、Rss、qq群、元搜索等信息自动采集和抽取，实现从发布到采集的分钟级响应，全面支持信息采集雷达的分布式部署，实现对近10万个站点的7×24小时监测。
智能化语义分析，科学研判：能够对站点、主题、作者、地域、影响力、发展趋势等38个维度进行统计分析，有效支持用户对舆情发展态势的研判，并能够自动生成舆情分析报告，辅助领导决策。
强大工作流支持，协同处理：支持弹窗提示、关键词高亮、邮件、短彩信、内部即时通信等方式第一时间、分级预警。内置工作流处理引擎，支持百人级管理任务协同，实现舆情发现、任务分配、在线交流、上报等的一体化流程。
多版本、跨平台，随时随地：提供多版本舆情系统，支持Android手机版、Ipad版、PC版、微博版以及多语种版。
4、八大功能
高效地采集信息：支持全媒体信息的自动采集，重要媒体数据更新延迟在5分钟以内，保证第一时间抓取。
智能提取信息：智能提取版面中的作者、发贴时间、回复数、点击数(人气)、标题、内容、回复等信息项。
模糊检索：支持同义词检索，能对特定检索网站和特定时间段，按不同的排序方式进行模糊检索。
多级用户信息监控机制：支持管理员分配监测任务，辅助和监督组员设定监控主题、关键词、监控站点等。
多维度数据分析：支持监控词、话题量、站点、地域分布、时间分布、传播路径等的分析。
多类型统计排行：支持站点、活跃作者、热门话题的统计排行榜，自动分析和发现社会、行业、企业热点。
完善的信息预警机制：支持监控关键词的高亮闪烁和弹窗提示，信息能通过短彩信、邮件、微信等多种形式实时主动推送。
丰富的报表生成：用户能够自定义模板，支持图形、表格和文本的导入，并转化为word文档进行输出。
5、性能指标
近10万个采集数据源 千万量级数据处理量 30分钟全网扫描一次
7×24小时实时监测 支持5层深度抓取 毫秒级百万网页检索
千万量级链接的分析 百亿级索引数据量 7个信息预警级别
智能匹配准确率95%+ 38个维度的统计分析
监控词自定义数量无上限 支持200人同时在线
