暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

日志易V4.2重磅发布,自研信创数据搜索引擎Beaver性能数倍增长

日志易 2022-11-18
71

点击蓝字

关注我们


日志易V4.2重磅发布,新版本在配置及检索效率、Beaver性能等方面实现了显著提升,同时新增字段标准集等个性化功能,在Agent配置界面等方面进行了深度优化,从技术实现、安全可信、可操作性、观感效果等各方面充分提升用户体验。


智能化功能持续丰富

新增字段标准集

随着抓取的数据日益繁杂,各类分析场景的实现对于数据质量的要求越来越高。良好的数据治理能够帮助企业深度挖掘数据价值,而提升数据质量往往是企业开展数据治理工作的第一步,也是数据治理的重要目标之一。
日志易V4.2版本新增了字段标准集功能,以满足用户对字段标准集中管理的需求,为后续数据治理搭建了稳固的框架基础,帮助用户实现数据质量的提升。
如下图所示,一个字段标准集下可设定多种字段标准,一个字段标准包含字段名称、字段类型、校验规则等内容设定。该功能同时支持用户对字段提取质量进行分析,质量分析的默认结果包括字段覆盖率、异常值比例等内容,分析结果可另存为趋势图、报表等,也可添加二次加工语句,从而形成新的分析结果。
标准集作为新资源类型,配置了灵活的权限控制设置,可授权指定用户使用,同时支持导入、导出等操作。

搜索框字段/值提示补全

新版本将日志易SPL(Search Processing Language)语句提示和关键字高亮调整为SPLServer提示,搜索匹配结果的精准度显著提高。
用户可以通过日志易V4.2新增的Typeahead方式,获取字段名和字段值的提示,系统将提供索引最快获取的前10个值。同时,日志易会验证当前索引的查看权限,在保证检索速度的前提下,将敏感数据泄漏概率降至最低。

定时任务自选输出/测试运行

之前,定时任务的结果默认选择Schedule索引。
新版本新增自选输出功能,可由用户自定义输出索引,测试运行结果也可在选定的输出上进行,实际输出数据可在定时任务运行的历史列表、选定的索引或第三方数据库处查看。同时,系统会伪造一个schedule_id来避免污染定时运行的schedule_id数据。

定时任务列表新增执行结果展示

新版本中,定时任务列表新增展示最近24次执行结果的成功或失败状态。历史详情页同样支持展示相关的成功或失败状态,用户可以精准查看失败状态关联的报错内容。

数据库输出展示关联任务

在日志易V4.2版本中,定时任务采用数据库输出方式,在数据库输出列表上会展示关联的定时任务,用户在进行修改或删除数据库输出时能够知晓关联内容,避免误操作。

监控配置支持趋势图预览

新版本中,用户在监控配置项填写查询语句、查询时间范围、统计函数、统计字段、执行间隔等必要配置信息后,可以点击生成预览趋势图。趋势图历史数据的充分分析与展示,有助于用户更精准地定义触发阈值,对于分组阈值,用户还可以在每个分组条件下,分别预览各自关联的趋势图。

数据库连接新增类型

在日志易V4.2版本中,新增了SQLServer、Informix等数据库连接类型,还支持对JDBC URL添加自定义扩展参数。

高基数字段风险提示

新版本新增高基数字段风险提示功能,能够根据当前查询范围命中的前1000条数据中的字段值,用感叹号Icon在字段列表上提示其可能是高基数,以免用户将其当作groupby字段处理,避免误操作导致的系统风险。

新增个性化SPL指令,检索能力深度强化

新增typeahead指令

日志易V4.2新增的typeahead指令,支持直接访问对应索引时间范围内的倒排索引数据,能够快速返回对应术语的倒排链长度,适用于快速返回类型的预估场景。

新增rest指令

通过新版本新增的rest指令,用户可直接调用API,获取返回数据,免去重复的手动创建操作,提高效率与精准度。

search指令下沉

新增search指令下沉后,日志易V4.2支持去除日志的raw_message倒排索引部分进行存储,日志膨胀率下降了0.28,有效降低存储成本。
新版本支持裁剪掉raw_message倒排数据后,依然走stored部分过滤,达到一定的查询效果。
同时,search下沉在某些搜索场景中能够大幅提升检索效率。例如,使用 * | search apache.status:200检索时,系统依然会使用 apache.status 的列存数据,检索时间将比从原始日志中过滤快几倍到十几倍。

Beaver调优再升级,性能数倍增长

Beaver

Docvalue kPrefix类型的额外压缩优化
额外压缩后,查询性能会在第一次查询后得到显著提升,多次统计耗时可下降数十倍。
Pipeline中相应的字符串性能显著提升

索引默认模式优化

在日志易V4.2中,新建索引默认采用高压缩模式,帮助用户有效节约存储资源。

智能可视化效果不断精进

网络流向图

相比旧版本中的力引导图,日志易V4.2中的网络流向图新增了节点Icon样式,用户可自由设定节点和连线的颜色方案,自由配置连线文字和布局方向。

富文本报表支持插入页码

新版本支持用户在通过富文本编辑器生成的Word文件上插入页眉页脚,还可以再选择插入页码,设置页码位置、对齐方式等。

表格提供颜色方案和斑马样式

版本配置了类Word表格样式的编辑区,支持设置表头颜色和斑马线样式等,在趋势图、仪表盘、报表配置中也可以统一运用。

单行事件的原文颜色方案

在旧版本中,颜色方案只区分不同字段。
新版本推出对关键信息raw_message的多彩展示效果,重点更加突出,有效提升用户浏览效率,降低重要事件处置耗时。

各资源列表的列宽优化

为更好适应分辨率较低的投影仪和小屏幕等展示场景,新版本针对平台页面进行了效果优化,页面自动探测当前屏幕宽度,当宽度小于大屏阈值时,隐藏部分列,比如常见的创建用户等;宽度继续减少到小屏阈值时,不再压缩列宽,改为横屏滚动查看。

Agent模块多重优化

Agent添加数据源列表样式优化

新版本将列表形式升级为卡片形式,交互更为简洁

Agent常用场景配置界面化

新版本针对脚本采集的Crontab支持、S3采集的区域输入、Kafka采集的编码和认证等插件的高级配置项进行了界面化梳理,深度简化了配置流程,可操作性有效提升。

Agent插件配置界面化

新插件配置在列表上自动展示除密码以外的必填列。

Agent安装包服务器上传

新版本支持通过服务器上传Agent装包,以应对部分客户电脑浏览器对上传文件大小的限制。

Agent提供重复采集排查工具

新版本提供重复采集排查工具,帮助技术人员排查是否有文件被不同配置重复采集。


 推荐阅读 




北京优特捷信息技术有限公司是专注于机器大数据平台、服务和解决方案的开发商,致力于帮助各行业用户挖掘和利用机器数据价值,提升数字化运营质量,轻松应对IT及业务挑战。

更多技术干货及解决方案,扫描下方二维码“跳转官网”立即获取。

跳转官网

扫码入群

公司推出日志易平台、SIEM安全大数据分析平台、观察易、智能运维AIOps、数据工厂、日志易大屏等系列产品,一站式解决机器数据采集、清洗、存储、搜索、分析、可视化等需求,帮助企业轻松实现查询统计、业务关联分析、监控告警、安全信息与事件管理SIEM、用户与实体行为分析UEBA、智能运维AIOps、IT可观测性等应用场景。


公 司 荣 誉


  • 2022.10  获得统信创客北京 · 鲲鹏应用创新大赛2022优胜奖

  • 2022.04  首批通过信通院可观测性评估

  • 2022.04  与工信部人才交流中心推出联合认证

  • 2022.04  获评中关村2021高成长企业

  • 2021.12  可观测性平台观察易获评IT168创新产品奖

  • 2021.09  麒麟创客北京·2021鲲鹏应用创新大赛总决赛二等奖

  • 2021.07  获选国家级专精特新“小巨人”企业

  • 2021.05  获选北京市专精特新“小巨人”企业

  • 2021.04  出版日志分析专业书籍《日志管理与分析》

  • 2020.12  获选2020中国明日之星

  • 2020.09  获得2020年“创客中国”鲲鹏 · 应用创新专项赛三等奖

  • 2019.09  入选VMWare创新网络第一期“威睿加速计划”

  • 2019.05  与光大证券合作的智能运维课题,获选证券行业“年度优秀课题”

  • 2018.04  参与编写国内首个《企业级AIOps实施建议白皮书》

  • 2018.01  获得“中关村高新技术企业”资质认证

  • 2017.12  获得《金融电子化》“2017年度金融科技优秀产品创新奖”

  • 2016.12  获得国家高新技术企业认证

  • 2016.11  入选中关村示范区2016年度第二批前沿企业

  • 2015.07  获得2015年度北京市科技型中小企业促进专项(创新类)资助

  • 2015.01  入选微软创投加速器第六期


客 户 信 赖

数百家知名机构选择了日志易,部分客户如下(排名不分先后)

  • 清算中心:人民银行清算中心、农信银资金清算中心

  • 国有银行:建设银行、中国银行、交通银行

  • 股份银行:招商银行、华夏银行、平安银行

  • 城商银行:北京银行、南京银行、江苏银行、徽商银行、富滇银行

  • 农商银行:重庆农商行、山东农信、山西农信

  • 证券业:广发证券、光大证券、兴业证券

  • 保险业:中国人保、大家保险、招商信诺

  • 基金业:易方达基金、嘉实基金、广发基金

  • 运营商:中国移动、中国电信、咪咕视讯、中移信息

  • 电力电网:国家电网、南方电网

  • 石油石化:中石油、中石化、中海油

  • 航空业:中航信、南方航空、首都机场

  • 零售业:沃尔玛、国美在线

  • 制造业:中国中车、格力电器、上汽集团、广汽集团

  • 大型央企:中信集团、中铁一局、中国船舶、中国化工

  • 政府机关:海关总署、国家税务总局、国家卫健委


觉得文章有用,欢迎点“在看”哦~

点击阅读原文

申请产品试用


文章转载自日志易,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论