业界动态
【阿里云】阿里云日志查询语法
2024-11-01 00:19

【阿里云】阿里云日志查询语法

查询语法全文参考官方文档:点击查看

由于阿里的官方文档对查询和分析的案例相当匮乏,导致很多函数只能猜测用法,这种不断试错的过程是在是浪费时间,并且浪费精力!所以我打算写一篇关于阿里云查询的案例,由简入深的案例分析,希望对大家有所帮助。

:代指所有日志

业务:我们想对每条日志中的uuid进行筛选查询,则只需要指定字段

业务:需要查询同一网段下的ip的日志情况,我们则可以使用模糊查询去匹配

常用的关键词、·、
业务:查询ip为192.168.1.1,或者ip为192.168.1.0,并且日期不等于2021-08-09


查询语法其实很简单,只需要对日志进行大的筛选即可,无需对日志进行复杂的分析,阿里云的日志不在于此,精髓就在于分析,分析语法比较诡异,和关系型数据库SQL有点像,但又不完全相同,其实思想是一样的,可以用SQL的思想去分析需要分析的结构。

参考文档:聚合函数
聚合函数相对于传统的数据库丰富不少,使用方法基本一致

  1. count 聚合

     
  2. count_if 聚合
    统计满足指定条件的日志条数

     
  3. max 聚合

     
  4. max_by 聚合
    max_by(KEY_01,KEY_02) :返回KEY_02为最大值时对应的KEY_01值。

     

参考文档:字符串函数

  1. split分割字符串
     在这里插入图片描述
  2. lower 转小写
     
  3. 去除空格
    trim:删除字符串中开头和结尾的空格。
    ltrim:删除字符串中开头的空格。
  1. 格式化日期
     在这里插入图片描述
  2. 计算时间差
    :一般这个函数主要用于计算两个时间差,一般用于join时比对时间的方法,后续到join章节会有说明,这里不过多赘述

本章节是重点,因为日志中最纠结的地方如何拆分json,对json中的数据进行分析。

  1. 步骤一:json_parse(properties)
    转化为阿里可识别的JSON类型

     

    在这里插入图片描述

  2. 步骤二:使用cast()函数转换数据类型
    转化为map(varchar,varchar)类型,这里必须是同一数据类型,否则无法进行后续查询

     

    在这里插入图片描述

  3. 步骤三:unnest(特殊格式的日志字段进行查询分析

    在复杂的业务场景下,日志数据的某一列可能会是较为复杂的格式,例如数组(array)、对象(map)、JSON等格式。对这种特殊格式的日志字段进行查询分析,可以使用unnest语法。

     

    在这里插入图片描述

  4. 步骤四:对x,y,log的进行查询分析,后续分析就是和正常sql一样,x,y中的数据可以随意查询分组,可以满足大部分的负责的查询需求了。

参考官方文档:unnest语法 官方讲的比较清楚,具体案例解析json已经讲解了,这里就不过多赘述了

参考我之前的博客:开窗函数

  1. rank() OVER 在窗口内,按照某一列排序,返回在窗口内的序号

     

    关键(表示查询的结果集按照user_id聚合,并且按照time升序进行排序,rnk是分组后的排序序号,同等级rnk一致
    解析:rank()是一个聚合函数,可以使用分析语法中的任何函数,也可以使用本文档列出的函数。PARTITION BY 是值按照哪些桶进行计算。
    在这里插入图片描述

  2.     以上就是本篇文章【【阿里云】阿里云日志查询语法】的全部内容了,欢迎阅览 ! 文章地址:http://dfvalve.xrbh.cn/news/7233.html 
         资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 迅博思语资讯移动站 http://keant.xrbh.cn/ , 查看更多   
最新新闻
“撒旦”人血鞋?碰瓷新疆棉花的耐克,又开始喊冤了?
继主动碰瓷新疆棉花把自己搞得股价大跌之后耐克秉承着“no zuo no die”的精神又开始暗搓搓搞“阴间操作”限量发售含人血的“撒
tiktok怎么搭建外网 详细教程及步骤
TikTok怎么搭建外网(详细教程及步骤)TikTok是一款非常流行的短视频社交应用程序,它在全球范围内拥有数亿用户。在使用TikTok的
《以案释法》步数越多,收益越高?别被“走路也能赚钱”的理财广告忽悠了
  走路也能赚到钱的理财  “丑的人还在睡觉,美的人已经跑出一杯星巴克了。”2016年的一天,一个女孩晒出的朋友圈截图引起了
如何用生意参谋算出同行店铺真实销售额
怎么经过生意顾问算出同行店肆实在销售额?大多数在淘宝天猫工作过的人都知道,他们的背景显现了同行商铺的买卖数据,这被称为买
一款最近比较火的网站统计分析系统,易分析具有什么样的功能呢?
一、产品简介北京普艾斯科技有限公司成立于2009年,服务客户1000+,包括电商、金融、保险、政务服务等行业。私有化部署,全渠道
向佐快乐大本营2024年精彩回顾:四年时光共欢笑
张大大谢娜力捧下的综艺新星张大大一位在娱乐圈中颇具人气的主持人他的成名之路离不开谢娜的提携回顾张大大的成名之路可以说谢娜
PingTools app
《PingTools app》是一款非常好用的实用工具软件,软件内拥有丰富的功能,包含了包括浏览器扫描等。使用非常简单,直接下载安装
抖音能看到谁搜索过自己吗?
尊敬的用户,您好。针对抖音平台是否能够查看谁搜索过自己的问题,我们需要做一些详细说明。首先,根据我们了解到的情况,在抖音
什么是人工智能“语料库”?为什么每个人都在谈论它?
编者按:比尔盖茨(Bill Gates)、Reddit 首席执行官和其他科技领袖越来越多地谈论“语料库”,现在是时候了解它是“何方神圣”
LED行业词语中英对应
1、led 灯具构成英文led 球泡灯:led bulbLed 贴片灯珠:SMD LEDLed驱动电源:led driver隔离电源:isolated driver非隔离电源:
本企业新闻

点击拨打: