谈谈统计学正态分布阈值原理在数据分析工作中的运用

一、背景

二、引用

三、落地

/*

*数据分析API服务

*/

public class DataAnalysis{

    /*

*波动分析

*input：json，分析源数据（样例）

{
"org_data": [
          { "date":"2020-02-01",  "data":"10123230" },  日期类型、long类型
          { "date":"2020-02-02", "data":"9752755" },
         { "date":"2020-02-03",  "data":"12123230" },
         .......
   ]
}
*output：json，分析结果

{
  "type": 1,  --调用正常返回1，异常返回0
  "message"：""， --异常原因
"date": 2020-02-14，--输入数据中按日期升序排列的最后一组的日期
"data": 6346231，--输入数据中按日期升序排列的最后一组的数据值
"rate1": -0.3，--同比值
"rate2": -0.6，--环比值
"level1": 4，--同比等级，5个类型：1、2、3、4、5
"level2": 3，--环比等级，5个类型：1、2、3、4、5
"result":"异常下降"，--四个类型：异常上涨、异常、异常下降、无异常
}
*/

    public String fluctuationAnalysis (String org_data){



        //第一步，校验输入数据

        if（checkOrgdata(org_data)） return {"result": 0, "message"：""}



        //第二步，计算同环比

        computeOrgdata(org_data)



        //第三步，数据升序排序，获取数组大小、最后数据中按日期升序排列的最后一组

        //以上面样例为了，数组大小14，最后一组数据{ "date":"2020-02-14", "data":"6346231" ，同比：-0.3，环比：-0.6}



对同比、环比、（data暂不做）分别做如下处理

-------

        //第四步，按照数据升序排序及数据大小，将数据（不算上面找出的最后一组数据）平均分为4等份（这样会在数组中插入三个桩），并计算出第一个桩和第三个桩的值，以上面为例子，原来数组大小14，去掉最后一个，13个

//判断，给结论

（1）   如果同比等级> 2 and 环比等级 > 2  （表示一定有异常）

And

case when 同比值<0 and 环比值<0 then '异常下降'

       when 同比值>0 and 环比值>0 then '异常上涨'

       else '异常'

end as res



return



（2）其他，无异常波动

}

public bool checkOrgdata (String org_data){



        //检验数组中日期是否全部连续，数量至少要14天数据

        …

        if(日期不连续 || 数量小于14)

           return false;

        return ture;

}

public String computeOrgdata (String org_data){



// 计算输入数据中，每一行的同环比

环比=(今日data/昨日data-1)*100%，

同比=(今日data/上周同日data-1)*100%



return

{
"org_data": [
          { "date":"2020-02-01",  "data":"10123230" ，同比：null，环比：null },
          { "date":"2020-02-02", "data":"9752755" ，同比：null，环比：0.9},
         { "date":"2020-02-03",  "data":"12123230" ，同比：null，环比：0.9},
          .......
   ]
}
}

对于输入数据的几个关键点：

（1）要求是连续的日期，并且至少14天的数据，建议100天的数据

（2）api中当同环比计算为null时，统一处理为0

（3）当传入的数量大于90天，取最近90天作为样本，当数量小于90天，拿所有上传作为样本

1.提供已封装好的API服务为大家使用：

API使用：
          传入数据示例（json）

     {
        "org_data": [
          { "date":"2020-02-01",  "data":"10123230" ，同比：null，环比：null },
          { "date":"2020-02-02", "data":"9752755" ，同比：null，环比：0.9},
         { "date":"2020-02-03",  "data":"12123230" ，同比：null，环比：0.9},
         .....
      ]
    }
返回结果解释：

返回结果解释：
     {
       "type": 1,  --调用正常返回1，异常返回0
       "message"：""， --异常原因
        "date": 2020-02-14，--输入数据中按日期升序排列的最后一组的日期
        "data": 6346231，--输入数据中按日期升序排列的最后一组的数据值
        "rate1": -0.3，--同比值
        "rate2": -0.6，--环比值
        "level1": 4，--同比等级，5个类型：1、2、3、4、5
        "level2": 3，--环比等级，5个类型：1、2、3、4、5
        "result":"异常下降"，--四个类型：异常上涨、异常、异常下降、无异常
     }
     注意问题点：

     对于输入数据的几个关键点：

        （1）要求是连续的日期，并且至少14天的数据，建议100天的数据

        （2）api中当同环比计算为null时，统一处理为0

        （3）当传入的数量大于90天，取最近90天作为样本，当数量小于90天，拿所有上传作为样本

四、运用场景

参考文献