暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / 分享一次生产应用无法连接Oracle数据库故障

分享一次生产应用无法连接Oracle数据库故障

MySQL数据库运维技术栈 2021-05-06
1450

故障简介

今天一个应用运维同事微信联系我，说有一个应用日志，显示连接Oracle数据库报错，我问了一下是什么应用，对方回答是报表应用，这下心里有谱了。
第一：报表应用重要性不高
第二：一般这种情况，都是因为程序写的烂，一堆慢sql语句，将连接数占满了，导致获取不到连接数。


日志分析

于是让应用运维同事，将应用报错日志发给我先看看，报错信息如下所示

    java.sql.SQLException: Listener refused the connection with the following error:
    ORA-12519, TNS:no appropriate service handler found


            at oracle.jdbc.driver.T4CConnection.logon(T4CConnection.java:458) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
            at oracle.jdbc.driver.PhysicalConnection.<init>(PhysicalConnection.java:546) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
            at oracle.jdbc.driver.T4CConnection.<init>(T4CConnection.java:236) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
            at oracle.jdbc.driver.T4CDriverExtension.getConnection(T4CDriverExtension.java:32) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
            at oracle.jdbc.driver.OracleDriver.connect(OracleDriver.java:521) ~[ojdbc6-11.2.0.3.jar:11.2.0.3.0]
            at java.sql.DriverManager.getConnection(DriverManager.java:582) ~[na:1.6.0_45]
            at java.sql.DriverManager.getConnection(DriverManager.java:185) ~[na:1.6.0_45]
            at com.umpay.jdbc.PooledConnection.makeRealConnection(PooledConnection.java:133) ~[jsv2core-1.2.27.jar:na]
            at com.umpay.jdbc.PooledConnection.<init>(PooledConnection.java:118) ~[jsv2core-1.2.27.jar:na]
            at com.umpay.jdbc.UmpayCP.getConnection(UmpayCP.java:307) ~[jsv2core-1.2.27.jar:na]
            at com.umpay.jdbc.ConnectionFactory.getConnection(ConnectionFactory.java:125) ~[jsv2core-1.2.27.jar:na]
            at com.umpay.jdbc.ConnectionFactory.getConnection(ConnectionFactory.java:113) ~[jsv2core-1.2.27.jar:na]
            at com.umpay.backofc2.collate.CollateInfo.getNearest10Collates(CollateInfo.java:257) ~[collate-frame-20160908-mysql.jar:na]
            at com.umpay.backofc2.collate.CollateMain.startup(CollateMain.java:187) [collate-frame-20160908-mysql.jar:na]
            at com.umpay.backofc2.collate.CollateMain.main(CollateMain.java:310) [collate-frame-20160908-mysql.jar:na]
    Caused by: oracle.net.ns.NetException: Listener refused the connection with the following error:
    ORA-12519, TNS:no appropriate service handler found

    我看了一下报错，竟然不是常见的无法获取连接数报错，就上网查询了一下ora-12519错误代码的含义，竟然是应用的连接数达到数据库连接数的上限了。


    于是让应用同事把连接数据库的JDBC连接池配置文件发给我看看。

      ######################################################## 
      jdbc.driver = oracle.jdbc.driver.OracleDriver 
      jdbc.url=jdbc:oracle:thin:@XXXX:1521:XXX
      ######################################################## 
      jdbc.username= XXX
      jdbc.password= XXX
      jdbc.dbType=oracle 
      ######################################################## 
      jdbc.min_connections = 10 
      jdbc.max_connections = 100

      什么鬼，最大连接数竟然设置成100个。


      解决过程

      先看看Oracle数据库的连接数上限

        SQL> show parameter process; 


        NAME                                 TYPE        VALUE
        ------------------------------------ ----------- ------------------------------
        aq_tm_processes                      integer     0
        cell_offload_processing              boolean     TRUE
        db_writer_processes                  integer     2
        gcs_server_processes                 integer     0
        global_txn_processes                 integer     1
        job_queue_processes                  integer     1000
        log_archive_max_processes            integer     4
        processes                            integer     150
        上限是150，启动几个应用，连接数很快就会被占用完，这个上限需要调整一下。

        参数调整
        修改最大连接数:

          alter system set processes = 500 scope = spfile;

          重启数据库:

            shutdown immediate;
            startup;


            SQL> show parameter process; 


            NAME                                 TYPE        VALUE
            ------------------------------------ ----------- ------------------------------
            aq_tm_processes                      integer     0
            cell_offload_processing              boolean     TRUE
            db_writer_processes                  integer     2
            gcs_server_processes                 integer     0
            global_txn_processes                 integer     1
            job_queue_processes                  integer     1000
            log_archive_max_processes            integer     4
            processes                            integer     500
            这里需要注意，调整连接上限，需要重启实例，如果不是很重要的数据库，修改完成参数，就可以立刻重启，如果是重要数据库，需要协调窗口时间重启。

            建议
            在这里有3个建议
            第一：数据库连接上限，可以根据业务需求进行调整，例如不太繁忙的系统，可以调整为500，繁忙的系统，可以调整为1000。如果要调整更高的上限，可以考虑进行垂直拆分业务了。
            第二：应用连接数据数，一定要按需设置，有条件，可以弄一个连接数据管理的配置中心，由数据库人员管理连接数。
            第三：定期优化线上慢sql，降低应用对连接数的需求。

            
                
             
             oracle
               
            文章转载自MySQL数据库运维技术栈，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
               
            评论