Skip to content

SQL Parser

Jump to bottom
高铁 edited this page Oct 3, 2017 · 44 revisions

SQL Parser是Druid的一个重要组成部分，Druid内置使用SQL Parser来实现防御SQL注入（WallFilter）、合并统计没有参数化的SQL(StatFilter的mergeSql)、SQL格式化、分库分表。

1. 各种语法支持

Druid的sql parser是目前支持各种数据语法最完备的SQL Parser。目前对各种数据库的支持如下：

数据库 DML DDL
odps 完全支持 完全支持
mysql 完全支持 完全支持
postgresql 完全支持 完全支持
oracle 大部分 支持大部分
sql server 支持常用的 支持常用的ddl
db2 支持常用的 支持常用的ddl

数据库 | DML | DDL ||_________ odps | 完全支持 | 完全支持 mysql | 完全支持 | 完全支持 postgresql | 完全支持 | 完全支持 oracle | 大部分 | 支持大部分 sql server | 支持常用的 | 支持常用的ddl db2 | 支持常用的 | 支持常用的ddl

druid还缺省支持sql-92标准的语法，所以也部分支持其他数据库的sql语法。

2. 性能

Druid的SQL Parser是手工编写，性能是antlr、javacc之类工具生成的数倍甚至10倍以上。

SELECT ID, NAME, AGE FROM USER WHERE ID = ?

这样的SQL，druid parser处理大约是5us，也就是每秒中可以处理20万次。

4. Druid SQL Parser的代码结构

Druid SQL Parser分三个模块：

  • Parser
  • AST
  • Visitor

4.1 parser

parser是将输入文本转换为ast（抽象语法树），parser有包括两个部分，Parser和Lexer，其中Lexer实现词法分析，Parser实现语法分析。

4.2 AST

AST是Abstract Syntax Tree的缩写，也就是抽象语法树。AST是parser输出的结果。下面是获得抽象语法树的一个例子：

final String dbType = JdbcConstants.MYSQL; // 可以是ORACLE、POSTGRESQL、SQLSERVER、ODPS等
String sql = "select * from t";
List<SQLStatement> stmtList = SQLUtils.parseStatements(sql, dbType);

4.3 Visitor

Visitor是遍历AST的手段，是处理AST最方便的模式，Visitor是一个接口，有缺省什么都没做的实现VistorAdapter。

我们可以实现不同的Visitor来满足不同的需求，Druid内置提供了如下Visitor:

  • OutputVisitor用来把AST输出为字符串
  • WallVisitor来分析SQL语意来防御SQL注入攻击
  • ParameterizedOutputVisitor用来合并未参数化的SQL进行统计
  • EvalVisitor 用来对SQL表达式求值
  • ExportParameterVisitor用来提取SQL中的变量参数
  • SchemaStatVisitor用来统计SQL中使用的表、字段、过滤条件、排序表达式、分组表达式

4.4 自定义Visitor

每种方言的Visitor都有一个缺省的VisitorAdapter，使得编写自定义的Visitor更方便。 https://github.com/alibaba/druid/wiki/SQL_Parser_Demo_visitor

4.5 方言

SQL-92、SQL-99等都是标准SQL，mysql/oracle/pg/sqlserver/odps等都是方言，也就是dialect。parser/ast/visitor都需要针对不同的方言进行特别处理。

Clone this wiki locally