1、前言
阿里云 数据仓库这一系列断断续续也有很久没有更新了,新年新气象,赶紧追上开写。
2、基本概念
1、ODPS:
Open Data Processing Service, 简称ODPS;是由阿里云自主研发,提供针对TB/PB级数据、实时性要求不高的分布式处理能力,应用于数据分析、挖掘、商业智能等领域;阿里巴巴的离线数据业务都运行在ODPS上;
2、ODPS SQL:
与Hive SQL语法基本一致;适用于海量数据(TB级别),但实时性要求不高的场合,它的每个作业的准备,提交等阶段需要花费较长时间, 因此要求每秒处理几千至数万笔事务的业务是不能用ODPS SQL完成的;
ODPS SQL采用的是类似于SQL的语法,可以看作是标准SQL的子集,但不能因此简单的把ODPS SQL等价成一个数据库,它在很多方面并不具备数据库的特征;
3、 ODPS SQL
做数据分析与IT人员最熟悉使用SQL对数据进行分析统计了。ODPS也支持SQL查询操作,而且语法类似于Hive 的HQL。
SQL操作的主要对象是表,数据量可在T级到P级。
SQL中提供的功能有:
- DLL:表、列、分区、视图、生命周期等操作 ;