一、活动介绍:
“腾讯云 TDSQL-C 产品测评活动”是由腾讯云联合 CSDN 推出的针对数据库产品测评及产品体验活动,本次活动主要面向 TDSQL-C Serverless版本,初步的产品体验或针对TDSQL-C产品的自动弹性能力、自动启停能力、兼容性、安全、并发、可靠性等多方面的产品测评。
有幸在CSDN的推广上看到了腾讯云推出的TDSQL-C产品测评活动,数据库在我们的开发工作占比比较大,尤其是高并发、高负载的架构,数据库更是重中之重。直接将影响系统的稳定运行,也可以一起来看看互联网的大事件:
- B站有一次瘫痪,用户反映“追番一直提示获取视频内容失败”“显示页面加载失败
- 微博由于某位明星上了热搜,服务器直接瘫痪
通过这次的活动,希望也能了解一些云数据库的优势,为以后公司业务的发展做一些铺垫,万一公司的业务量翻了几十倍呢?不打没有准备之战。
二、手册体验:
在进行报名后,加入微信群,助手提供了2个实验手册用来体验TDSQL-C MySQL的一个简单入门,由于新电脑还没有装Ptyhon环境,所以,这里选择《Vue+Koa+TDSQL实现问答系统》来实际操作一下。
通过不到15分钟的时间,按照手册的功能描述步骤,从0到1完成了TDSQL-C MySQL的体验,接下来就让我们深入的体验一下TDSQL-C MySQL的功能。
三、 数据库介绍:
1. 数据库是什么?
数据库(Database,简称DB)是长期储存在计算机内、有组织、可共享的大量数据的集合。
数据库中的数据按一定的数据模型组织、描述和储存。具有较小冗余度、较高数据独立性、易扩展性,并可为各种用户共享。
2. 数据库、数据库管理工具的关系:
3. 常见数据库管理系统:
在平时的开发中,接触过MySQL、SQL Server2种数据库,在早期使用过.NET就是使用SQL Server数据库进行开发,后面学习了PHP后,大多数都是PHP + MySQL进行Web相关的开发工作。其间,对于PostgreSQL也是学习调研过。
4. 如何操作数据库:
数据库管理系统可以通过SQL(结构化查询语言)来定义和操作数据,维护数据的完整性和安全性,以及进行各种数据库的管理等。
像我平时的工作就是全栈开发,php + vue + uniapp小程序,后端基本上70%的时间,都是跟MySQL打交道,平时,也遇到过不少MySQL的问题点。希望通过这次学习,也可以复盘一下自己的所学。
四、 TDSQL-C介绍:
从最上面活动的截图,我们先大致了解一下,TDSQL-C是什么?TDSQL-C有什么样的作用呢?以下是我的一个总结,可以先了解一下TDSQL-C的基本功能、场景、作用。
TDSQL是腾讯推出的一款兼容MySQL,自主可控,兼高一致性的分布式数据库。
1. 功能:
- 具有高可用性、高性能和可扩展性
- 支持水平自动拆分,有完整的业务逻辑表,而且数据被均匀拆分到多个物理分片中
- 有效的解决超大并发,超高性能,超大容量的OLTP类场景
2. 作用:
- 对金融级高可用、企业级安全性、数据强一致性等场景支持友好
- 提供完善的生态、完善的服务保障能力
五、 TDSQL-C MYSQL实操:
1. 官网购买TDSQL-C MYSQL数据库:
打开官网 (TDSQL-C MYSQL链接)[https://cloud.tencent.com/product/tdsqlc] ,点击“立即选购”。
新账号的话,有一些前置动作,需要进行实名制一下,否则会提示不能购买。
再往账号中充一点值,好进行产品的购买,这里用于测试的话,充了10块钱进行体验一下。
在产品选购页面,实例形态这里一定要选择“Serverless”的产品,TDSQL-C分为两个产品:一个是MySQL、一个是PostgreSQL,这里我们选择“MySQL”数据库引擎。
可以看到地域还支持国外的地域,给产品点赞,牛!
我们选择最新的数据库版本“MySQL 8.0”,可以根据自己的业务设置自动暂停时,选择“1个小时”,存储计费模式,可以用使用资源包,点击“购买资源包”进行购买。
选择“存储资源包”,容量的话,根据自己的需求进行调整,可以看出也比较便宜。
通过几个确认下单的步骤,购买成功存储资源包。
再回到数据库购买页面,将刚刚购买的存储资源包进行绑定。
第二步,可以设置数据库密码、默认字符集,自定义端口,表名大小写等参数。
经过几个确认步骤,集群创建成功,很有的意思是,这里不叫数据库实例,而是叫集群。
2. 数据库集群功能介绍:
默认数据库集群实例的外网是关闭的,需要自己开启。这里为了方便演示,将“自动暂停时长”设置为10分钟,有个疑问是数据库刚开启怎么就有24M存储空间了?
可以看到对应的资源包是0,并没有存储数据。
通过数据库管理工具DMC,可以看到系统默认有一些系统库,猜测这24M数据是它们的。
3. 开启外网访问地址:
点击上面“开启”,在开通外网访问地址后,注意host是一个域名(并非是IP),端口是一个随机的(并非是3306)。
4. 账号管理:
添加一个开发的账号,有只读的权限,不能有操作的权限。
5. 数据库管理:
可以单独对一些账号进行权限的控制。
6. 参数设置:
针对一些数据库的参数可以自己去修改,符合自己的需求。
7. 体验中遇到的问题:
使用数据库密码时,不能使用”Mysql.”,试了很多次,发现是密码有问题,改为”Test123.”
导入了一点表,在Navicat中删除后,看到表的空间并没有释放?
手册中的mysql2在并发流量时,好像不是太好用,下次试试Java的多线程。
六、TDSQL-C MySQL降本策略:
1. 自动启停:
Serverless的好处,当设置10分钟(可以随时调配)没有使用时,数据库就会暂停状态,暂停后计算将不再计费,如下数据库集群实例状态是“已暂停”。
一般像我们的网站,在夜晚的是没有流量的,可以节省一段时间的费用,如果是一年,那也是一笔比较可观的节能收入。
2. Serverless秒级伸缩:
改造一下上面手册的后端Node代码,进行并发写入数据库数据,模拟线上突然QPS上升的场景。
const mysql = require('mysql2/promise');
// 初始化数据库连接
let connection = null
async function initDb () {
connection = await mysql.createConnection({
host: 'bj-cynosdbmysql-grp-8znse6hq.sql.tencentcdb.com',
user: 'root',
password: 'Test123..',
database: 'shop',
port: 26668,
});
async function selectData () {
for (let i = 0; i 999999; i++) {
let sql = "INSERT INTO `tb_seckill_goods` VALUES (943095, NULL, 'xxxxxxx', 'http://img14.360buyimg.com/n7/jfs/t23629/293/671156875/53383/8ab4ce73/5b3c24abN8090cb25.jpg', 825.26, 82.53, '2019-05-24 06:51:00', '2019-05-24 06:51:00', '1', '2019-05-23 16:00:00', '2019-05-23 17:59:00', 79, 75, 'xxxxx')";
connection.execute(sql);
}
}
selectData()
}
initDb()
可以看到,我们买的配置当时是最小0.5,最大1,按以前的经验来说,可能CPU就达到了100%,SQL的进程在阻塞了,而TDSQL-C MySQL Serverless版本,可以自动的将CPU由最大1扩大到上面的差不多5。
4. 产品到期继续使用:
购买后TDSQL-C MySQL,因为要忙工作,一时忘记了TDSQL这个东西,可以看到数据库一直还会产生费用。
- 账户余额到期,8月23号开通,到8月28号还能使用,给用户提供了充足的时间来充值。
- 产品服务还是继续可以使用,没有余额到期就立马把服务断掉,保证了业务不受影响。
- 如果您不想使用这个产品,一定要销毁(重要),暂停也会产生费用。
以下为销毁后提示,不过,在回收站还可以有7天时间恢复。
4. 总结:
可以看到TDSQL-C MySQL Serverless版本有高度弹性灵活的使用方式,根据实际使用量进行计费,非常适合对业务量波动较大的中小企业。用这种按需按量的计费模式,极大降低了使用成本和资源浪费。
七、 TDSQL-C MySQL 提效策略:
1. 权限管控:
我们可以通过上面设置的权限进行有效的控制角色的操作类型,防止团队中有些人误操作,传统的工作可能是DBA在分配,这里的可以直接设置,比较方便。可以看到当我们使用dev_chen进行insert操作时,直接就报错了。
2. SQL导入:
在Navicat中导入数据需要差不多5分钟,而在DMC管理平台导入数据节省了差不多一半的时间。
个人猜测,可能是DMC先把SQL上传到服务器上,然后,再相当于本地导入,速度就快很多。导出的速度也是比较快的,不过建议用zip压缩一下,这样可以节省流量,速度也比较快。
可以看到在Navicat中导入表数据的过程中,发现这张表有数据了。
但是在DMC上查询却是空的,只有在表导完数据后,才能在下面这张图查出数据。
3. Mysql 5.7迁移到8.0:
可以看到Mysql 5.7的表,在8.0中导入,有一些小报错,但是不影响使用。基本上可以100%进行迁移。
4. 最大连接数限制:
在上面的开发账号,我们设置了账号连接数限制为2,为了防止某个开发账号误操作,导致频繁的请求数据库。
const mysql = require('mysql2/promise');
// 初始化数据库连接
let connection = null
async function initDb () {
connection = await mysql.createConnection({
host: 'bj-cynosdbxxxxxntcdb.com',
user: ' dev_chen',
password: 'xxxx',
database: 'shop',
port: 29068,
});
console.log(111111, connection)
async function selectData () {
for (let i = 0; i 2; i++) {
let sql = "select * from `tb_category` limit 10";
const [result] = await connection.execute(sql);
console.log(result[0])
}
}
selectData()
}
initDb()
initDb()
initDb()
initDb()
initDb()
以上代码,模拟多个数据库实例化,因为我们设置是最大连接数是2,当多个initDb实例化的时候,就会产生并发连接,提示“User ‘chen_dev’ has exceeded the ‘max_user_connections’ resource (current value: 2)”,这样可以有效的防止资源的浪费。
5. 总结:
八、 TDSQL-C MySQL 运维的能力:
用户可以通过“数据库智能管家DBbrain”强大的监控功能,来获得DB实例节点的数据磁盘使用率、日志磁盘使用率、链接数使用率、SQL请求量、慢查询量、备延迟耗时、异常情况、运营情况、健康报告等指标。
1. 诊断优化:
可以从整体来查看数据库的一些指标参数,如CPU、内存、存储、流量、健康得分等情况,其中,还能显示我们平时比较关心的慢SQL,在“诊断提示”中也有一些报警的提醒。
2. 诊断提示详情:
下图可以看到,我们模拟突然大量的写入,导致CPU的急剧增加,直接飙到了近80%,当然,也可以看到这个监控指标“cpu_use_rate”,也可以自己去设置一下告警值。
如下为慢SQL的诊断详情,可以看到这里大于等于1s执行时间的,会被记录为慢SQL。
3. 性能趋势:
可以对数据库的一个实时、历史走势的一个监控,包括CPU、内存、存储、流量、TPS、QPS、连接数、请求数等参数的折线图,通过这些参数,我们可以及时分析现有问题是什么,也可以对以往的负载做一个大概的评估,利用技术架构的升级。
4. 慢SQL分析:
慢SQL也是平时项目开发,比较关注的一个点,如下可以看到无论是插入、查询,或者有更新、删除的语句,只要超过阀值都会被记录为慢SQL,这个指标会直接影响项目功能的使用,及项目的质量。
九、TDSQL-C MySQL使用感受:
对TDSQL-C MySQL Serverless数据库从0到1进行体验,经过以下一些产品的功能进行体验,可以完全满足企业的开发需求,而且还提供了很多运维的工具进行检测,在系统操作上简单便捷,可以看到可以很好的扩展为数据库集群,非常方便,可以为企业提高效率,降低成本。
十、产品的建议:
1. 对产品提几个建议:
购买的资源包,在余额到期后,发现这个资源包直接满了,也没怎么使用。后面又买了一个资源包并进行绑定。
2. 设置数据库的操作权限,感觉有点太死板了,建议搞成多选,这样可以供用户灵活的配置。
3. 有2个账号,有一个开通的是广州的,一个开通是北京的,开通北京账号的,每次登录后,就会跳到“广州”,清除cookie这些也没用,需要手动切换,体验不是太好。
4. 生产数据库迁移方案:
在数据导入时,先需要上传SQL文件,但是有标注,大小在10GB以内,不知道在生产上做大规模数据迁移需要怎么弄?如果有10GB大小限制,觉得不能满足需求。
十一、 总结:
TDSQL是腾讯云企业级分布式数据库,旗下涵盖金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系,提供业界领先的金融级高可用、计算存储分离、数据仓库、企业级安全等能力,同时具备智能运维平台、Serverless版本等完善的产品服务体系。
我也是在通过活动、自己动手操作手册、自己在项目中实践TDSQL-C MySQL 8.0,从0到1的由浅到深的了解,从一些论点实际去操作,了解到TDSQL-C MySQL确实能给我们的业务带来提效降本的方案,希望在以后能够在业务中去落地并实践TDSQL-C MySQL。
综上所述,可以看到TDSQL-C MySQL 是一个强大、灵活、可扩展的数据库中间件,适用于中大型企业级应用程序。如果需要寻找一种可靠、高性能、可扩展的数据库解决方案,TDSQL-C MySQL 版本是一个很不错的选择。