数据库压测工具 sysbench

如何压测

• Linux 上安装 sysbench

  curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash
  sudo yum -y install sysbench
  sysbench --version

• 数据库压测的测试用例

  接着我们需要在自己的数据库里创建好一个测试库，我们可以取个名字叫做test_db，同时创建好对应的测试账号，可以叫做 test_user，密码也是test_user，让这个用户有权限可以访问test_db。 然后我们将要基于sysbench构建20个测试表，每个表里有100万条数据，接着使用10个并发线程去对这个数据库发起访问， 连续访问5分钟，也就是300秒，然后对其进行压力测试。

• 基于sysbench构造测试表和测试数据

  sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysqlport=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --
  table_size=1000000 oltp_read_write --db-ps-mode=disable prepare

  • –db-driver=mysql：这个很简单，就是说他基于mysql的驱动去连接mysql数据库，你要是oracle，或者sqlserver，那 自然就是其他的数据库的驱动了
  • –time=300：这个就是说连续访问300秒
  • –threads=10：这个就是说用10个线程模拟并发访问
  • –report-interval=1：这个就是说每隔1秒输出一下压测情况
  • –mysql-host=127.0.0.1 –mysql-port=3306 –mysql-user=test_user –mysql-password=test_user：这一大串，就 是说连接到哪台机器的哪个端口上的MySQL库，他的用户名和密码是什么
  • –mysql-db=test_db –tables=20 –table_size=1000000：这一串的意思，就是说在test_db这个库里，构造20个测试 表，每个测试表里构造100万条测试数据，测试表的名字会是类似于sbtest1，sbtest2这个样子的
  • oltp_read_write：这个就是说，执行oltp数据库的读写测试
  • –db-ps-mode=disable：这个就是禁止ps模式
  • prepare：意思是参照这个命令的设置去构造出来我们需要的数据库里的数据，他会自动创建20个测试表，每个表 里创建100万条测试数据

• 对数据库进行360度的全方位测试

  • 测试数据库的综合读写TPS，使用的是 oltp_read_write 模式（大家看命令中最后不是prepare，是run了，就是运行压测）

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysqlport=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --
    table_size=1000000 oltp_read_write --db-ps-mode=disable run

  • 测试数据库的只读性能，使用的是 oltp_read_only 模式（大家看命令中的 oltp_read_write 已经变为 oltp_read_only 了）

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysqlport=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --
    table_size=1000000 oltp_read_only --db-ps-mode=disable run

  • 测试数据库的删除性能，使用的是 oltp_delete 模式

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysqlport=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --
    table_size=1000000 oltp_delete --db-ps-mode=disable run

  • 测试数据库的更新索引字段的性能，使用的是 oltp_update_index 模式

  • 测试数据库的更新非索引字段的性能，使用的是 oltp_update_non_index 模式

  • 测试数据库的插入性能，使用的是 oltp_insert 模式

  • 测试数据库的写入性能，使用的是 oltp_write_only 模式

  • 最后完成压测之后，可以执行下面的 cleanup 命令，清理数据

    sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=127.0.0.1 --mysqlport=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --
    table_size=1000000 oltp_read_write --db-ps-mode=disable cleanup

• 压测结果分析

  按照我们上面的命令，我们是让他每隔1秒都会输出一次压测报告的，此时他每隔一秒会输出类似下面的一段东西：

  [ 22s ] thds: 10 tps: 380.99 qps: 7312.66 (r/w/o: 5132.99/1155.86/1321.35) lat (ms, 95%): 21.33 err/s: 0.00 reconn/s: 0.00

  • thds: 10，这个意思就是有10个线程在压测
  • tps: 380.99，这个意思就是每秒执行了380.99个事务
  • qps: 7610.20，这个意思就是每秒可以执行7610.20个请求
  • (r/w/o: 5132.99/1155.86/1321.35)，这个意思就是说，在每秒7610.20个请求中，有5132.99个请求是读请求，1155.86个请 求是写请求，1321.35个请求是其他的请求，就是对QPS进行了拆解
  • lat (ms, 95%): 21.33，这个意思就是说，95%的请求的延迟都在21.33毫秒以下
  • err/s: 0.00 reconn/s: 0.00，这两个的意思就是说，每秒有0个请求是失败的，发生了0次网络重连

另外在完成压测之后，最后会显示一个总的压测报告，我把解释写在下面了：

​ SQL statistics:

​ queries performed:

​ read: 1480084 // 这就是说在300s的压测期间执行了148万多次的读请求

​ write: 298457 // 这是说在压测期间执行了29万多次的写请求

​ other: 325436 // 这是说在压测期间执行了30万多次的其他请求

​ total: 2103977 // 这是说一共执行了210万多次的请求

​ transactions: 105180( 350.6 per sec. ) // 这是说一共执行了10万多个事务，每秒执行350多个事务

​ queries: 2103977 ( 7013.26 per sec. ) // 这是说一共执行了210万多次的请求，每秒执行7000+请求

​ ignored errors: 0 (0.00 per sec.)

​ reconnects: 0 (0.00 per sec.)

// 下面就是说，一共执行了300s的压测，执行了10万+的事务

​ General staticstics:

​ total time: 300.0052s

​ total number of events: 105180

​ Latency (ms):

​ min: 4.32 // 请求中延迟最小的是4.32ms

​ avg: 13.42 // 所有请求平均延迟是13.42ms

​ max: 45.56 // 延迟最大的请求是45.56ms

​ 95th percentile: 21.33 // 95%的请求延迟都在21.33ms以内

压测时如何观察机器的CPU负载情况？

使用 top 命令，然后观察如下一行信息

top - 15:52:00 up 42:35, 1 user, load average: 0.15, 0.05, 0.01

最重要的是load average: 0.15, 0.05, 0.01这行信息，他说的是CPU在1分钟、5分钟、15分钟内的负载情况。

CPU负载是什么意思，假设我们是一个4核的CPU，此时如果你的CPU负载是0.15，这就说 明，4核CPU中连一个核都没用满，4核CPU基本都很空闲，没啥人在用。

如果你的CPU负载是1，那说明4核CPU中有一个核已经被使用的比较繁忙了，另外3个核还是比较空闲一些。要是CPU负载是 1.5，说明有一个核被使用繁忙，另外一个核也在使用，但是没那么繁忙，还有2个核可能还是空闲的。

压测时如何观察机器的内存负载情况？

在你执行top命令之后，中间我们跳过几行内容，可以看到如下一行内容：

Mem: 33554432k total, 20971520k used, 12268339 free, 307200k buffers

压测时如何观察机器的磁盘IO情况？

使用dstat -d命令，会看到如下的东西：

-dsk/total -

read writ

103k 211k

0 11k

压测时观察网卡的流量情况

使用dstat -n命令，可以看到如下的信息：

-net/total

recv send

16k 17k