环境：windows+5.7.12

错误详情：

 [Note] InnoDB: page_cleaner: 1000ms intended loop took 5258ms. The settings might not be optimal. (flushed=200 and evicted=0, during the time.)

此错误来自于..\storage\innobase\buf\buf0flu.cc,代码：

    if (curr_time > next_loop_time + 3000) {
                    if (warn_count == 0) {
                        ib::info() << "page_cleaner: 1000ms"
                            " intended loop took "
                            << 1000 + curr_time
                               - next_loop_time
                            << "ms. The settings might not"
                            " be optimal. (flushed="
                            << n_flushed_last
                            << " and evicted="
                            << n_evicted
                            << ", during the time.)";
                        if (warn_interval > 300) {
                            warn_interval = 600;
                        } else {
                            warn_interval *= 2;
                        }

可以看到实际经历的时间比原定的循环时间next_loop_time多4000多毫秒

另外 (flushed=200 and evicted=0, during the time.)对应n_flushed_last与n_evicted 变量，而这两个变量由n_flushed_list与n_flushed_lru赋值，函数pc_wait_finished(&n_flushed_lru, &n_flushed_list)调用

/**
Wait until all flush requests are finished.
@param n_flushed_lru    number of pages flushed from the end of the LRU list.
@param n_flushed_list    number of pages flushed from the end of the
            flush_list.
@return            true if all flush_list flushing batch were success. */

说明

n_flushed_lru  表示从lru 列表尾部刷新的页数

n_flushed_list  这个是从刷新列表中刷新的页数，也就是脏页数，也就是日志中flushed=200 的值

 

尝试解决：

1，出现这个问题有说调整innodb_page_cleaners为更大的值即可，最好保持跟innodb_buffer_pool_instances一致

2，调低innodb_lru_scan_depth=256，系统默认的1024大了点。

当然这里调整不一定消失，有些问题是越讨论越清晰在8.0版本已经去掉此提示，见Bug #76661 ：https://bugs.mysql.com/bug.php?id=76661

 

网上有人解释的有道理：

The problem is typical of a MySQL instance where you have a high rate of changes to the database. By running your 5GB import, you're creating dirty pages rapidly. As dirty pages are created, the page cleaner thread is responsible for copying dirty pages from memory to disk.

In your case, I assume you don't do 5GB imports all the time. So this is an exceptionally high rate of data load, and it's temporary. You can probably disregard the warnings, because InnoDB will gradually catch up.

Here's a detailed explanation of the internals leading to this warning.

Once per second, the page cleaner scans the buffer pool for dirty pages to flush from the buffer pool to disk. The warning you saw shows that it has lots of dirty pages to flush, and it takes over 4 seconds to flush a batch of them to disk, when it should complete that work in under 1 second. In other words, it's biting off more than it can chew.

You adjusted this by reducing innodb_lru_scan_depth from 1024 to 256. This reduces how far into the buffer pool the page cleaner thread searches for dirty pages during its once-per-second cycle. You're asking it to take smaller bites.

Note that if you have many buffer pool instances, it'll cause flushing to do more work. It bites off innodb_lru_scan_depth amount of work for each buffer pool instance. So you might have inadvertently caused this bottleneck by increasing the number of buffer pools without decreasing the scan depth.

The documentation for innodb_lru_scan_depth says "A setting smaller than the default is generally suitable for most workloads." It sounds like they gave this option a value that's too high by default.

You can place a limit on the IOPS used by background flushing, with the innodb_io_capacity and innodb_io_capacity_max options. The first option is a soft limit on the I/O throughput InnoDB will request. But this limit is flexible; if flushing is falling behind the rate of new dirty page creation, InnoDB will dynamically increase flushing rate beyond this limit. The second option defines a stricter limit on how far InnoDB might increase the flushing rate.

If the rate of flushing can keep up with the average rate of creating new dirty pages, then you'll be okay. But if you consistently create dirty pages faster than they can be flushed, eventually your buffer pool will fill up with dirty pages, until the dirty pages exceeds innodb_max_dirty_page_pct of the buffer pool. At this point, the flushing rate will automatically increase, and may again cause the page_cleaner to send warnings.

Another solution would be to put MySQL on a server with faster disks. You need an I/O system that can handle the throughput demanded by your page flushing.

If you see this warning all the time under average traffic, you might be trying to do too many write queries on this MySQL server. It might be time to scale out, and split the writes over multiple MySQL instances, each with their own disk system.

The InnoDB Buffer Pool 官网也涉及到一些：

https://dev.mysql.com/doc/refman/5.7/en/innodb-lru-background-flushing.html
---------------------
作者：朝闻道-夕死可矣
来源：CSDN
原文：https://blog.csdn.net/jc_benben/article/details/82251891
版权声明：本文为博主原创文章，转载请附上博文链接！

原理
MySQL查询缓存保存查询返回的完整结果。当查询命中该缓存，会立刻返回结果，跳过了解析，优化和执行阶段。
查询缓存会跟踪查询中涉及的每个表，如果这写表发生变化，那么和这个表相关的所有缓存都将失效。
但是随着服务器功能的强大，查询缓存也可能成为整个服务器的资源竞争单点。
初步设置
默认这个开关是关闭的，就是禁止使用query_cache，查询是否使用语句如下：

    mysql> SHOW VARIABLES LIKE 'have_query_cache';
         Variable_name    | Value |
    +------------------+-------+
    | have_query_cache | YES   |

注意这个只是显示，支持query_cache功能而已，默认是关闭的，通过这个语句查询设置情况：

mysql> SHOW STATUS LIKE 'Qcache%';

如发现结果中query_cache_size =0，则没设置，设置的方法为在 my.ini中，设置
query_cache_size=128M
query_cache_type=1
MYSQL如何分配query_cache_size
MySQL用于查询的缓存的内存被分成一个个变长数据块，用来存储类型，大小，数据等信息。
当服务器启动的时候，会初始化缓存需要的内存，是一个完整的空闲块。当查询结果需要缓存的时候，先从空闲块中申请一个数据块大于参数query_cache_min_res_unit的配置，即使缓存数据很小，申请数据块也是这个，因为查询开始返回结果的时候就分配空间，此时无法预知结果多大。
分配内存块需要先锁住空间块，所以操作很慢，MySQL会尽量避免这个操作，选择尽可能小的内存块，如果不够，继续申请，如果存储完时有空余则释放多余的。
如何判断是否命中
缓存存放在一个引用表中，通过一个哈希值引用，这个哈希值包括查询本身，数据库，客户端协议的版本等，任何字符上的不同，例如空格，注释都会导致缓存不命中。
当查询中有一些不确定的数据时，是不会缓存的，比方说now(),current_date(),自定义函数，存储函数，用户变量，字查询等。所以这样的查询也就不会命中缓存，但是还会去检测缓存的，因为查询缓存在解析SQL之前，所以MySQL并不知道查询中是否包含该类函数，只是不缓存，自然不会命中。
具体归纳如下：

    BENCHMARK()
    CONNECTION_ID()
    CURDATE()
    CURRENT_DATE()
    CURRENT_TIME()
    CURRENT_TIMESTAMP()
    CURTIME()
    DATABASE()
    带一个参数的ENCRYPT()
    FOUND_ROWS()
    GET_LOCK()
    LAST_INSERT_ID()
    LOAD_FILE()
    MASTER_POS_WAIT()
    NOW()
    RAND()
    RELEASE_LOCK()
    SYSDATE()
    不带参数的UNIX_TIMESTAMP()
    USER()
     
     
    ·        引用自定义函数(UDFs)。
    ·        引用自定义变量。
    ·        引用mysql系统数据库中的表。
    ·        下面方式中的任何一种：
    SELECT ...IN SHARE MODE
    SELECT ...FOR UPDATE
    SELECT ...INTO OUTFILE ...
    SELECT ...INTO DUMPFILE ...
    SELECT * FROM ...WHERE autoincrement_col IS NULL
     
    ·        被作为编写好的语句，即使没有使用占位符。例如，下面使用的查询：
    char *my_sql_stmt = "SELECT a，b FROM table_c";
       /* ...*/
    mysql_stmt_prepare(stmt，my_sql_stmt，strlen(my_sql_stmt));
    不被缓存。
    ·        使用TEMPORARY表。
    ·        不使用任何表。
    ·        用户有某个表的列级别权限。

打开Qcache对读和写都会带来额外的消耗：
a、读查询开始之前必须检查是否命中缓存。
b、如果读查询可以缓存，那么执行完之后会写入缓存。
c、当向某个表写入数据的时候，必须将这个表所有的缓存设置为失效，如果缓存空间很大，则消耗也会很大，可能使系统僵死一段时间，因为这个操作是靠全局锁操作来保护的。
对InnoDB表，当修改一个表时，设置了缓存失效，但是多版本特性会暂时将这修改对其他事务屏蔽，在这个事务提交之前，所有查询都无法使用缓存，直到这个事务被提交，所以长时间的事务，会大大降低查询缓存的命中
  一个表可以被许多类型的语句更改，例如INSERT、UPDATE、DELETE、TRUNCATE、ALTER TABLE、DROP TABLE或DROP DATABASE。
对于InnoDB而言，事物的一些特性还会限制查询缓存的使用。当在事物A中修改了B表时，因为在事物提交之前，对B表的修改对其他的事物而言是不可见的。为了保证缓存结果的正确性，InnoDB采取的措施让所有涉及到该B表的查询在事物A提交之前是不可缓存的。如果A事物长时间运行，会严重影响查询缓存的命中率
查询缓存的空间不要设置的太大。
因为查询缓存是靠一个全局锁操作保护的，如果查询缓存配置的内存比较大且里面存放了大量的查询结果，当查询缓存失效的时候，会长时间的持有这个全局锁。因为查询缓存的命中检测操作以及缓存失效检测也都依赖这个全局锁，所以可能会导致系统僵死的情况

具体参数含义：
一、通过命令：show status like ‘%Qcache%’;查看查询缓存使用状态值:

    show status like ‘%Qcache%’;
       Variable_name           | Value     |
     
    +————————-+———–+
     
    | Qcache_free_blocks      | 1         |
     
    | Qcache_free_memory      | 134208800 |
     
    | Qcache_hits             | 0         |
     
    | Qcache_inserts          | 0         |
     
    | Qcache_lowmem_prunes    | 0         |
     
    | Qcache_not_cached       | 2         |
     
    | Qcache_queries_in_cache | 0         |
     
    | Qcache_total_blocks     | 1         |

    解析：
    Qcache_free_blocks:表示查询缓存中目前还有多少剩余的blocks，如果该值显示较大，则说明查询缓存中的内存碎片过多了，可能在一定的时间进行整理。  
        减少碎片：
    合适的query_cache_min_res_unit可以减少碎片，这个参数最合适的大小和应用程序查询结果的平均大小直接相关，可以通过内存实际消耗（query_cache_size - Qcache_free_memory）除以Qcache_queries_in_cache计算平均缓存大小。
    可以通过Qcache_free_blocks来观察碎片，这个值反应了剩余的空闲块，如果这个值很多，但是
    Qcache_lowmem_prunes却不断增加，则说明碎片太多了。可以使用flush query cache整理碎片，重新排序，但不会清空，清空命令是reset query cache。整理碎片期间，查询缓存无法被访问，可能导致服务器僵死一段时间，所以查询缓存不宜太大。
    Qcache_free_memory:查询缓存的内存大小，通过这个参数可以很清晰的知道当前系统的查询内存是否够用，是多了，还是不够用，DBA可以根据实际情况做出调整。
    Qcache_hits:表示有多少次命中缓存。我们主要可以通过该值来验证我们的查询缓存的效果。数字越大，缓存效果越理想。
    Qcache_inserts: 表示多少次未命中然后插入，意思是新来的SQL请求在缓存中未找到，不得不执行查询处理，执行查询处理后把结果insert到查询缓存中。这样的情况的次 数，次数越多，表示查询缓存应用到的比较少，效果也就不理想。当然系统刚启动后，查询缓存是空的， 这很正常。
    Qcache_lowmem_prunes:该参数记录有多少条查询因为内存不足而被移除出查询缓存。通过这个值，用户可以适当的调整缓存大小。
    Qcache_not_cached: 表示因为query_cache_type的设置而没有被缓存的查询数量。
    Qcache_queries_in_cache:当前缓存中缓存的查询数量。
    Qcache_total_blocks:当前缓存的block数量。

提高查询缓存的使用率：
如果碎片不是问题，命中率却非常低，可能是内存不足，可以通过 Qcache_free_memory 参数来查看没有使用的内存。
如果2者都没有问题，命中率依然很低，那么说明缓存不适合你的当前系统。可以通过设置
query_cache_size = 0或者query_cache_type 来关闭查询缓存。

二、通过命令：show status like '%query_cache%';查看查询缓存相关设置:

    query_cache_limit：允许 Cache 的单条 Query 结果集的最大容量，默认是1MB，超过此参数设置的 Query 结果集将不会被 Cache
    query_cache_min_res_unit：设置 Query Cache 中每次分配内存的最小空间大小，也就是每个 Query 的 Cache 最小占用的内存空间大小
    query_cache_size：设置 Query Cache 所使用的内存大小，默认值为0，大小必须是1024的整数倍，如果不是整数倍，MySQL 会自动调整降低最小量以达到1024的倍数
    query_cache_type：控制 Query Cache 功能的开关，可以设置为0(OFF),1(ON)和2(DEMAND)三种，意义分别如下：
    0(OFF)：关闭 Query Cache 功能，任何情况下都不会使用 Query Cache
    1(ON)：开启 Query Cache 功能，但是当 SELECT 语句中使用的 SQL_NO_CACHE 提示后，将不使用Query Cache
    2(DEMAND)：开启 Query Cache 功能，但是只有当 SELECT 语句中使用了 SQL_CACHE 提示后，才使用 Query Cache
    query_cache_wlock_invalidate：控制当有写锁定发生在表上的时刻是否先失效该表相关的 Query Cache，如果设置为 1(TRUE)，则在写锁定的同时将失效该表相关的所有 Query Cache，如果设置为0(FALSE)则在锁定时刻仍然允许读取该表相关的 Query Cache。


相关问答
Query Cache 如何处理子查询的？
这是我遇到的最为常见的一个问题。其实 Query Cache 是以客户端请求提交的 Query 为对象来处理的，只要客户端请求的是一个 Query，无论这个 Query 是一个简单的单表查询还是多表 Join，亦或者是带有子查询的复杂 SQL，都被当作成一个 Query，不会被分拆成多个 Query 来进行 Cache。所以，存在子查询的复杂 Query 也只会产生一个Cache对象，子查询不会产生单独的Cache内容。UNION[ALL] 类型的语句也同样如此。

Query Cache 是以 block 的方式存储的数据块吗？
不是，Query Cache 中缓存的内容仅仅只包含该 Query 所需要的结果数据，是结果集。当然，并不仅仅只是结果数据，还包含与该结果相关的其他信息，比如产生该 Cache 的客户端连接的字符集，数据的字符集，客户端连接的 Default Database等。

Query Cache 为什么效率会非常高，即使所有数据都可以 Cache 进内存的情况下，有些时候也不如使用 Query Cache 的效率高？
Query Cache 的查找，是在 MySQL 接受到客户端请求后在对 Query 进行权限验证之后，SQL 解析之前。也就是说，当 MySQL 接受到客户端的SQL后，仅仅只需要对其进行相应的权限验证后就会通过 Query Cache 来查找结果，甚至都不需要经过 Optimizer 模块进行执行计划的分析优化，更不许要发生任何存储引擎的交互，减少了大量的磁盘 IO 和 CPU 运算，所以效率非常高。

客户端提交的 SQL 语句大小写对 Query Cache 有影响吗？
有，由于 Query Cache 在内存中是以 HASH 结构来进行映射，HASH 算法基础就是组成 SQL 语句的字符，所以必须要整个 SQL 语句在字符级别完全一致，才能在 Query Cache 中命中，即使多一个空格也不行。

一个 SQL 语句在 Query Cache 中的内容，在什么情况下会失效？
为了保证 Query Cache 中的内容与是实际数据绝对一致，当表中的数据有任何变化，包括新增，修改，删除等，都会使所有引用到该表的 SQL 的 Query Cache 失效。

为什么我的系统在开启了 Query Cache 之后整体性能反而下降了？
当开启了 Query Cache 之后，尤其是当我们的 query_cache_type 参数设置为 1 以后，MySQL 会对每个 SELECT 语句都进行 Query Cache 查找，查找操作虽然比较简单，但仍然也是要消耗一些 CPU 运算资源的。而由于 Query Cache 的失效机制的特性，可能由于表上的数据变化比较频繁，大量的 Query Cache 频繁的被失效，所以 Query Cache 的命中率就可能比较低下。所以有些场景下，Query Cache 不仅不能提高效率，反而可能造成负面影响。

如何确认一个系统的 Query Cache 的运行是否健康，命中率如何，设置量是否足够？
MySQL 提供了一系列的 Global Status 来记录 Query Cache 的当前状态，具体如下：

Qcache_free_blocks：目前还处于空闲状态的 Query Cache 中内存 Block 数目
Qcache_free_memory：目前还处于空闲状态的 Query Cache 内存总量
Qcache_hits：Query Cache 命中次数
Qcache_inserts：向 Query Cache 中插入新的 Query Cache 的次数，也就是没有命中的次数
Qcache_lowmem_prunes：当 Query Cache 内存容量不够，需要从中删除老的 Query Cache 以给新的 Cache 对象使用的次数
Qcache_not_cached：没有被 Cache 的 SQL 数，包括无法被 Cache 的 SQL 以及由于 query_cache_type 设置的不会被 Cache 的 SQL
Qcache_queries_in_cache：目前在 Query Cache 中的 SQL 数量
Qcache_total_blocks：Query Cache 中总的 Block 数量
可以根据这几个状态计算出 Cache 命中率，计算出 Query Cache 大小设置是否足够，总的来说，我个人不建议将 Query Cache 的大小设置超过256MB，这也是业界比较常用的做法。

MySQL Cluster 是否可以使用 Query Cache？
其实在我们的生产环境中也没有使用 MySQL Cluster，所以我也没有在 MySQL Cluster 环境中使用 Query Cache 的实际经验，只是 MySQL 文档中说明确实可以在 MySQL Cluster 中使用 Query Cache。从 MySQL Cluster 的原理来分析，也觉得应该可以使用，毕竟 SQL 节点和数据节点比较独立，各司其职，只是 Cache 的失效机制会要稍微复杂一点。
总结
query_cache_size配置在mysql优化中是很重要的一项，需通过大量的实践去确定是否适合开启此项且配置最佳的值。
---------------------
作者：猪哥66
来源：CSDN
原文：https://blog.csdn.net/u014044812/article/details/78924315
版权声明：本文为博主原创文章，转载请附上博文链接！