Branch data     Line data    Source code

       1                 :            : #include <linux/kernel.h>
       2                 :            : #include <linux/threads.h>
       3                 :            : #include <linux/module.h>
       4                 :            : #include <linux/mm.h>
       5                 :            : #include <linux/smp.h>
       6                 :            : #include <linux/cpu.h>
       7                 :            : 
       8                 :            : #include <linux/blk-mq.h>
       9                 :            : #include "blk.h"
      10                 :            : #include "blk-mq.h"
      11                 :            : 
      12                 :          0 : static void show_map(unsigned int *map, unsigned int nr)
      13                 :            : {
      14                 :            :         int i;
      15                 :            : 
      16                 :          0 :         pr_info("blk-mq: CPU -> queue map\n");
      17         [ #  # ]:          0 :         for_each_online_cpu(i)
      18                 :          0 :                 pr_info("  CPU%2u -> Queue %u\n", i, map[i]);
      19                 :          0 : }
      20                 :            : 
      21                 :            : static int cpu_to_queue_index(unsigned int nr_cpus, unsigned int nr_queues,
      22                 :            :                               const int cpu)
      23                 :            : {
      24                 :          0 :         return cpu / ((nr_cpus + nr_queues - 1) / nr_queues);
      25                 :            : }
      26                 :            : 
      27                 :            : static int get_first_sibling(unsigned int cpu)
      28                 :            : {
      29                 :            :         unsigned int ret;
      30                 :            : 
      31                 :          0 :         ret = cpumask_first(topology_thread_cpumask(cpu));
      32 [ #  # ][ #  # ]:          0 :         if (ret < nr_cpu_ids)
      33                 :            :                 return ret;
      34                 :            : 
      35                 :            :         return cpu;
      36                 :            : }
      37                 :            : 
      38                 :          0 : int blk_mq_update_queue_map(unsigned int *map, unsigned int nr_queues)
      39                 :            : {
      40                 :            :         unsigned int i, nr_cpus, nr_uniq_cpus, queue, first_sibling;
      41                 :            :         cpumask_var_t cpus;
      42                 :            : 
      43                 :            :         if (!alloc_cpumask_var(&cpus, GFP_ATOMIC))
      44                 :            :                 return 1;
      45                 :            : 
      46                 :            :         cpumask_clear(cpus);
      47                 :            :         nr_cpus = nr_uniq_cpus = 0;
      48         [ #  # ]:          0 :         for_each_online_cpu(i) {
      49                 :          0 :                 nr_cpus++;
      50                 :            :                 first_sibling = get_first_sibling(i);
      51         [ #  # ]:          0 :                 if (!cpumask_test_cpu(first_sibling, cpus))
      52                 :          0 :                         nr_uniq_cpus++;
      53                 :            :                 cpumask_set_cpu(i, cpus);
      54                 :            :         }
      55                 :            : 
      56                 :            :         queue = 0;
      57         [ #  # ]:          0 :         for_each_possible_cpu(i) {
      58         [ #  # ]:          0 :                 if (!cpu_online(i)) {
      59                 :          0 :                         map[i] = 0;
      60                 :          0 :                         continue;
      61                 :            :                 }
      62                 :            : 
      63                 :            :                 /*
      64                 :            :                  * Easy case - we have equal or more hardware queues. Or
      65                 :            :                  * there are no thread siblings to take into account. Do
      66                 :            :                  * 1:1 if enough, or sequential mapping if less.
      67                 :            :                  */
      68         [ #  # ]:          0 :                 if (nr_queues >= nr_cpus || nr_cpus == nr_uniq_cpus) {
      69                 :          0 :                         map[i] = cpu_to_queue_index(nr_cpus, nr_queues, queue);
      70                 :          0 :                         queue++;
      71                 :          0 :                         continue;
      72                 :            :                 }
      73                 :            : 
      74                 :            :                 /*
      75                 :            :                  * Less then nr_cpus queues, and we have some number of
      76                 :            :                  * threads per cores. Map sibling threads to the same
      77                 :            :                  * queue.
      78                 :            :                  */
      79                 :          0 :                 first_sibling = get_first_sibling(i);
      80         [ #  # ]:          0 :                 if (first_sibling == i) {
      81                 :          0 :                         map[i] = cpu_to_queue_index(nr_uniq_cpus, nr_queues,
      82                 :            :                                                         queue);
      83                 :          0 :                         queue++;
      84                 :            :                 } else
      85                 :          0 :                         map[i] = map[first_sibling];
      86                 :            :         }
      87                 :            : 
      88                 :          0 :         show_map(map, nr_cpus);
      89                 :            :         free_cpumask_var(cpus);
      90                 :            :         return 0;
      91                 :            : }
      92                 :            : 
      93                 :          0 : unsigned int *blk_mq_make_queue_map(struct blk_mq_reg *reg)
      94                 :            : {
      95                 :            :         unsigned int *map;
      96                 :            : 
      97                 :            :         /* If cpus are offline, map them to first hctx */
      98                 :          0 :         map = kzalloc_node(sizeof(*map) * num_possible_cpus(), GFP_KERNEL,
      99                 :            :                                 reg->numa_node);
     100         [ #  # ]:          0 :         if (!map)
     101                 :            :                 return NULL;
     102                 :            : 
     103         [ #  # ]:          0 :         if (!blk_mq_update_queue_map(map, reg->nr_hw_queues))
     104                 :            :                 return map;
     105                 :            : 
     106                 :          0 :         kfree(map);
     107                 :          0 :         return NULL;
     108                 :            : }