Line data    Source code

       1             : // SPDX-License-Identifier: GPL-2.0
       2             : #include <linux/kernel.h>
       3             : #include <linux/module.h>
       4             : #include <linux/backing-dev.h>
       5             : #include <linux/bio.h>
       6             : #include <linux/blkdev.h>
       7             : #include <linux/mm.h>
       8             : #include <linux/init.h>
       9             : #include <linux/slab.h>
      10             : #include <linux/workqueue.h>
      11             : #include <linux/smp.h>
      12             : 
      13             : #include <linux/blk-mq.h>
      14             : #include "blk.h"
      15             : #include "blk-mq.h"
      16             : #include "blk-mq-tag.h"
      17             : 
      18           0 : static void blk_mq_sysfs_release(struct kobject *kobj)
      19             : {
      20           0 :         struct blk_mq_ctxs *ctxs = container_of(kobj, struct blk_mq_ctxs, kobj);
      21             : 
      22           0 :         free_percpu(ctxs->queue_ctx);
      23           0 :         kfree(ctxs);
      24           0 : }
      25             : 
      26           0 : static void blk_mq_ctx_sysfs_release(struct kobject *kobj)
      27             : {
      28           0 :         struct blk_mq_ctx *ctx = container_of(kobj, struct blk_mq_ctx, kobj);
      29             : 
      30             :         /* ctx->ctxs won't be released until all ctx are freed */
      31           0 :         kobject_put(&ctx->ctxs->kobj);
      32           0 : }
      33             : 
      34           0 : static void blk_mq_hw_sysfs_release(struct kobject *kobj)
      35             : {
      36           0 :         struct blk_mq_hw_ctx *hctx = container_of(kobj, struct blk_mq_hw_ctx,
      37             :                                                   kobj);
      38             : 
      39           0 :         if (hctx->flags & BLK_MQ_F_BLOCKING)
      40           0 :                 cleanup_srcu_struct(hctx->srcu);
      41           0 :         blk_free_flush_queue(hctx->fq);
      42           0 :         sbitmap_free(&hctx->ctx_map);
      43           0 :         free_cpumask_var(hctx->cpumask);
      44           0 :         kfree(hctx->ctxs);
      45           0 :         kfree(hctx);
      46           0 : }
      47             : 
      48             : struct blk_mq_ctx_sysfs_entry {
      49             :         struct attribute attr;
      50             :         ssize_t (*show)(struct blk_mq_ctx *, char *);
      51             :         ssize_t (*store)(struct blk_mq_ctx *, const char *, size_t);
      52             : };
      53             : 
      54             : struct blk_mq_hw_ctx_sysfs_entry {
      55             :         struct attribute attr;
      56             :         ssize_t (*show)(struct blk_mq_hw_ctx *, char *);
      57             :         ssize_t (*store)(struct blk_mq_hw_ctx *, const char *, size_t);
      58             : };
      59             : 
      60           0 : static ssize_t blk_mq_sysfs_show(struct kobject *kobj, struct attribute *attr,
      61             :                                  char *page)
      62             : {
      63           0 :         struct blk_mq_ctx_sysfs_entry *entry;
      64           0 :         struct blk_mq_ctx *ctx;
      65           0 :         struct request_queue *q;
      66           0 :         ssize_t res;
      67             : 
      68           0 :         entry = container_of(attr, struct blk_mq_ctx_sysfs_entry, attr);
      69           0 :         ctx = container_of(kobj, struct blk_mq_ctx, kobj);
      70           0 :         q = ctx->queue;
      71             : 
      72           0 :         if (!entry->show)
      73             :                 return -EIO;
      74             : 
      75           0 :         mutex_lock(&q->sysfs_lock);
      76           0 :         res = entry->show(ctx, page);
      77           0 :         mutex_unlock(&q->sysfs_lock);
      78           0 :         return res;
      79             : }
      80             : 
      81           0 : static ssize_t blk_mq_sysfs_store(struct kobject *kobj, struct attribute *attr,
      82             :                                   const char *page, size_t length)
      83             : {
      84           0 :         struct blk_mq_ctx_sysfs_entry *entry;
      85           0 :         struct blk_mq_ctx *ctx;
      86           0 :         struct request_queue *q;
      87           0 :         ssize_t res;
      88             : 
      89           0 :         entry = container_of(attr, struct blk_mq_ctx_sysfs_entry, attr);
      90           0 :         ctx = container_of(kobj, struct blk_mq_ctx, kobj);
      91           0 :         q = ctx->queue;
      92             : 
      93           0 :         if (!entry->store)
      94             :                 return -EIO;
      95             : 
      96           0 :         mutex_lock(&q->sysfs_lock);
      97           0 :         res = entry->store(ctx, page, length);
      98           0 :         mutex_unlock(&q->sysfs_lock);
      99           0 :         return res;
     100             : }
     101             : 
     102           0 : static ssize_t blk_mq_hw_sysfs_show(struct kobject *kobj,
     103             :                                     struct attribute *attr, char *page)
     104             : {
     105           0 :         struct blk_mq_hw_ctx_sysfs_entry *entry;
     106           0 :         struct blk_mq_hw_ctx *hctx;
     107           0 :         struct request_queue *q;
     108           0 :         ssize_t res;
     109             : 
     110           0 :         entry = container_of(attr, struct blk_mq_hw_ctx_sysfs_entry, attr);
     111           0 :         hctx = container_of(kobj, struct blk_mq_hw_ctx, kobj);
     112           0 :         q = hctx->queue;
     113             : 
     114           0 :         if (!entry->show)
     115             :                 return -EIO;
     116             : 
     117           0 :         mutex_lock(&q->sysfs_lock);
     118           0 :         res = entry->show(hctx, page);
     119           0 :         mutex_unlock(&q->sysfs_lock);
     120           0 :         return res;
     121             : }
     122             : 
     123           0 : static ssize_t blk_mq_hw_sysfs_store(struct kobject *kobj,
     124             :                                      struct attribute *attr, const char *page,
     125             :                                      size_t length)
     126             : {
     127           0 :         struct blk_mq_hw_ctx_sysfs_entry *entry;
     128           0 :         struct blk_mq_hw_ctx *hctx;
     129           0 :         struct request_queue *q;
     130           0 :         ssize_t res;
     131             : 
     132           0 :         entry = container_of(attr, struct blk_mq_hw_ctx_sysfs_entry, attr);
     133           0 :         hctx = container_of(kobj, struct blk_mq_hw_ctx, kobj);
     134           0 :         q = hctx->queue;
     135             : 
     136           0 :         if (!entry->store)
     137             :                 return -EIO;
     138             : 
     139           0 :         mutex_lock(&q->sysfs_lock);
     140           0 :         res = entry->store(hctx, page, length);
     141           0 :         mutex_unlock(&q->sysfs_lock);
     142           0 :         return res;
     143             : }
     144             : 
     145           0 : static ssize_t blk_mq_hw_sysfs_nr_tags_show(struct blk_mq_hw_ctx *hctx,
     146             :                                             char *page)
     147             : {
     148           0 :         return sprintf(page, "%u\n", hctx->tags->nr_tags);
     149             : }
     150             : 
     151           0 : static ssize_t blk_mq_hw_sysfs_nr_reserved_tags_show(struct blk_mq_hw_ctx *hctx,
     152             :                                                      char *page)
     153             : {
     154           0 :         return sprintf(page, "%u\n", hctx->tags->nr_reserved_tags);
     155             : }
     156             : 
     157           0 : static ssize_t blk_mq_hw_sysfs_cpus_show(struct blk_mq_hw_ctx *hctx, char *page)
     158             : {
     159           0 :         const size_t size = PAGE_SIZE - 1;
     160           0 :         unsigned int i, first = 1;
     161           0 :         int ret = 0, pos = 0;
     162             : 
     163           0 :         for_each_cpu(i, hctx->cpumask) {
     164           0 :                 if (first)
     165           0 :                         ret = snprintf(pos + page, size - pos, "%u", i);
     166             :                 else
     167           0 :                         ret = snprintf(pos + page, size - pos, ", %u", i);
     168             : 
     169           0 :                 if (ret >= size - pos)
     170             :                         break;
     171             : 
     172           0 :                 first = 0;
     173           0 :                 pos += ret;
     174             :         }
     175             : 
     176           0 :         ret = snprintf(pos + page, size + 1 - pos, "\n");
     177           0 :         return pos + ret;
     178             : }
     179             : 
     180             : static struct blk_mq_hw_ctx_sysfs_entry blk_mq_hw_sysfs_nr_tags = {
     181             :         .attr = {.name = "nr_tags", .mode = 0444 },
     182             :         .show = blk_mq_hw_sysfs_nr_tags_show,
     183             : };
     184             : static struct blk_mq_hw_ctx_sysfs_entry blk_mq_hw_sysfs_nr_reserved_tags = {
     185             :         .attr = {.name = "nr_reserved_tags", .mode = 0444 },
     186             :         .show = blk_mq_hw_sysfs_nr_reserved_tags_show,
     187             : };
     188             : static struct blk_mq_hw_ctx_sysfs_entry blk_mq_hw_sysfs_cpus = {
     189             :         .attr = {.name = "cpu_list", .mode = 0444 },
     190             :         .show = blk_mq_hw_sysfs_cpus_show,
     191             : };
     192             : 
     193             : static struct attribute *default_hw_ctx_attrs[] = {
     194             :         &blk_mq_hw_sysfs_nr_tags.attr,
     195             :         &blk_mq_hw_sysfs_nr_reserved_tags.attr,
     196             :         &blk_mq_hw_sysfs_cpus.attr,
     197             :         NULL,
     198             : };
     199             : ATTRIBUTE_GROUPS(default_hw_ctx);
     200             : 
     201             : static const struct sysfs_ops blk_mq_sysfs_ops = {
     202             :         .show   = blk_mq_sysfs_show,
     203             :         .store  = blk_mq_sysfs_store,
     204             : };
     205             : 
     206             : static const struct sysfs_ops blk_mq_hw_sysfs_ops = {
     207             :         .show   = blk_mq_hw_sysfs_show,
     208             :         .store  = blk_mq_hw_sysfs_store,
     209             : };
     210             : 
     211             : static struct kobj_type blk_mq_ktype = {
     212             :         .sysfs_ops      = &blk_mq_sysfs_ops,
     213             :         .release        = blk_mq_sysfs_release,
     214             : };
     215             : 
     216             : static struct kobj_type blk_mq_ctx_ktype = {
     217             :         .sysfs_ops      = &blk_mq_sysfs_ops,
     218             :         .release        = blk_mq_ctx_sysfs_release,
     219             : };
     220             : 
     221             : static struct kobj_type blk_mq_hw_ktype = {
     222             :         .sysfs_ops      = &blk_mq_hw_sysfs_ops,
     223             :         .default_groups = default_hw_ctx_groups,
     224             :         .release        = blk_mq_hw_sysfs_release,
     225             : };
     226             : 
     227           0 : static void blk_mq_unregister_hctx(struct blk_mq_hw_ctx *hctx)
     228             : {
     229           0 :         struct blk_mq_ctx *ctx;
     230           0 :         int i;
     231             : 
     232           0 :         if (!hctx->nr_ctx)
     233             :                 return;
     234             : 
     235           0 :         hctx_for_each_ctx(hctx, ctx, i)
     236           0 :                 kobject_del(&ctx->kobj);
     237             : 
     238           0 :         kobject_del(&hctx->kobj);
     239             : }
     240             : 
     241           9 : static int blk_mq_register_hctx(struct blk_mq_hw_ctx *hctx)
     242             : {
     243           9 :         struct request_queue *q = hctx->queue;
     244           9 :         struct blk_mq_ctx *ctx;
     245           9 :         int i, ret;
     246             : 
     247           9 :         if (!hctx->nr_ctx)
     248             :                 return 0;
     249             : 
     250           9 :         ret = kobject_add(&hctx->kobj, q->mq_kobj, "%u", hctx->queue_num);
     251           9 :         if (ret)
     252             :                 return ret;
     253             : 
     254          45 :         hctx_for_each_ctx(hctx, ctx, i) {
     255          36 :                 ret = kobject_add(&ctx->kobj, &hctx->kobj, "cpu%u", ctx->cpu);
     256          36 :                 if (ret)
     257             :                         break;
     258             :         }
     259             : 
     260             :         return ret;
     261             : }
     262             : 
     263           0 : void blk_mq_unregister_dev(struct device *dev, struct request_queue *q)
     264             : {
     265           0 :         struct blk_mq_hw_ctx *hctx;
     266           0 :         int i;
     267             : 
     268           0 :         lockdep_assert_held(&q->sysfs_dir_lock);
     269             : 
     270           0 :         queue_for_each_hw_ctx(q, hctx, i)
     271           0 :                 blk_mq_unregister_hctx(hctx);
     272             : 
     273           0 :         kobject_uevent(q->mq_kobj, KOBJ_REMOVE);
     274           0 :         kobject_del(q->mq_kobj);
     275           0 :         kobject_put(&dev->kobj);
     276             : 
     277           0 :         q->mq_sysfs_init_done = false;
     278           0 : }
     279             : 
     280           9 : void blk_mq_hctx_kobj_init(struct blk_mq_hw_ctx *hctx)
     281             : {
     282           9 :         kobject_init(&hctx->kobj, &blk_mq_hw_ktype);
     283           9 : }
     284             : 
     285           0 : void blk_mq_sysfs_deinit(struct request_queue *q)
     286             : {
     287           0 :         struct blk_mq_ctx *ctx;
     288           0 :         int cpu;
     289             : 
     290           0 :         for_each_possible_cpu(cpu) {
     291           0 :                 ctx = per_cpu_ptr(q->queue_ctx, cpu);
     292           0 :                 kobject_put(&ctx->kobj);
     293             :         }
     294           0 :         kobject_put(q->mq_kobj);
     295           0 : }
     296             : 
     297           9 : void blk_mq_sysfs_init(struct request_queue *q)
     298             : {
     299           9 :         struct blk_mq_ctx *ctx;
     300           9 :         int cpu;
     301             : 
     302           9 :         kobject_init(q->mq_kobj, &blk_mq_ktype);
     303             : 
     304          54 :         for_each_possible_cpu(cpu) {
     305          36 :                 ctx = per_cpu_ptr(q->queue_ctx, cpu);
     306             : 
     307          36 :                 kobject_get(q->mq_kobj);
     308          36 :                 kobject_init(&ctx->kobj, &blk_mq_ctx_ktype);
     309             :         }
     310           9 : }
     311             : 
     312           9 : int __blk_mq_register_dev(struct device *dev, struct request_queue *q)
     313             : {
     314           9 :         struct blk_mq_hw_ctx *hctx;
     315           9 :         int ret, i;
     316             : 
     317           9 :         WARN_ON_ONCE(!q->kobj.parent);
     318          18 :         lockdep_assert_held(&q->sysfs_dir_lock);
     319             : 
     320           9 :         ret = kobject_add(q->mq_kobj, kobject_get(&dev->kobj), "%s", "mq");
     321           9 :         if (ret < 0)
     322           0 :                 goto out;
     323             : 
     324           9 :         kobject_uevent(q->mq_kobj, KOBJ_ADD);
     325             : 
     326          27 :         queue_for_each_hw_ctx(q, hctx, i) {
     327           9 :                 ret = blk_mq_register_hctx(hctx);
     328           9 :                 if (ret)
     329           0 :                         goto unreg;
     330             :         }
     331             : 
     332           9 :         q->mq_sysfs_init_done = true;
     333             : 
     334             : out:
     335             :         return ret;
     336             : 
     337           0 : unreg:
     338           0 :         while (--i >= 0)
     339           0 :                 blk_mq_unregister_hctx(q->queue_hw_ctx[i]);
     340             : 
     341           0 :         kobject_uevent(q->mq_kobj, KOBJ_REMOVE);
     342           0 :         kobject_del(q->mq_kobj);
     343           0 :         kobject_put(&dev->kobj);
     344           0 :         return ret;
     345             : }
     346             : 
     347           0 : void blk_mq_sysfs_unregister(struct request_queue *q)
     348             : {
     349           0 :         struct blk_mq_hw_ctx *hctx;
     350           0 :         int i;
     351             : 
     352           0 :         mutex_lock(&q->sysfs_dir_lock);
     353           0 :         if (!q->mq_sysfs_init_done)
     354           0 :                 goto unlock;
     355             : 
     356           0 :         queue_for_each_hw_ctx(q, hctx, i)
     357           0 :                 blk_mq_unregister_hctx(hctx);
     358             : 
     359           0 : unlock:
     360           0 :         mutex_unlock(&q->sysfs_dir_lock);
     361           0 : }
     362             : 
     363           0 : int blk_mq_sysfs_register(struct request_queue *q)
     364             : {
     365           0 :         struct blk_mq_hw_ctx *hctx;
     366           0 :         int i, ret = 0;
     367             : 
     368           0 :         mutex_lock(&q->sysfs_dir_lock);
     369           0 :         if (!q->mq_sysfs_init_done)
     370           0 :                 goto unlock;
     371             : 
     372           0 :         queue_for_each_hw_ctx(q, hctx, i) {
     373           0 :                 ret = blk_mq_register_hctx(hctx);
     374           0 :                 if (ret)
     375             :                         break;
     376             :         }
     377             : 
     378           0 : unlock:
     379           0 :         mutex_unlock(&q->sysfs_dir_lock);
     380             : 
     381           0 :         return ret;
     382             : }