LCOV - code coverage report
Current view: top level - fs/nfs - nfs4state.c (source / functions) Hit Total Coverage
Test: coverage.info Lines: 0 823 0.0 %
Date: 2014-02-18 Functions: 0 83 0.0 %
Branches: 0 482 0.0 %

           Branch data     Line data    Source code
       1                 :            : /*
       2                 :            :  *  fs/nfs/nfs4state.c
       3                 :            :  *
       4                 :            :  *  Client-side XDR for NFSv4.
       5                 :            :  *
       6                 :            :  *  Copyright (c) 2002 The Regents of the University of Michigan.
       7                 :            :  *  All rights reserved.
       8                 :            :  *
       9                 :            :  *  Kendrick Smith <kmsmith@umich.edu>
      10                 :            :  *
      11                 :            :  *  Redistribution and use in source and binary forms, with or without
      12                 :            :  *  modification, are permitted provided that the following conditions
      13                 :            :  *  are met:
      14                 :            :  *
      15                 :            :  *  1. Redistributions of source code must retain the above copyright
      16                 :            :  *     notice, this list of conditions and the following disclaimer.
      17                 :            :  *  2. Redistributions in binary form must reproduce the above copyright
      18                 :            :  *     notice, this list of conditions and the following disclaimer in the
      19                 :            :  *     documentation and/or other materials provided with the distribution.
      20                 :            :  *  3. Neither the name of the University nor the names of its
      21                 :            :  *     contributors may be used to endorse or promote products derived
      22                 :            :  *     from this software without specific prior written permission.
      23                 :            :  *
      24                 :            :  *  THIS SOFTWARE IS PROVIDED ``AS IS'' AND ANY EXPRESS OR IMPLIED
      25                 :            :  *  WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF
      26                 :            :  *  MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
      27                 :            :  *  DISCLAIMED. IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
      28                 :            :  *  FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
      29                 :            :  *  CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
      30                 :            :  *  SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR
      31                 :            :  *  BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
      32                 :            :  *  LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
      33                 :            :  *  NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
      34                 :            :  *  SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
      35                 :            :  *
      36                 :            :  * Implementation of the NFSv4 state model.  For the time being,
      37                 :            :  * this is minimal, but will be made much more complex in a
      38                 :            :  * subsequent patch.
      39                 :            :  */
      40                 :            : 
      41                 :            : #include <linux/kernel.h>
      42                 :            : #include <linux/slab.h>
      43                 :            : #include <linux/fs.h>
      44                 :            : #include <linux/nfs_fs.h>
      45                 :            : #include <linux/nfs_idmap.h>
      46                 :            : #include <linux/kthread.h>
      47                 :            : #include <linux/module.h>
      48                 :            : #include <linux/random.h>
      49                 :            : #include <linux/ratelimit.h>
      50                 :            : #include <linux/workqueue.h>
      51                 :            : #include <linux/bitops.h>
      52                 :            : #include <linux/jiffies.h>
      53                 :            : 
      54                 :            : #include <linux/sunrpc/clnt.h>
      55                 :            : 
      56                 :            : #include "nfs4_fs.h"
      57                 :            : #include "callback.h"
      58                 :            : #include "delegation.h"
      59                 :            : #include "internal.h"
      60                 :            : #include "nfs4session.h"
      61                 :            : #include "pnfs.h"
      62                 :            : #include "netns.h"
      63                 :            : 
      64                 :            : #define NFSDBG_FACILITY         NFSDBG_STATE
      65                 :            : 
      66                 :            : #define OPENOWNER_POOL_SIZE     8
      67                 :            : 
      68                 :            : const nfs4_stateid zero_stateid;
      69                 :            : static DEFINE_MUTEX(nfs_clid_init_mutex);
      70                 :            : 
      71                 :          0 : int nfs4_init_clientid(struct nfs_client *clp, struct rpc_cred *cred)
      72                 :            : {
      73                 :          0 :         struct nfs4_setclientid_res clid = {
      74                 :          0 :                 .clientid = clp->cl_clientid,
      75                 :            :                 .confirm = clp->cl_confirm,
      76                 :            :         };
      77                 :            :         unsigned short port;
      78                 :            :         int status;
      79                 :          0 :         struct nfs_net *nn = net_generic(clp->cl_net, nfs_net_id);
      80                 :            : 
      81         [ #  # ]:          0 :         if (test_bit(NFS4CLNT_LEASE_CONFIRM, &clp->cl_state))
      82                 :            :                 goto do_confirm;
      83                 :          0 :         port = nn->nfs_callback_tcpport;
      84         [ #  # ]:          0 :         if (clp->cl_addr.ss_family == AF_INET6)
      85                 :          0 :                 port = nn->nfs_callback_tcpport6;
      86                 :            : 
      87                 :          0 :         status = nfs4_proc_setclientid(clp, NFS4_CALLBACK, port, cred, &clid);
      88         [ #  # ]:          0 :         if (status != 0)
      89                 :            :                 goto out;
      90                 :          0 :         clp->cl_clientid = clid.clientid;
      91                 :          0 :         clp->cl_confirm = clid.confirm;
      92                 :          0 :         set_bit(NFS4CLNT_LEASE_CONFIRM, &clp->cl_state);
      93                 :            : do_confirm:
      94                 :          0 :         status = nfs4_proc_setclientid_confirm(clp, &clid, cred);
      95         [ #  # ]:          0 :         if (status != 0)
      96                 :            :                 goto out;
      97                 :          0 :         clear_bit(NFS4CLNT_LEASE_CONFIRM, &clp->cl_state);
      98                 :          0 :         nfs4_schedule_state_renewal(clp);
      99                 :            : out:
     100                 :          0 :         return status;
     101                 :            : }
     102                 :            : 
     103                 :            : /**
     104                 :            :  * nfs40_discover_server_trunking - Detect server IP address trunking (mv0)
     105                 :            :  *
     106                 :            :  * @clp: nfs_client under test
     107                 :            :  * @result: OUT: found nfs_client, or clp
     108                 :            :  * @cred: credential to use for trunking test
     109                 :            :  *
     110                 :            :  * Returns zero, a negative errno, or a negative NFS4ERR status.
     111                 :            :  * If zero is returned, an nfs_client pointer is planted in
     112                 :            :  * "result".
     113                 :            :  *
     114                 :            :  * Note: The returned client may not yet be marked ready.
     115                 :            :  */
     116                 :          0 : int nfs40_discover_server_trunking(struct nfs_client *clp,
     117                 :            :                                    struct nfs_client **result,
     118                 :            :                                    struct rpc_cred *cred)
     119                 :            : {
     120                 :          0 :         struct nfs4_setclientid_res clid = {
     121                 :          0 :                 .clientid = clp->cl_clientid,
     122                 :            :                 .confirm = clp->cl_confirm,
     123                 :            :         };
     124                 :          0 :         struct nfs_net *nn = net_generic(clp->cl_net, nfs_net_id);
     125                 :            :         unsigned short port;
     126                 :            :         int status;
     127                 :            : 
     128                 :          0 :         port = nn->nfs_callback_tcpport;
     129         [ #  # ]:          0 :         if (clp->cl_addr.ss_family == AF_INET6)
     130                 :          0 :                 port = nn->nfs_callback_tcpport6;
     131                 :            : 
     132                 :          0 :         status = nfs4_proc_setclientid(clp, NFS4_CALLBACK, port, cred, &clid);
     133         [ #  # ]:          0 :         if (status != 0)
     134                 :            :                 goto out;
     135                 :          0 :         clp->cl_clientid = clid.clientid;
     136                 :          0 :         clp->cl_confirm = clid.confirm;
     137                 :            : 
     138                 :          0 :         status = nfs40_walk_client_list(clp, result, cred);
     139         [ #  # ]:          0 :         if (status == 0) {
     140                 :            :                 /* Sustain the lease, even if it's empty.  If the clientid4
     141                 :            :                  * goes stale it's of no use for trunking discovery. */
     142                 :          0 :                 nfs4_schedule_state_renewal(*result);
     143                 :            :         }
     144                 :            : out:
     145                 :          0 :         return status;
     146                 :            : }
     147                 :            : 
     148                 :          0 : struct rpc_cred *nfs4_get_machine_cred_locked(struct nfs_client *clp)
     149                 :            : {
     150                 :            :         struct rpc_cred *cred = NULL;
     151                 :            : 
     152         [ #  # ]:          0 :         if (clp->cl_machine_cred != NULL)
     153                 :            :                 cred = get_rpccred(clp->cl_machine_cred);
     154                 :          0 :         return cred;
     155                 :            : }
     156                 :            : 
     157                 :          0 : static void nfs4_root_machine_cred(struct nfs_client *clp)
     158                 :            : {
     159                 :            :         struct rpc_cred *cred, *new;
     160                 :            : 
     161                 :          0 :         new = rpc_lookup_machine_cred(NULL);
     162                 :            :         spin_lock(&clp->cl_lock);
     163                 :          0 :         cred = clp->cl_machine_cred;
     164                 :          0 :         clp->cl_machine_cred = new;
     165                 :            :         spin_unlock(&clp->cl_lock);
     166         [ #  # ]:          0 :         if (cred != NULL)
     167                 :          0 :                 put_rpccred(cred);
     168                 :          0 : }
     169                 :            : 
     170                 :            : static struct rpc_cred *
     171                 :          0 : nfs4_get_renew_cred_server_locked(struct nfs_server *server)
     172                 :            : {
     173                 :            :         struct rpc_cred *cred = NULL;
     174                 :            :         struct nfs4_state_owner *sp;
     175                 :            :         struct rb_node *pos;
     176                 :            : 
     177         [ #  # ]:          0 :         for (pos = rb_first(&server->state_owners);
     178                 :            :              pos != NULL;
     179                 :          0 :              pos = rb_next(pos)) {
     180                 :            :                 sp = rb_entry(pos, struct nfs4_state_owner, so_server_node);
     181         [ #  # ]:          0 :                 if (list_empty(&sp->so_states))
     182                 :          0 :                         continue;
     183                 :          0 :                 cred = get_rpccred(sp->so_cred);
     184                 :          0 :                 break;
     185                 :            :         }
     186                 :          0 :         return cred;
     187                 :            : }
     188                 :            : 
     189                 :            : /**
     190                 :            :  * nfs4_get_renew_cred_locked - Acquire credential for a renew operation
     191                 :            :  * @clp: client state handle
     192                 :            :  *
     193                 :            :  * Returns an rpc_cred with reference count bumped, or NULL.
     194                 :            :  * Caller must hold clp->cl_lock.
     195                 :            :  */
     196                 :          0 : struct rpc_cred *nfs4_get_renew_cred_locked(struct nfs_client *clp)
     197                 :            : {
     198                 :            :         struct rpc_cred *cred = NULL;
     199                 :            :         struct nfs_server *server;
     200                 :            : 
     201                 :            :         /* Use machine credentials if available */
     202                 :          0 :         cred = nfs4_get_machine_cred_locked(clp);
     203         [ #  # ]:          0 :         if (cred != NULL)
     204                 :            :                 goto out;
     205                 :            : 
     206                 :            :         rcu_read_lock();
     207         [ #  # ]:          0 :         list_for_each_entry_rcu(server, &clp->cl_superblocks, client_link) {
     208                 :          0 :                 cred = nfs4_get_renew_cred_server_locked(server);
     209         [ #  # ]:          0 :                 if (cred != NULL)
     210                 :            :                         break;
     211                 :            :         }
     212                 :            :         rcu_read_unlock();
     213                 :            : 
     214                 :            : out:
     215                 :          0 :         return cred;
     216                 :            : }
     217                 :            : 
     218                 :          0 : static void nfs4_end_drain_slot_table(struct nfs4_slot_table *tbl)
     219                 :            : {
     220         [ #  # ]:          0 :         if (test_and_clear_bit(NFS4_SLOT_TBL_DRAINING, &tbl->slot_tbl_state)) {
     221                 :            :                 spin_lock(&tbl->slot_tbl_lock);
     222                 :          0 :                 nfs41_wake_slot_table(tbl);
     223                 :            :                 spin_unlock(&tbl->slot_tbl_lock);
     224                 :            :         }
     225                 :          0 : }
     226                 :            : 
     227                 :          0 : static void nfs4_end_drain_session(struct nfs_client *clp)
     228                 :            : {
     229                 :          0 :         struct nfs4_session *ses = clp->cl_session;
     230                 :            : 
     231         [ #  # ]:          0 :         if (clp->cl_slot_tbl) {
     232                 :          0 :                 nfs4_end_drain_slot_table(clp->cl_slot_tbl);
     233                 :          0 :                 return;
     234                 :            :         }
     235                 :            : 
     236         [ #  # ]:          0 :         if (ses != NULL) {
     237                 :          0 :                 nfs4_end_drain_slot_table(&ses->bc_slot_table);
     238                 :          0 :                 nfs4_end_drain_slot_table(&ses->fc_slot_table);
     239                 :            :         }
     240                 :            : }
     241                 :            : 
     242                 :          0 : static int nfs4_drain_slot_tbl(struct nfs4_slot_table *tbl)
     243                 :            : {
     244                 :          0 :         set_bit(NFS4_SLOT_TBL_DRAINING, &tbl->slot_tbl_state);
     245                 :            :         spin_lock(&tbl->slot_tbl_lock);
     246         [ #  # ]:          0 :         if (tbl->highest_used_slotid != NFS4_NO_SLOT) {
     247                 :            :                 reinit_completion(&tbl->complete);
     248                 :            :                 spin_unlock(&tbl->slot_tbl_lock);
     249                 :          0 :                 return wait_for_completion_interruptible(&tbl->complete);
     250                 :            :         }
     251                 :            :         spin_unlock(&tbl->slot_tbl_lock);
     252                 :          0 :         return 0;
     253                 :            : }
     254                 :            : 
     255                 :          0 : static int nfs4_begin_drain_session(struct nfs_client *clp)
     256                 :            : {
     257                 :          0 :         struct nfs4_session *ses = clp->cl_session;
     258                 :            :         int ret = 0;
     259                 :            : 
     260         [ #  # ]:          0 :         if (clp->cl_slot_tbl)
     261                 :          0 :                 return nfs4_drain_slot_tbl(clp->cl_slot_tbl);
     262                 :            : 
     263                 :            :         /* back channel */
     264                 :          0 :         ret = nfs4_drain_slot_tbl(&ses->bc_slot_table);
     265         [ #  # ]:          0 :         if (ret)
     266                 :            :                 return ret;
     267                 :            :         /* fore channel */
     268                 :          0 :         return nfs4_drain_slot_tbl(&ses->fc_slot_table);
     269                 :            : }
     270                 :            : 
     271                 :            : #if defined(CONFIG_NFS_V4_1)
     272                 :            : 
     273                 :            : static int nfs41_setup_state_renewal(struct nfs_client *clp)
     274                 :            : {
     275                 :            :         int status;
     276                 :            :         struct nfs_fsinfo fsinfo;
     277                 :            : 
     278                 :            :         if (!test_bit(NFS_CS_CHECK_LEASE_TIME, &clp->cl_res_state)) {
     279                 :            :                 nfs4_schedule_state_renewal(clp);
     280                 :            :                 return 0;
     281                 :            :         }
     282                 :            : 
     283                 :            :         status = nfs4_proc_get_lease_time(clp, &fsinfo);
     284                 :            :         if (status == 0) {
     285                 :            :                 /* Update lease time and schedule renewal */
     286                 :            :                 spin_lock(&clp->cl_lock);
     287                 :            :                 clp->cl_lease_time = fsinfo.lease_time * HZ;
     288                 :            :                 clp->cl_last_renewal = jiffies;
     289                 :            :                 spin_unlock(&clp->cl_lock);
     290                 :            : 
     291                 :            :                 nfs4_schedule_state_renewal(clp);
     292                 :            :         }
     293                 :            : 
     294                 :            :         return status;
     295                 :            : }
     296                 :            : 
     297                 :            : static void nfs41_finish_session_reset(struct nfs_client *clp)
     298                 :            : {
     299                 :            :         clear_bit(NFS4CLNT_LEASE_CONFIRM, &clp->cl_state);
     300                 :            :         clear_bit(NFS4CLNT_SESSION_RESET, &clp->cl_state);
     301                 :            :         /* create_session negotiated new slot table */
     302                 :            :         clear_bit(NFS4CLNT_BIND_CONN_TO_SESSION, &clp->cl_state);
     303                 :            :         nfs41_setup_state_renewal(clp);
     304                 :            : }
     305                 :            : 
     306                 :            : int nfs41_init_clientid(struct nfs_client *clp, struct rpc_cred *cred)
     307                 :            : {
     308                 :            :         int status;
     309                 :            : 
     310                 :            :         if (test_bit(NFS4CLNT_LEASE_CONFIRM, &clp->cl_state))
     311                 :            :                 goto do_confirm;
     312                 :            :         nfs4_begin_drain_session(clp);
     313                 :            :         status = nfs4_proc_exchange_id(clp, cred);
     314                 :            :         if (status != 0)
     315                 :            :                 goto out;
     316                 :            :         set_bit(NFS4CLNT_LEASE_CONFIRM, &clp->cl_state);
     317                 :            : do_confirm:
     318                 :            :         status = nfs4_proc_create_session(clp, cred);
     319                 :            :         if (status != 0)
     320                 :            :                 goto out;
     321                 :            :         nfs41_finish_session_reset(clp);
     322                 :            :         nfs_mark_client_ready(clp, NFS_CS_READY);
     323                 :            : out:
     324                 :            :         return status;
     325                 :            : }
     326                 :            : 
     327                 :            : /**
     328                 :            :  * nfs41_discover_server_trunking - Detect server IP address trunking (mv1)
     329                 :            :  *
     330                 :            :  * @clp: nfs_client under test
     331                 :            :  * @result: OUT: found nfs_client, or clp
     332                 :            :  * @cred: credential to use for trunking test
     333                 :            :  *
     334                 :            :  * Returns NFS4_OK, a negative errno, or a negative NFS4ERR status.
     335                 :            :  * If NFS4_OK is returned, an nfs_client pointer is planted in
     336                 :            :  * "result".
     337                 :            :  *
     338                 :            :  * Note: The returned client may not yet be marked ready.
     339                 :            :  */
     340                 :            : int nfs41_discover_server_trunking(struct nfs_client *clp,
     341                 :            :                                    struct nfs_client **result,
     342                 :            :                                    struct rpc_cred *cred)
     343                 :            : {
     344                 :            :         int status;
     345                 :            : 
     346                 :            :         status = nfs4_proc_exchange_id(clp, cred);
     347                 :            :         if (status != NFS4_OK)
     348                 :            :                 return status;
     349                 :            :         set_bit(NFS4CLNT_LEASE_CONFIRM, &clp->cl_state);
     350                 :            : 
     351                 :            :         return nfs41_walk_client_list(clp, result, cred);
     352                 :            : }
     353                 :            : 
     354                 :            : #endif /* CONFIG_NFS_V4_1 */
     355                 :            : 
     356                 :            : /**
     357                 :            :  * nfs4_get_clid_cred - Acquire credential for a setclientid operation
     358                 :            :  * @clp: client state handle
     359                 :            :  *
     360                 :            :  * Returns an rpc_cred with reference count bumped, or NULL.
     361                 :            :  */
     362                 :          0 : struct rpc_cred *nfs4_get_clid_cred(struct nfs_client *clp)
     363                 :            : {
     364                 :            :         struct rpc_cred *cred;
     365                 :            : 
     366                 :            :         spin_lock(&clp->cl_lock);
     367                 :          0 :         cred = nfs4_get_machine_cred_locked(clp);
     368                 :            :         spin_unlock(&clp->cl_lock);
     369                 :          0 :         return cred;
     370                 :            : }
     371                 :            : 
     372                 :            : static struct nfs4_state_owner *
     373                 :          0 : nfs4_find_state_owner_locked(struct nfs_server *server, struct rpc_cred *cred)
     374                 :            : {
     375                 :          0 :         struct rb_node **p = &server->state_owners.rb_node,
     376                 :            :                        *parent = NULL;
     377                 :            :         struct nfs4_state_owner *sp;
     378                 :            : 
     379         [ #  # ]:          0 :         while (*p != NULL) {
     380                 :            :                 parent = *p;
     381                 :          0 :                 sp = rb_entry(parent, struct nfs4_state_owner, so_server_node);
     382                 :            : 
     383         [ #  # ]:          0 :                 if (cred < sp->so_cred)
     384                 :          0 :                         p = &parent->rb_left;
     385         [ #  # ]:          0 :                 else if (cred > sp->so_cred)
     386                 :          0 :                         p = &parent->rb_right;
     387                 :            :                 else {
     388         [ #  # ]:          0 :                         if (!list_empty(&sp->so_lru))
     389                 :            :                                 list_del_init(&sp->so_lru);
     390                 :          0 :                         atomic_inc(&sp->so_count);
     391                 :          0 :                         return sp;
     392                 :            :                 }
     393                 :            :         }
     394                 :            :         return NULL;
     395                 :            : }
     396                 :            : 
     397                 :            : static struct nfs4_state_owner *
     398                 :          0 : nfs4_insert_state_owner_locked(struct nfs4_state_owner *new)
     399                 :            : {
     400                 :          0 :         struct nfs_server *server = new->so_server;
     401                 :          0 :         struct rb_node **p = &server->state_owners.rb_node,
     402                 :            :                        *parent = NULL;
     403                 :            :         struct nfs4_state_owner *sp;
     404                 :            :         int err;
     405                 :            : 
     406         [ #  # ]:          0 :         while (*p != NULL) {
     407                 :            :                 parent = *p;
     408                 :          0 :                 sp = rb_entry(parent, struct nfs4_state_owner, so_server_node);
     409                 :            : 
     410         [ #  # ]:          0 :                 if (new->so_cred < sp->so_cred)
     411                 :          0 :                         p = &parent->rb_left;
     412         [ #  # ]:          0 :                 else if (new->so_cred > sp->so_cred)
     413                 :          0 :                         p = &parent->rb_right;
     414                 :            :                 else {
     415         [ #  # ]:          0 :                         if (!list_empty(&sp->so_lru))
     416                 :            :                                 list_del_init(&sp->so_lru);
     417                 :          0 :                         atomic_inc(&sp->so_count);
     418                 :          0 :                         return sp;
     419                 :            :                 }
     420                 :            :         }
     421                 :          0 :         err = ida_get_new(&server->openowner_id, &new->so_seqid.owner_id);
     422         [ #  # ]:          0 :         if (err)
     423                 :          0 :                 return ERR_PTR(err);
     424                 :          0 :         rb_link_node(&new->so_server_node, parent, p);
     425                 :          0 :         rb_insert_color(&new->so_server_node, &server->state_owners);
     426                 :          0 :         return new;
     427                 :            : }
     428                 :            : 
     429                 :            : static void
     430                 :          0 : nfs4_remove_state_owner_locked(struct nfs4_state_owner *sp)
     431                 :            : {
     432                 :          0 :         struct nfs_server *server = sp->so_server;
     433                 :            : 
     434         [ #  # ]:          0 :         if (!RB_EMPTY_NODE(&sp->so_server_node))
     435                 :          0 :                 rb_erase(&sp->so_server_node, &server->state_owners);
     436                 :          0 :         ida_remove(&server->openowner_id, sp->so_seqid.owner_id);
     437                 :          0 : }
     438                 :            : 
     439                 :            : static void
     440                 :          0 : nfs4_init_seqid_counter(struct nfs_seqid_counter *sc)
     441                 :            : {
     442                 :          0 :         sc->create_time = ktime_get();
     443                 :          0 :         sc->flags = 0;
     444                 :          0 :         sc->counter = 0;
     445                 :          0 :         spin_lock_init(&sc->lock);
     446                 :          0 :         INIT_LIST_HEAD(&sc->list);
     447                 :          0 :         rpc_init_wait_queue(&sc->wait, "Seqid_waitqueue");
     448                 :          0 : }
     449                 :            : 
     450                 :            : static void
     451                 :            : nfs4_destroy_seqid_counter(struct nfs_seqid_counter *sc)
     452                 :            : {
     453                 :          0 :         rpc_destroy_wait_queue(&sc->wait);
     454                 :            : }
     455                 :            : 
     456                 :            : /*
     457                 :            :  * nfs4_alloc_state_owner(): this is called on the OPEN or CREATE path to
     458                 :            :  * create a new state_owner.
     459                 :            :  *
     460                 :            :  */
     461                 :            : static struct nfs4_state_owner *
     462                 :          0 : nfs4_alloc_state_owner(struct nfs_server *server,
     463                 :            :                 struct rpc_cred *cred,
     464                 :            :                 gfp_t gfp_flags)
     465                 :            : {
     466                 :            :         struct nfs4_state_owner *sp;
     467                 :            : 
     468                 :            :         sp = kzalloc(sizeof(*sp), gfp_flags);
     469         [ #  # ]:          0 :         if (!sp)
     470                 :            :                 return NULL;
     471                 :          0 :         sp->so_server = server;
     472                 :          0 :         sp->so_cred = get_rpccred(cred);
     473                 :          0 :         spin_lock_init(&sp->so_lock);
     474                 :          0 :         INIT_LIST_HEAD(&sp->so_states);
     475                 :          0 :         nfs4_init_seqid_counter(&sp->so_seqid);
     476                 :          0 :         atomic_set(&sp->so_count, 1);
     477                 :          0 :         INIT_LIST_HEAD(&sp->so_lru);
     478                 :            :         seqcount_init(&sp->so_reclaim_seqcount);
     479                 :          0 :         mutex_init(&sp->so_delegreturn_mutex);
     480                 :          0 :         return sp;
     481                 :            : }
     482                 :            : 
     483                 :            : static void
     484                 :          0 : nfs4_drop_state_owner(struct nfs4_state_owner *sp)
     485                 :            : {
     486                 :          0 :         struct rb_node *rb_node = &sp->so_server_node;
     487                 :            : 
     488         [ #  # ]:          0 :         if (!RB_EMPTY_NODE(rb_node)) {
     489                 :          0 :                 struct nfs_server *server = sp->so_server;
     490                 :          0 :                 struct nfs_client *clp = server->nfs_client;
     491                 :            : 
     492                 :            :                 spin_lock(&clp->cl_lock);
     493         [ #  # ]:          0 :                 if (!RB_EMPTY_NODE(rb_node)) {
     494                 :          0 :                         rb_erase(rb_node, &server->state_owners);
     495                 :          0 :                         RB_CLEAR_NODE(rb_node);
     496                 :            :                 }
     497                 :            :                 spin_unlock(&clp->cl_lock);
     498                 :            :         }
     499                 :          0 : }
     500                 :            : 
     501                 :          0 : static void nfs4_free_state_owner(struct nfs4_state_owner *sp)
     502                 :            : {
     503                 :            :         nfs4_destroy_seqid_counter(&sp->so_seqid);
     504                 :          0 :         put_rpccred(sp->so_cred);
     505                 :          0 :         kfree(sp);
     506                 :          0 : }
     507                 :            : 
     508                 :          0 : static void nfs4_gc_state_owners(struct nfs_server *server)
     509                 :            : {
     510                 :          0 :         struct nfs_client *clp = server->nfs_client;
     511                 :            :         struct nfs4_state_owner *sp, *tmp;
     512                 :            :         unsigned long time_min, time_max;
     513                 :          0 :         LIST_HEAD(doomed);
     514                 :            : 
     515                 :            :         spin_lock(&clp->cl_lock);
     516                 :          0 :         time_max = jiffies;
     517                 :          0 :         time_min = (long)time_max - (long)clp->cl_lease_time;
     518         [ #  # ]:          0 :         list_for_each_entry_safe(sp, tmp, &server->state_owners_lru, so_lru) {
     519                 :            :                 /* NB: LRU is sorted so that oldest is at the head */
     520 [ #  # ][ #  # ]:          0 :                 if (time_in_range(sp->so_expires, time_min, time_max))
     521                 :            :                         break;
     522                 :            :                 list_move(&sp->so_lru, &doomed);
     523                 :          0 :                 nfs4_remove_state_owner_locked(sp);
     524                 :            :         }
     525                 :            :         spin_unlock(&clp->cl_lock);
     526                 :            : 
     527         [ #  # ]:          0 :         list_for_each_entry_safe(sp, tmp, &doomed, so_lru) {
     528                 :            :                 list_del(&sp->so_lru);
     529                 :          0 :                 nfs4_free_state_owner(sp);
     530                 :            :         }
     531                 :          0 : }
     532                 :            : 
     533                 :            : /**
     534                 :            :  * nfs4_get_state_owner - Look up a state owner given a credential
     535                 :            :  * @server: nfs_server to search
     536                 :            :  * @cred: RPC credential to match
     537                 :            :  *
     538                 :            :  * Returns a pointer to an instantiated nfs4_state_owner struct, or NULL.
     539                 :            :  */
     540                 :          0 : struct nfs4_state_owner *nfs4_get_state_owner(struct nfs_server *server,
     541                 :            :                                               struct rpc_cred *cred,
     542                 :            :                                               gfp_t gfp_flags)
     543                 :            : {
     544                 :          0 :         struct nfs_client *clp = server->nfs_client;
     545                 :            :         struct nfs4_state_owner *sp, *new;
     546                 :            : 
     547                 :            :         spin_lock(&clp->cl_lock);
     548                 :          0 :         sp = nfs4_find_state_owner_locked(server, cred);
     549                 :            :         spin_unlock(&clp->cl_lock);
     550         [ #  # ]:          0 :         if (sp != NULL)
     551                 :            :                 goto out;
     552                 :          0 :         new = nfs4_alloc_state_owner(server, cred, gfp_flags);
     553         [ #  # ]:          0 :         if (new == NULL)
     554                 :            :                 goto out;
     555                 :            :         do {
     556         [ #  # ]:          0 :                 if (ida_pre_get(&server->openowner_id, gfp_flags) == 0)
     557                 :            :                         break;
     558                 :            :                 spin_lock(&clp->cl_lock);
     559                 :          0 :                 sp = nfs4_insert_state_owner_locked(new);
     560                 :            :                 spin_unlock(&clp->cl_lock);
     561         [ #  # ]:          0 :         } while (sp == ERR_PTR(-EAGAIN));
     562         [ #  # ]:          0 :         if (sp != new)
     563                 :          0 :                 nfs4_free_state_owner(new);
     564                 :            : out:
     565                 :          0 :         nfs4_gc_state_owners(server);
     566                 :          0 :         return sp;
     567                 :            : }
     568                 :            : 
     569                 :            : /**
     570                 :            :  * nfs4_put_state_owner - Release a nfs4_state_owner
     571                 :            :  * @sp: state owner data to release
     572                 :            :  *
     573                 :            :  * Note that we keep released state owners on an LRU
     574                 :            :  * list.
     575                 :            :  * This caches valid state owners so that they can be
     576                 :            :  * reused, to avoid the OPEN_CONFIRM on minor version 0.
     577                 :            :  * It also pins the uniquifier of dropped state owners for
     578                 :            :  * a while, to ensure that those state owner names are
     579                 :            :  * never reused.
     580                 :            :  */
     581                 :          0 : void nfs4_put_state_owner(struct nfs4_state_owner *sp)
     582                 :            : {
     583                 :          0 :         struct nfs_server *server = sp->so_server;
     584                 :          0 :         struct nfs_client *clp = server->nfs_client;
     585                 :            : 
     586         [ #  # ]:          0 :         if (!atomic_dec_and_lock(&sp->so_count, &clp->cl_lock))
     587                 :          0 :                 return;
     588                 :            : 
     589                 :          0 :         sp->so_expires = jiffies;
     590                 :          0 :         list_add_tail(&sp->so_lru, &server->state_owners_lru);
     591                 :            :         spin_unlock(&clp->cl_lock);
     592                 :            : }
     593                 :            : 
     594                 :            : /**
     595                 :            :  * nfs4_purge_state_owners - Release all cached state owners
     596                 :            :  * @server: nfs_server with cached state owners to release
     597                 :            :  *
     598                 :            :  * Called at umount time.  Remaining state owners will be on
     599                 :            :  * the LRU with ref count of zero.
     600                 :            :  */
     601                 :          0 : void nfs4_purge_state_owners(struct nfs_server *server)
     602                 :            : {
     603                 :          0 :         struct nfs_client *clp = server->nfs_client;
     604                 :            :         struct nfs4_state_owner *sp, *tmp;
     605                 :          0 :         LIST_HEAD(doomed);
     606                 :            : 
     607                 :            :         spin_lock(&clp->cl_lock);
     608         [ #  # ]:          0 :         list_for_each_entry_safe(sp, tmp, &server->state_owners_lru, so_lru) {
     609                 :            :                 list_move(&sp->so_lru, &doomed);
     610                 :          0 :                 nfs4_remove_state_owner_locked(sp);
     611                 :            :         }
     612                 :            :         spin_unlock(&clp->cl_lock);
     613                 :            : 
     614         [ #  # ]:          0 :         list_for_each_entry_safe(sp, tmp, &doomed, so_lru) {
     615                 :            :                 list_del(&sp->so_lru);
     616                 :          0 :                 nfs4_free_state_owner(sp);
     617                 :            :         }
     618                 :          0 : }
     619                 :            : 
     620                 :            : static struct nfs4_state *
     621                 :          0 : nfs4_alloc_open_state(void)
     622                 :            : {
     623                 :            :         struct nfs4_state *state;
     624                 :            : 
     625                 :            :         state = kzalloc(sizeof(*state), GFP_NOFS);
     626         [ #  # ]:          0 :         if (!state)
     627                 :            :                 return NULL;
     628                 :          0 :         atomic_set(&state->count, 1);
     629                 :          0 :         INIT_LIST_HEAD(&state->lock_states);
     630                 :          0 :         spin_lock_init(&state->state_lock);
     631                 :          0 :         seqlock_init(&state->seqlock);
     632                 :          0 :         return state;
     633                 :            : }
     634                 :            : 
     635                 :            : void
     636                 :          0 : nfs4_state_set_mode_locked(struct nfs4_state *state, fmode_t fmode)
     637                 :            : {
     638         [ #  # ]:          0 :         if (state->state == fmode)
     639                 :          0 :                 return;
     640                 :            :         /* NB! List reordering - see the reclaim code for why.  */
     641         [ #  # ]:          0 :         if ((fmode & FMODE_WRITE) != (state->state & FMODE_WRITE)) {
     642         [ #  # ]:          0 :                 if (fmode & FMODE_WRITE)
     643                 :          0 :                         list_move(&state->open_states, &state->owner->so_states);
     644                 :            :                 else
     645                 :          0 :                         list_move_tail(&state->open_states, &state->owner->so_states);
     646                 :            :         }
     647                 :          0 :         state->state = fmode;
     648                 :            : }
     649                 :            : 
     650                 :            : static struct nfs4_state *
     651                 :          0 : __nfs4_find_state_byowner(struct inode *inode, struct nfs4_state_owner *owner)
     652                 :            : {
     653                 :            :         struct nfs_inode *nfsi = NFS_I(inode);
     654                 :            :         struct nfs4_state *state;
     655                 :            : 
     656         [ #  # ]:          0 :         list_for_each_entry(state, &nfsi->open_states, inode_states) {
     657         [ #  # ]:          0 :                 if (state->owner != owner)
     658                 :          0 :                         continue;
     659         [ #  # ]:          0 :                 if (!nfs4_valid_open_stateid(state))
     660                 :          0 :                         continue;
     661         [ #  # ]:          0 :                 if (atomic_inc_not_zero(&state->count))
     662                 :            :                         return state;
     663                 :            :         }
     664                 :            :         return NULL;
     665                 :            : }
     666                 :            : 
     667                 :            : static void
     668                 :            : nfs4_free_open_state(struct nfs4_state *state)
     669                 :            : {
     670                 :          0 :         kfree(state);
     671                 :            : }
     672                 :            : 
     673                 :            : struct nfs4_state *
     674                 :          0 : nfs4_get_open_state(struct inode *inode, struct nfs4_state_owner *owner)
     675                 :            : {
     676                 :            :         struct nfs4_state *state, *new;
     677                 :            :         struct nfs_inode *nfsi = NFS_I(inode);
     678                 :            : 
     679                 :            :         spin_lock(&inode->i_lock);
     680                 :          0 :         state = __nfs4_find_state_byowner(inode, owner);
     681                 :            :         spin_unlock(&inode->i_lock);
     682         [ #  # ]:          0 :         if (state)
     683                 :            :                 goto out;
     684                 :          0 :         new = nfs4_alloc_open_state();
     685                 :            :         spin_lock(&owner->so_lock);
     686                 :            :         spin_lock(&inode->i_lock);
     687                 :          0 :         state = __nfs4_find_state_byowner(inode, owner);
     688         [ #  # ]:          0 :         if (state == NULL && new != NULL) {
     689                 :            :                 state = new;
     690                 :          0 :                 state->owner = owner;
     691                 :          0 :                 atomic_inc(&owner->so_count);
     692                 :          0 :                 list_add(&state->inode_states, &nfsi->open_states);
     693                 :          0 :                 ihold(inode);
     694                 :          0 :                 state->inode = inode;
     695                 :            :                 spin_unlock(&inode->i_lock);
     696                 :            :                 /* Note: The reclaim code dictates that we add stateless
     697                 :            :                  * and read-only stateids to the end of the list */
     698                 :          0 :                 list_add_tail(&state->open_states, &owner->so_states);
     699                 :            :                 spin_unlock(&owner->so_lock);
     700                 :            :         } else {
     701                 :            :                 spin_unlock(&inode->i_lock);
     702                 :            :                 spin_unlock(&owner->so_lock);
     703         [ #  # ]:          0 :                 if (new)
     704                 :            :                         nfs4_free_open_state(new);
     705                 :            :         }
     706                 :            : out:
     707                 :          0 :         return state;
     708                 :            : }
     709                 :            : 
     710                 :          0 : void nfs4_put_open_state(struct nfs4_state *state)
     711                 :            : {
     712                 :          0 :         struct inode *inode = state->inode;
     713                 :          0 :         struct nfs4_state_owner *owner = state->owner;
     714                 :            : 
     715         [ #  # ]:          0 :         if (!atomic_dec_and_lock(&state->count, &owner->so_lock))
     716                 :          0 :                 return;
     717                 :            :         spin_lock(&inode->i_lock);
     718                 :            :         list_del(&state->inode_states);
     719                 :            :         list_del(&state->open_states);
     720                 :            :         spin_unlock(&inode->i_lock);
     721                 :            :         spin_unlock(&owner->so_lock);
     722                 :          0 :         iput(inode);
     723                 :            :         nfs4_free_open_state(state);
     724                 :          0 :         nfs4_put_state_owner(owner);
     725                 :            : }
     726                 :            : 
     727                 :            : /*
     728                 :            :  * Close the current file.
     729                 :            :  */
     730                 :          0 : static void __nfs4_close(struct nfs4_state *state,
     731                 :            :                 fmode_t fmode, gfp_t gfp_mask, int wait)
     732                 :            : {
     733                 :          0 :         struct nfs4_state_owner *owner = state->owner;
     734                 :            :         int call_close = 0;
     735                 :            :         fmode_t newstate;
     736                 :            : 
     737                 :          0 :         atomic_inc(&owner->so_count);
     738                 :            :         /* Protect against nfs4_find_state() */
     739                 :            :         spin_lock(&owner->so_lock);
     740   [ #  #  #  # ]:          0 :         switch (fmode & (FMODE_READ | FMODE_WRITE)) {
     741                 :            :                 case FMODE_READ:
     742                 :          0 :                         state->n_rdonly--;
     743                 :          0 :                         break;
     744                 :            :                 case FMODE_WRITE:
     745                 :          0 :                         state->n_wronly--;
     746                 :          0 :                         break;
     747                 :            :                 case FMODE_READ|FMODE_WRITE:
     748                 :          0 :                         state->n_rdwr--;
     749                 :            :         }
     750                 :            :         newstate = FMODE_READ|FMODE_WRITE;
     751         [ #  # ]:          0 :         if (state->n_rdwr == 0) {
     752         [ #  # ]:          0 :                 if (state->n_rdonly == 0) {
     753                 :            :                         newstate &= ~FMODE_READ;
     754                 :            :                         call_close |= test_bit(NFS_O_RDONLY_STATE, &state->flags);
     755                 :          0 :                         call_close |= test_bit(NFS_O_RDWR_STATE, &state->flags);
     756                 :            :                 }
     757         [ #  # ]:          0 :                 if (state->n_wronly == 0) {
     758                 :          0 :                         newstate &= ~FMODE_WRITE;
     759                 :          0 :                         call_close |= test_bit(NFS_O_WRONLY_STATE, &state->flags);
     760                 :          0 :                         call_close |= test_bit(NFS_O_RDWR_STATE, &state->flags);
     761                 :            :                 }
     762         [ #  # ]:          0 :                 if (newstate == 0)
     763                 :          0 :                         clear_bit(NFS_DELEGATED_STATE, &state->flags);
     764                 :            :         }
     765                 :          0 :         nfs4_state_set_mode_locked(state, newstate);
     766                 :            :         spin_unlock(&owner->so_lock);
     767                 :            : 
     768         [ #  # ]:          0 :         if (!call_close) {
     769                 :          0 :                 nfs4_put_open_state(state);
     770                 :          0 :                 nfs4_put_state_owner(owner);
     771                 :            :         } else
     772                 :          0 :                 nfs4_do_close(state, gfp_mask, wait);
     773                 :          0 : }
     774                 :            : 
     775                 :          0 : void nfs4_close_state(struct nfs4_state *state, fmode_t fmode)
     776                 :            : {
     777                 :          0 :         __nfs4_close(state, fmode, GFP_NOFS, 0);
     778                 :          0 : }
     779                 :            : 
     780                 :          0 : void nfs4_close_sync(struct nfs4_state *state, fmode_t fmode)
     781                 :            : {
     782                 :          0 :         __nfs4_close(state, fmode, GFP_KERNEL, 1);
     783                 :          0 : }
     784                 :            : 
     785                 :            : /*
     786                 :            :  * Search the state->lock_states for an existing lock_owner
     787                 :            :  * that is compatible with current->files
     788                 :            :  */
     789                 :            : static struct nfs4_lock_state *
     790                 :          0 : __nfs4_find_lock_state(struct nfs4_state *state, fl_owner_t fl_owner, pid_t fl_pid, unsigned int type)
     791                 :            : {
     792                 :            :         struct nfs4_lock_state *pos;
     793         [ #  # ]:          0 :         list_for_each_entry(pos, &state->lock_states, ls_locks) {
     794 [ #  # ][ #  # ]:          0 :                 if (type != NFS4_ANY_LOCK_TYPE && pos->ls_owner.lo_type != type)
     795                 :          0 :                         continue;
     796      [ #  #  # ]:          0 :                 switch (pos->ls_owner.lo_type) {
     797                 :            :                 case NFS4_POSIX_LOCK_TYPE:
     798         [ #  # ]:          0 :                         if (pos->ls_owner.lo_u.posix_owner != fl_owner)
     799                 :          0 :                                 continue;
     800                 :            :                         break;
     801                 :            :                 case NFS4_FLOCK_LOCK_TYPE:
     802         [ #  # ]:          0 :                         if (pos->ls_owner.lo_u.flock_owner != fl_pid)
     803                 :          0 :                                 continue;
     804                 :            :                 }
     805                 :          0 :                 atomic_inc(&pos->ls_count);
     806                 :          0 :                 return pos;
     807                 :            :         }
     808                 :            :         return NULL;
     809                 :            : }
     810                 :            : 
     811                 :            : /*
     812                 :            :  * Return a compatible lock_state. If no initialized lock_state structure
     813                 :            :  * exists, return an uninitialized one.
     814                 :            :  *
     815                 :            :  */
     816                 :          0 : static struct nfs4_lock_state *nfs4_alloc_lock_state(struct nfs4_state *state, fl_owner_t fl_owner, pid_t fl_pid, unsigned int type)
     817                 :            : {
     818                 :            :         struct nfs4_lock_state *lsp;
     819                 :          0 :         struct nfs_server *server = state->owner->so_server;
     820                 :            : 
     821                 :            :         lsp = kzalloc(sizeof(*lsp), GFP_NOFS);
     822         [ #  # ]:          0 :         if (lsp == NULL)
     823                 :            :                 return NULL;
     824                 :          0 :         nfs4_init_seqid_counter(&lsp->ls_seqid);
     825                 :          0 :         atomic_set(&lsp->ls_count, 1);
     826                 :          0 :         lsp->ls_state = state;
     827                 :          0 :         lsp->ls_owner.lo_type = type;
     828      [ #  #  # ]:          0 :         switch (lsp->ls_owner.lo_type) {
     829                 :            :         case NFS4_FLOCK_LOCK_TYPE:
     830                 :          0 :                 lsp->ls_owner.lo_u.flock_owner = fl_pid;
     831                 :          0 :                 break;
     832                 :            :         case NFS4_POSIX_LOCK_TYPE:
     833                 :          0 :                 lsp->ls_owner.lo_u.posix_owner = fl_owner;
     834                 :          0 :                 break;
     835                 :            :         default:
     836                 :            :                 goto out_free;
     837                 :            :         }
     838                 :          0 :         lsp->ls_seqid.owner_id = ida_simple_get(&server->lockowner_id, 0, 0, GFP_NOFS);
     839         [ #  # ]:          0 :         if (lsp->ls_seqid.owner_id < 0)
     840                 :            :                 goto out_free;
     841                 :          0 :         INIT_LIST_HEAD(&lsp->ls_locks);
     842                 :          0 :         return lsp;
     843                 :            : out_free:
     844                 :          0 :         kfree(lsp);
     845                 :          0 :         return NULL;
     846                 :            : }
     847                 :            : 
     848                 :          0 : void nfs4_free_lock_state(struct nfs_server *server, struct nfs4_lock_state *lsp)
     849                 :            : {
     850                 :          0 :         ida_simple_remove(&server->lockowner_id, lsp->ls_seqid.owner_id);
     851                 :            :         nfs4_destroy_seqid_counter(&lsp->ls_seqid);
     852                 :          0 :         kfree(lsp);
     853                 :          0 : }
     854                 :            : 
     855                 :            : /*
     856                 :            :  * Return a compatible lock_state. If no initialized lock_state structure
     857                 :            :  * exists, return an uninitialized one.
     858                 :            :  *
     859                 :            :  */
     860                 :          0 : static struct nfs4_lock_state *nfs4_get_lock_state(struct nfs4_state *state, fl_owner_t owner, pid_t pid, unsigned int type)
     861                 :            : {
     862                 :            :         struct nfs4_lock_state *lsp, *new = NULL;
     863                 :            :         
     864                 :            :         for(;;) {
     865                 :            :                 spin_lock(&state->state_lock);
     866                 :          0 :                 lsp = __nfs4_find_lock_state(state, owner, pid, type);
     867         [ #  # ]:          0 :                 if (lsp != NULL)
     868                 :            :                         break;
     869         [ #  # ]:          0 :                 if (new != NULL) {
     870                 :          0 :                         list_add(&new->ls_locks, &state->lock_states);
     871                 :          0 :                         set_bit(LK_STATE_IN_USE, &state->flags);
     872                 :            :                         lsp = new;
     873                 :            :                         new = NULL;
     874                 :          0 :                         break;
     875                 :            :                 }
     876                 :            :                 spin_unlock(&state->state_lock);
     877                 :          0 :                 new = nfs4_alloc_lock_state(state, owner, pid, type);
     878         [ #  # ]:          0 :                 if (new == NULL)
     879                 :            :                         return NULL;
     880                 :            :         }
     881                 :            :         spin_unlock(&state->state_lock);
     882         [ #  # ]:          0 :         if (new != NULL)
     883                 :          0 :                 nfs4_free_lock_state(state->owner->so_server, new);
     884                 :          0 :         return lsp;
     885                 :            : }
     886                 :            : 
     887                 :            : /*
     888                 :            :  * Release reference to lock_state, and free it if we see that
     889                 :            :  * it is no longer in use
     890                 :            :  */
     891                 :          0 : void nfs4_put_lock_state(struct nfs4_lock_state *lsp)
     892                 :            : {
     893                 :            :         struct nfs_server *server;
     894                 :            :         struct nfs4_state *state;
     895                 :            : 
     896         [ #  # ]:          0 :         if (lsp == NULL)
     897                 :            :                 return;
     898                 :          0 :         state = lsp->ls_state;
     899         [ #  # ]:          0 :         if (!atomic_dec_and_lock(&lsp->ls_count, &state->state_lock))
     900                 :            :                 return;
     901                 :            :         list_del(&lsp->ls_locks);
     902         [ #  # ]:          0 :         if (list_empty(&state->lock_states))
     903                 :          0 :                 clear_bit(LK_STATE_IN_USE, &state->flags);
     904                 :            :         spin_unlock(&state->state_lock);
     905                 :          0 :         server = state->owner->so_server;
     906         [ #  # ]:          0 :         if (test_bit(NFS_LOCK_INITIALIZED, &lsp->ls_flags)) {
     907                 :          0 :                 struct nfs_client *clp = server->nfs_client;
     908                 :            : 
     909                 :          0 :                 clp->cl_mvops->free_lock_state(server, lsp);
     910                 :            :         } else
     911                 :          0 :                 nfs4_free_lock_state(server, lsp);
     912                 :            : }
     913                 :            : 
     914                 :          0 : static void nfs4_fl_copy_lock(struct file_lock *dst, struct file_lock *src)
     915                 :            : {
     916                 :          0 :         struct nfs4_lock_state *lsp = src->fl_u.nfs4_fl.owner;
     917                 :            : 
     918                 :          0 :         dst->fl_u.nfs4_fl.owner = lsp;
     919                 :          0 :         atomic_inc(&lsp->ls_count);
     920                 :          0 : }
     921                 :            : 
     922                 :          0 : static void nfs4_fl_release_lock(struct file_lock *fl)
     923                 :            : {
     924                 :          0 :         nfs4_put_lock_state(fl->fl_u.nfs4_fl.owner);
     925                 :          0 : }
     926                 :            : 
     927                 :            : static const struct file_lock_operations nfs4_fl_lock_ops = {
     928                 :            :         .fl_copy_lock = nfs4_fl_copy_lock,
     929                 :            :         .fl_release_private = nfs4_fl_release_lock,
     930                 :            : };
     931                 :            : 
     932                 :          0 : int nfs4_set_lock_state(struct nfs4_state *state, struct file_lock *fl)
     933                 :            : {
     934                 :            :         struct nfs4_lock_state *lsp;
     935                 :            : 
     936         [ #  # ]:          0 :         if (fl->fl_ops != NULL)
     937                 :            :                 return 0;
     938         [ #  # ]:          0 :         if (fl->fl_flags & FL_POSIX)
     939                 :          0 :                 lsp = nfs4_get_lock_state(state, fl->fl_owner, 0, NFS4_POSIX_LOCK_TYPE);
     940         [ #  # ]:          0 :         else if (fl->fl_flags & FL_FLOCK)
     941                 :          0 :                 lsp = nfs4_get_lock_state(state, NULL, fl->fl_pid,
     942                 :            :                                 NFS4_FLOCK_LOCK_TYPE);
     943                 :            :         else
     944                 :            :                 return -EINVAL;
     945         [ #  # ]:          0 :         if (lsp == NULL)
     946                 :            :                 return -ENOMEM;
     947                 :          0 :         fl->fl_u.nfs4_fl.owner = lsp;
     948                 :          0 :         fl->fl_ops = &nfs4_fl_lock_ops;
     949                 :          0 :         return 0;
     950                 :            : }
     951                 :            : 
     952                 :          0 : static int nfs4_copy_lock_stateid(nfs4_stateid *dst,
     953                 :            :                 struct nfs4_state *state,
     954                 :            :                 const struct nfs_lockowner *lockowner)
     955                 :            : {
     956                 :            :         struct nfs4_lock_state *lsp;
     957                 :            :         fl_owner_t fl_owner;
     958                 :            :         pid_t fl_pid;
     959                 :            :         int ret = -ENOENT;
     960                 :            : 
     961                 :            : 
     962         [ #  # ]:          0 :         if (lockowner == NULL)
     963                 :            :                 goto out;
     964                 :            : 
     965         [ #  # ]:          0 :         if (test_bit(LK_STATE_IN_USE, &state->flags) == 0)
     966                 :            :                 goto out;
     967                 :            : 
     968                 :          0 :         fl_owner = lockowner->l_owner;
     969                 :          0 :         fl_pid = lockowner->l_pid;
     970                 :            :         spin_lock(&state->state_lock);
     971                 :          0 :         lsp = __nfs4_find_lock_state(state, fl_owner, fl_pid, NFS4_ANY_LOCK_TYPE);
     972 [ #  # ][ #  # ]:          0 :         if (lsp && test_bit(NFS_LOCK_LOST, &lsp->ls_flags))
     973                 :            :                 ret = -EIO;
     974 [ #  # ][ #  # ]:          0 :         else if (lsp != NULL && test_bit(NFS_LOCK_INITIALIZED, &lsp->ls_flags) != 0) {
     975                 :          0 :                 nfs4_stateid_copy(dst, &lsp->ls_stateid);
     976                 :            :                 ret = 0;
     977                 :          0 :                 smp_rmb();
     978         [ #  # ]:          0 :                 if (!list_empty(&lsp->ls_seqid.list))
     979                 :            :                         ret = -EWOULDBLOCK;
     980                 :            :         }
     981                 :            :         spin_unlock(&state->state_lock);
     982                 :          0 :         nfs4_put_lock_state(lsp);
     983                 :            : out:
     984                 :          0 :         return ret;
     985                 :            : }
     986                 :            : 
     987                 :          0 : static int nfs4_copy_open_stateid(nfs4_stateid *dst, struct nfs4_state *state)
     988                 :            : {
     989                 :            :         const nfs4_stateid *src;
     990                 :            :         int ret;
     991                 :            :         int seq;
     992                 :            : 
     993                 :            :         do {
     994                 :            :                 src = &zero_stateid;
     995                 :            :                 seq = read_seqbegin(&state->seqlock);
     996         [ #  # ]:          0 :                 if (test_bit(NFS_OPEN_STATE, &state->flags))
     997                 :          0 :                         src = &state->open_stateid;
     998                 :            :                 nfs4_stateid_copy(dst, src);
     999                 :            :                 ret = 0;
    1000                 :          0 :                 smp_rmb();
    1001         [ #  # ]:          0 :                 if (!list_empty(&state->owner->so_seqid.list))
    1002                 :            :                         ret = -EWOULDBLOCK;
    1003         [ #  # ]:          0 :         } while (read_seqretry(&state->seqlock, seq));
    1004                 :          0 :         return ret;
    1005                 :            : }
    1006                 :            : 
    1007                 :            : /*
    1008                 :            :  * Byte-range lock aware utility to initialize the stateid of read/write
    1009                 :            :  * requests.
    1010                 :            :  */
    1011                 :          0 : int nfs4_select_rw_stateid(nfs4_stateid *dst, struct nfs4_state *state,
    1012                 :            :                 fmode_t fmode, const struct nfs_lockowner *lockowner)
    1013                 :            : {
    1014                 :          0 :         int ret = nfs4_copy_lock_stateid(dst, state, lockowner);
    1015         [ #  # ]:          0 :         if (ret == -EIO)
    1016                 :            :                 /* A lost lock - don't even consider delegations */
    1017                 :            :                 goto out;
    1018         [ #  # ]:          0 :         if (nfs4_copy_delegation_stateid(dst, state->inode, fmode))
    1019                 :            :                 goto out;
    1020         [ #  # ]:          0 :         if (ret != -ENOENT)
    1021                 :            :                 /* nfs4_copy_delegation_stateid() didn't over-write
    1022                 :            :                  * dst, so it still has the lock stateid which we now
    1023                 :            :                  * choose to use.
    1024                 :            :                  */
    1025                 :            :                 goto out;
    1026                 :          0 :         ret = nfs4_copy_open_stateid(dst, state);
    1027                 :            : out:
    1028         [ #  # ]:          0 :         if (nfs_server_capable(state->inode, NFS_CAP_STATEID_NFSV41))
    1029                 :          0 :                 dst->seqid = 0;
    1030                 :          0 :         return ret;
    1031                 :            : }
    1032                 :            : 
    1033                 :          0 : struct nfs_seqid *nfs_alloc_seqid(struct nfs_seqid_counter *counter, gfp_t gfp_mask)
    1034                 :            : {
    1035                 :            :         struct nfs_seqid *new;
    1036                 :            : 
    1037                 :            :         new = kmalloc(sizeof(*new), gfp_mask);
    1038         [ #  # ]:          0 :         if (new != NULL) {
    1039                 :          0 :                 new->sequence = counter;
    1040                 :          0 :                 INIT_LIST_HEAD(&new->list);
    1041                 :          0 :                 new->task = NULL;
    1042                 :            :         }
    1043                 :          0 :         return new;
    1044                 :            : }
    1045                 :            : 
    1046                 :          0 : void nfs_release_seqid(struct nfs_seqid *seqid)
    1047                 :            : {
    1048                 :            :         struct nfs_seqid_counter *sequence;
    1049                 :            : 
    1050         [ #  # ]:          0 :         if (list_empty(&seqid->list))
    1051                 :          0 :                 return;
    1052                 :          0 :         sequence = seqid->sequence;
    1053                 :            :         spin_lock(&sequence->lock);
    1054                 :            :         list_del_init(&seqid->list);
    1055         [ #  # ]:          0 :         if (!list_empty(&sequence->list)) {
    1056                 :            :                 struct nfs_seqid *next;
    1057                 :            : 
    1058                 :            :                 next = list_first_entry(&sequence->list,
    1059                 :            :                                 struct nfs_seqid, list);
    1060                 :          0 :                 rpc_wake_up_queued_task(&sequence->wait, next->task);
    1061                 :            :         }
    1062                 :            :         spin_unlock(&sequence->lock);
    1063                 :            : }
    1064                 :            : 
    1065                 :          0 : void nfs_free_seqid(struct nfs_seqid *seqid)
    1066                 :            : {
    1067                 :          0 :         nfs_release_seqid(seqid);
    1068                 :          0 :         kfree(seqid);
    1069                 :          0 : }
    1070                 :            : 
    1071                 :            : /*
    1072                 :            :  * Increment the seqid if the OPEN/OPEN_DOWNGRADE/CLOSE succeeded, or
    1073                 :            :  * failed with a seqid incrementing error -
    1074                 :            :  * see comments nfs_fs.h:seqid_mutating_error()
    1075                 :            :  */
    1076 [ #  # ][ #  # ]:          0 : static void nfs_increment_seqid(int status, struct nfs_seqid *seqid)
                 [ #  # ]
    1077                 :            : {
    1078                 :            :         switch (status) {
    1079                 :            :                 case 0:
    1080                 :            :                         break;
    1081                 :            :                 case -NFS4ERR_BAD_SEQID:
    1082         [ #  # ]:          0 :                         if (seqid->sequence->flags & NFS_SEQID_CONFIRMED)
    1083                 :            :                                 return;
    1084         [ #  # ]:          0 :                         pr_warn_ratelimited("NFS: v4 server returned a bad"
    1085                 :            :                                         " sequence-id error on an"
    1086                 :            :                                         " unconfirmed sequence %p!\n",
    1087                 :            :                                         seqid->sequence);
    1088                 :            :                 case -NFS4ERR_STALE_CLIENTID:
    1089                 :            :                 case -NFS4ERR_STALE_STATEID:
    1090                 :            :                 case -NFS4ERR_BAD_STATEID:
    1091                 :            :                 case -NFS4ERR_BADXDR:
    1092                 :            :                 case -NFS4ERR_RESOURCE:
    1093                 :            :                 case -NFS4ERR_NOFILEHANDLE:
    1094                 :            :                         /* Non-seqid mutating errors */
    1095                 :            :                         return;
    1096                 :            :         };
    1097                 :            :         /*
    1098                 :            :          * Note: no locking needed as we are guaranteed to be first
    1099                 :            :          * on the sequence list
    1100                 :            :          */
    1101                 :          0 :         seqid->sequence->counter++;
    1102                 :            : }
    1103                 :            : 
    1104                 :          0 : void nfs_increment_open_seqid(int status, struct nfs_seqid *seqid)
    1105                 :            : {
    1106                 :          0 :         struct nfs4_state_owner *sp = container_of(seqid->sequence,
    1107                 :            :                                         struct nfs4_state_owner, so_seqid);
    1108                 :            :         struct nfs_server *server = sp->so_server;
    1109                 :            : 
    1110         [ #  # ]:          0 :         if (status == -NFS4ERR_BAD_SEQID)
    1111                 :          0 :                 nfs4_drop_state_owner(sp);
    1112                 :            :         if (!nfs4_has_session(server->nfs_client))
    1113                 :          0 :                 nfs_increment_seqid(status, seqid);
    1114                 :          0 : }
    1115                 :            : 
    1116                 :            : /*
    1117                 :            :  * Increment the seqid if the LOCK/LOCKU succeeded, or
    1118                 :            :  * failed with a seqid incrementing error -
    1119                 :            :  * see comments nfs_fs.h:seqid_mutating_error()
    1120                 :            :  */
    1121                 :          0 : void nfs_increment_lock_seqid(int status, struct nfs_seqid *seqid)
    1122                 :            : {
    1123                 :          0 :         nfs_increment_seqid(status, seqid);
    1124                 :          0 : }
    1125                 :            : 
    1126                 :          0 : int nfs_wait_on_sequence(struct nfs_seqid *seqid, struct rpc_task *task)
    1127                 :            : {
    1128                 :          0 :         struct nfs_seqid_counter *sequence = seqid->sequence;
    1129                 :            :         int status = 0;
    1130                 :            : 
    1131                 :            :         spin_lock(&sequence->lock);
    1132                 :          0 :         seqid->task = task;
    1133         [ #  # ]:          0 :         if (list_empty(&seqid->list))
    1134                 :          0 :                 list_add_tail(&seqid->list, &sequence->list);
    1135         [ #  # ]:          0 :         if (list_first_entry(&sequence->list, struct nfs_seqid, list) == seqid)
    1136                 :            :                 goto unlock;
    1137                 :          0 :         rpc_sleep_on(&sequence->wait, task, NULL);
    1138                 :            :         status = -EAGAIN;
    1139                 :            : unlock:
    1140                 :            :         spin_unlock(&sequence->lock);
    1141                 :          0 :         return status;
    1142                 :            : }
    1143                 :            : 
    1144                 :            : static int nfs4_run_state_manager(void *);
    1145                 :            : 
    1146                 :          0 : static void nfs4_clear_state_manager_bit(struct nfs_client *clp)
    1147                 :            : {
    1148                 :          0 :         smp_mb__before_clear_bit();
    1149                 :          0 :         clear_bit(NFS4CLNT_MANAGER_RUNNING, &clp->cl_state);
    1150                 :          0 :         smp_mb__after_clear_bit();
    1151                 :          0 :         wake_up_bit(&clp->cl_state, NFS4CLNT_MANAGER_RUNNING);
    1152                 :          0 :         rpc_wake_up(&clp->cl_rpcwaitq);
    1153                 :          0 : }
    1154                 :            : 
    1155                 :            : /*
    1156                 :            :  * Schedule the nfs_client asynchronous state management routine
    1157                 :            :  */
    1158                 :          0 : void nfs4_schedule_state_manager(struct nfs_client *clp)
    1159                 :            : {
    1160                 :            :         struct task_struct *task;
    1161                 :            :         char buf[INET6_ADDRSTRLEN + sizeof("-manager") + 1];
    1162                 :            : 
    1163         [ #  # ]:          0 :         if (test_and_set_bit(NFS4CLNT_MANAGER_RUNNING, &clp->cl_state) != 0)
    1164                 :          0 :                 return;
    1165                 :          0 :         __module_get(THIS_MODULE);
    1166                 :          0 :         atomic_inc(&clp->cl_count);
    1167                 :            : 
    1168                 :            :         /* The rcu_read_lock() is not strictly necessary, as the state
    1169                 :            :          * manager is the only thread that ever changes the rpc_xprt
    1170                 :            :          * after it's initialized.  At this point, we're single threaded. */
    1171                 :            :         rcu_read_lock();
    1172                 :          0 :         snprintf(buf, sizeof(buf), "%s-manager",
    1173                 :            :                         rpc_peeraddr2str(clp->cl_rpcclient, RPC_DISPLAY_ADDR));
    1174                 :            :         rcu_read_unlock();
    1175         [ #  # ]:          0 :         task = kthread_run(nfs4_run_state_manager, clp, "%s", buf);
    1176         [ #  # ]:          0 :         if (IS_ERR(task)) {
    1177                 :          0 :                 printk(KERN_ERR "%s: kthread_run: %ld\n",
    1178                 :            :                         __func__, PTR_ERR(task));
    1179                 :          0 :                 nfs4_clear_state_manager_bit(clp);
    1180                 :          0 :                 nfs_put_client(clp);
    1181                 :          0 :                 module_put(THIS_MODULE);
    1182                 :            :         }
    1183                 :            : }
    1184                 :            : 
    1185                 :            : /*
    1186                 :            :  * Schedule a lease recovery attempt
    1187                 :            :  */
    1188                 :          0 : void nfs4_schedule_lease_recovery(struct nfs_client *clp)
    1189                 :            : {
    1190         [ #  # ]:          0 :         if (!clp)
    1191                 :          0 :                 return;
    1192         [ #  # ]:          0 :         if (!test_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state))
    1193                 :          0 :                 set_bit(NFS4CLNT_CHECK_LEASE, &clp->cl_state);
    1194                 :            :         dprintk("%s: scheduling lease recovery for server %s\n", __func__,
    1195                 :            :                         clp->cl_hostname);
    1196                 :          0 :         nfs4_schedule_state_manager(clp);
    1197                 :            : }
    1198                 :            : EXPORT_SYMBOL_GPL(nfs4_schedule_lease_recovery);
    1199                 :            : 
    1200                 :            : /**
    1201                 :            :  * nfs4_schedule_migration_recovery - trigger migration recovery
    1202                 :            :  *
    1203                 :            :  * @server: FSID that is migrating
    1204                 :            :  *
    1205                 :            :  * Returns zero if recovery has started, otherwise a negative NFS4ERR
    1206                 :            :  * value is returned.
    1207                 :            :  */
    1208                 :          0 : int nfs4_schedule_migration_recovery(const struct nfs_server *server)
    1209                 :            : {
    1210                 :          0 :         struct nfs_client *clp = server->nfs_client;
    1211                 :            : 
    1212         [ #  # ]:          0 :         if (server->fh_expire_type != NFS4_FH_PERSISTENT) {
    1213                 :          0 :                 pr_err("NFS: volatile file handles not supported (server %s)\n",
    1214                 :            :                                 clp->cl_hostname);
    1215                 :          0 :                 return -NFS4ERR_IO;
    1216                 :            :         }
    1217                 :            : 
    1218         [ #  # ]:          0 :         if (test_bit(NFS_MIG_FAILED, &server->mig_status))
    1219                 :            :                 return -NFS4ERR_IO;
    1220                 :            : 
    1221                 :            :         dprintk("%s: scheduling migration recovery for (%llx:%llx) on %s\n",
    1222                 :            :                         __func__,
    1223                 :            :                         (unsigned long long)server->fsid.major,
    1224                 :            :                         (unsigned long long)server->fsid.minor,
    1225                 :            :                         clp->cl_hostname);
    1226                 :            : 
    1227                 :          0 :         set_bit(NFS_MIG_IN_TRANSITION,
    1228                 :            :                         &((struct nfs_server *)server)->mig_status);
    1229                 :          0 :         set_bit(NFS4CLNT_MOVED, &clp->cl_state);
    1230                 :            : 
    1231                 :          0 :         nfs4_schedule_state_manager(clp);
    1232                 :          0 :         return 0;
    1233                 :            : }
    1234                 :            : EXPORT_SYMBOL_GPL(nfs4_schedule_migration_recovery);
    1235                 :            : 
    1236                 :            : /**
    1237                 :            :  * nfs4_schedule_lease_moved_recovery - start lease-moved recovery
    1238                 :            :  *
    1239                 :            :  * @clp: server to check for moved leases
    1240                 :            :  *
    1241                 :            :  */
    1242                 :          0 : void nfs4_schedule_lease_moved_recovery(struct nfs_client *clp)
    1243                 :            : {
    1244                 :            :         dprintk("%s: scheduling lease-moved recovery for client ID %llx on %s\n",
    1245                 :            :                 __func__, clp->cl_clientid, clp->cl_hostname);
    1246                 :            : 
    1247                 :          0 :         set_bit(NFS4CLNT_LEASE_MOVED, &clp->cl_state);
    1248                 :          0 :         nfs4_schedule_state_manager(clp);
    1249                 :          0 : }
    1250                 :            : EXPORT_SYMBOL_GPL(nfs4_schedule_lease_moved_recovery);
    1251                 :            : 
    1252                 :          0 : int nfs4_wait_clnt_recover(struct nfs_client *clp)
    1253                 :            : {
    1254                 :            :         int res;
    1255                 :            : 
    1256                 :            :         might_sleep();
    1257                 :            : 
    1258                 :          0 :         atomic_inc(&clp->cl_count);
    1259                 :          0 :         res = wait_on_bit(&clp->cl_state, NFS4CLNT_MANAGER_RUNNING,
    1260                 :            :                         nfs_wait_bit_killable, TASK_KILLABLE);
    1261         [ #  # ]:          0 :         if (res)
    1262                 :            :                 goto out;
    1263         [ #  # ]:          0 :         if (clp->cl_cons_state < 0)
    1264                 :            :                 res = clp->cl_cons_state;
    1265                 :            : out:
    1266                 :          0 :         nfs_put_client(clp);
    1267                 :          0 :         return res;
    1268                 :            : }
    1269                 :            : 
    1270                 :          0 : int nfs4_client_recover_expired_lease(struct nfs_client *clp)
    1271                 :            : {
    1272                 :            :         unsigned int loop;
    1273                 :            :         int ret;
    1274                 :            : 
    1275         [ #  # ]:          0 :         for (loop = NFS4_MAX_LOOP_ON_RECOVER; loop != 0; loop--) {
    1276                 :          0 :                 ret = nfs4_wait_clnt_recover(clp);
    1277         [ #  # ]:          0 :                 if (ret != 0)
    1278                 :            :                         break;
    1279 [ #  # ][ #  # ]:          0 :                 if (!test_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state) &&
    1280                 :            :                     !test_bit(NFS4CLNT_CHECK_LEASE,&clp->cl_state))
    1281                 :            :                         break;
    1282                 :          0 :                 nfs4_schedule_state_manager(clp);
    1283                 :            :                 ret = -EIO;
    1284                 :            :         }
    1285                 :          0 :         return ret;
    1286                 :            : }
    1287                 :            : 
    1288                 :            : /*
    1289                 :            :  * nfs40_handle_cb_pathdown - return all delegations after NFS4ERR_CB_PATH_DOWN
    1290                 :            :  * @clp: client to process
    1291                 :            :  *
    1292                 :            :  * Set the NFS4CLNT_LEASE_EXPIRED state in order to force a
    1293                 :            :  * resend of the SETCLIENTID and hence re-establish the
    1294                 :            :  * callback channel. Then return all existing delegations.
    1295                 :            :  */
    1296                 :            : static void nfs40_handle_cb_pathdown(struct nfs_client *clp)
    1297                 :            : {
    1298                 :          0 :         set_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state);
    1299                 :          0 :         nfs_expire_all_delegations(clp);
    1300                 :            :         dprintk("%s: handling CB_PATHDOWN recovery for server %s\n", __func__,
    1301                 :            :                         clp->cl_hostname);
    1302                 :            : }
    1303                 :            : 
    1304                 :          0 : void nfs4_schedule_path_down_recovery(struct nfs_client *clp)
    1305                 :            : {
    1306                 :            :         nfs40_handle_cb_pathdown(clp);
    1307                 :          0 :         nfs4_schedule_state_manager(clp);
    1308                 :          0 : }
    1309                 :            : 
    1310                 :          0 : static int nfs4_state_mark_reclaim_reboot(struct nfs_client *clp, struct nfs4_state *state)
    1311                 :            : {
    1312                 :            : 
    1313                 :          0 :         set_bit(NFS_STATE_RECLAIM_REBOOT, &state->flags);
    1314                 :            :         /* Don't recover state that expired before the reboot */
    1315         [ #  # ]:          0 :         if (test_bit(NFS_STATE_RECLAIM_NOGRACE, &state->flags)) {
    1316                 :          0 :                 clear_bit(NFS_STATE_RECLAIM_REBOOT, &state->flags);
    1317                 :          0 :                 return 0;
    1318                 :            :         }
    1319                 :          0 :         set_bit(NFS_OWNER_RECLAIM_REBOOT, &state->owner->so_flags);
    1320                 :          0 :         set_bit(NFS4CLNT_RECLAIM_REBOOT, &clp->cl_state);
    1321                 :          0 :         return 1;
    1322                 :            : }
    1323                 :            : 
    1324                 :          0 : static int nfs4_state_mark_reclaim_nograce(struct nfs_client *clp, struct nfs4_state *state)
    1325                 :            : {
    1326                 :          0 :         set_bit(NFS_STATE_RECLAIM_NOGRACE, &state->flags);
    1327                 :          0 :         clear_bit(NFS_STATE_RECLAIM_REBOOT, &state->flags);
    1328                 :          0 :         set_bit(NFS_OWNER_RECLAIM_NOGRACE, &state->owner->so_flags);
    1329                 :          0 :         set_bit(NFS4CLNT_RECLAIM_NOGRACE, &clp->cl_state);
    1330                 :          0 :         return 1;
    1331                 :            : }
    1332                 :            : 
    1333                 :          0 : int nfs4_schedule_stateid_recovery(const struct nfs_server *server, struct nfs4_state *state)
    1334                 :            : {
    1335                 :          0 :         struct nfs_client *clp = server->nfs_client;
    1336                 :            : 
    1337         [ #  # ]:          0 :         if (!nfs4_valid_open_stateid(state))
    1338                 :            :                 return -EBADF;
    1339                 :          0 :         nfs4_state_mark_reclaim_nograce(clp, state);
    1340                 :            :         dprintk("%s: scheduling stateid recovery for server %s\n", __func__,
    1341                 :            :                         clp->cl_hostname);
    1342                 :          0 :         nfs4_schedule_state_manager(clp);
    1343                 :          0 :         return 0;
    1344                 :            : }
    1345                 :            : EXPORT_SYMBOL_GPL(nfs4_schedule_stateid_recovery);
    1346                 :            : 
    1347                 :          0 : void nfs_inode_find_state_and_recover(struct inode *inode,
    1348                 :            :                 const nfs4_stateid *stateid)
    1349                 :            : {
    1350                 :          0 :         struct nfs_client *clp = NFS_SERVER(inode)->nfs_client;
    1351                 :            :         struct nfs_inode *nfsi = NFS_I(inode);
    1352                 :            :         struct nfs_open_context *ctx;
    1353                 :            :         struct nfs4_state *state;
    1354                 :            :         bool found = false;
    1355                 :            : 
    1356                 :            :         spin_lock(&inode->i_lock);
    1357         [ #  # ]:          0 :         list_for_each_entry(ctx, &nfsi->open_files, list) {
    1358                 :          0 :                 state = ctx->state;
    1359         [ #  # ]:          0 :                 if (state == NULL)
    1360                 :          0 :                         continue;
    1361         [ #  # ]:          0 :                 if (!test_bit(NFS_DELEGATED_STATE, &state->flags))
    1362                 :          0 :                         continue;
    1363         [ #  # ]:          0 :                 if (!nfs4_stateid_match(&state->stateid, stateid))
    1364                 :          0 :                         continue;
    1365                 :          0 :                 nfs4_state_mark_reclaim_nograce(clp, state);
    1366                 :            :                 found = true;
    1367                 :            :         }
    1368                 :            :         spin_unlock(&inode->i_lock);
    1369         [ #  # ]:          0 :         if (found)
    1370                 :          0 :                 nfs4_schedule_state_manager(clp);
    1371                 :          0 : }
    1372                 :            : 
    1373                 :          0 : static void nfs4_state_mark_open_context_bad(struct nfs4_state *state)
    1374                 :            : {
    1375                 :          0 :         struct inode *inode = state->inode;
    1376                 :            :         struct nfs_inode *nfsi = NFS_I(inode);
    1377                 :            :         struct nfs_open_context *ctx;
    1378                 :            : 
    1379                 :            :         spin_lock(&inode->i_lock);
    1380         [ #  # ]:          0 :         list_for_each_entry(ctx, &nfsi->open_files, list) {
    1381         [ #  # ]:          0 :                 if (ctx->state != state)
    1382                 :          0 :                         continue;
    1383                 :          0 :                 set_bit(NFS_CONTEXT_BAD, &ctx->flags);
    1384                 :            :         }
    1385                 :            :         spin_unlock(&inode->i_lock);
    1386                 :          0 : }
    1387                 :            : 
    1388                 :            : static void nfs4_state_mark_recovery_failed(struct nfs4_state *state, int error)
    1389                 :            : {
    1390                 :          0 :         set_bit(NFS_STATE_RECOVERY_FAILED, &state->flags);
    1391                 :          0 :         nfs4_state_mark_open_context_bad(state);
    1392                 :            : }
    1393                 :            : 
    1394                 :            : 
    1395                 :          0 : static int nfs4_reclaim_locks(struct nfs4_state *state, const struct nfs4_state_recovery_ops *ops)
    1396                 :            : {
    1397                 :          0 :         struct inode *inode = state->inode;
    1398                 :            :         struct nfs_inode *nfsi = NFS_I(inode);
    1399                 :            :         struct file_lock *fl;
    1400                 :            :         int status = 0;
    1401                 :            : 
    1402         [ #  # ]:          0 :         if (inode->i_flock == NULL)
    1403                 :            :                 return 0;
    1404                 :            : 
    1405                 :            :         /* Guard against delegation returns and new lock/unlock calls */
    1406                 :          0 :         down_write(&nfsi->rwsem);
    1407                 :            :         /* Protect inode->i_flock using the BKL */
    1408                 :            :         spin_lock(&inode->i_lock);
    1409         [ #  # ]:          0 :         for (fl = inode->i_flock; fl != NULL; fl = fl->fl_next) {
    1410         [ #  # ]:          0 :                 if (!(fl->fl_flags & (FL_POSIX|FL_FLOCK)))
    1411                 :          0 :                         continue;
    1412         [ #  # ]:          0 :                 if (nfs_file_open_context(fl->fl_file)->state != state)
    1413                 :          0 :                         continue;
    1414                 :            :                 spin_unlock(&inode->i_lock);
    1415                 :          0 :                 status = ops->recover_lock(state, fl);
    1416   [ #  #  #  # ]:          0 :                 switch (status) {
    1417                 :            :                         case 0:
    1418                 :            :                                 break;
    1419                 :            :                         case -ESTALE:
    1420                 :            :                         case -NFS4ERR_ADMIN_REVOKED:
    1421                 :            :                         case -NFS4ERR_STALE_STATEID:
    1422                 :            :                         case -NFS4ERR_BAD_STATEID:
    1423                 :            :                         case -NFS4ERR_EXPIRED:
    1424                 :            :                         case -NFS4ERR_NO_GRACE:
    1425                 :            :                         case -NFS4ERR_STALE_CLIENTID:
    1426                 :            :                         case -NFS4ERR_BADSESSION:
    1427                 :            :                         case -NFS4ERR_BADSLOT:
    1428                 :            :                         case -NFS4ERR_BAD_HIGH_SLOT:
    1429                 :            :                         case -NFS4ERR_CONN_NOT_BOUND_TO_SESSION:
    1430                 :            :                                 goto out;
    1431                 :            :                         default:
    1432                 :          0 :                                 printk(KERN_ERR "NFS: %s: unhandled error %d\n",
    1433                 :            :                                          __func__, status);
    1434                 :            :                         case -ENOMEM:
    1435                 :            :                         case -NFS4ERR_DENIED:
    1436                 :            :                         case -NFS4ERR_RECLAIM_BAD:
    1437                 :            :                         case -NFS4ERR_RECLAIM_CONFLICT:
    1438                 :            :                                 /* kill_proc(fl->fl_pid, SIGLOST, 1); */
    1439                 :            :                                 status = 0;
    1440                 :            :                 }
    1441                 :            :                 spin_lock(&inode->i_lock);
    1442                 :            :         }
    1443                 :            :         spin_unlock(&inode->i_lock);
    1444                 :            : out:
    1445                 :          0 :         up_write(&nfsi->rwsem);
    1446                 :            :         return status;
    1447                 :            : }
    1448                 :            : 
    1449                 :          0 : static int nfs4_reclaim_open_state(struct nfs4_state_owner *sp, const struct nfs4_state_recovery_ops *ops)
    1450                 :            : {
    1451                 :            :         struct nfs4_state *state;
    1452                 :            :         struct nfs4_lock_state *lock;
    1453                 :            :         int status = 0;
    1454                 :            : 
    1455                 :            :         /* Note: we rely on the sp->so_states list being ordered 
    1456                 :            :          * so that we always reclaim open(O_RDWR) and/or open(O_WRITE)
    1457                 :            :          * states first.
    1458                 :            :          * This is needed to ensure that the server won't give us any
    1459                 :            :          * read delegations that we have to return if, say, we are
    1460                 :            :          * recovering after a network partition or a reboot from a
    1461                 :            :          * server that doesn't support a grace period.
    1462                 :            :          */
    1463                 :            :         spin_lock(&sp->so_lock);
    1464                 :            :         write_seqcount_begin(&sp->so_reclaim_seqcount);
    1465                 :            : restart:
    1466         [ #  # ]:          0 :         list_for_each_entry(state, &sp->so_states, open_states) {
    1467         [ #  # ]:          0 :                 if (!test_and_clear_bit(ops->state_flag_bit, &state->flags))
    1468                 :          0 :                         continue;
    1469         [ #  # ]:          0 :                 if (!nfs4_valid_open_stateid(state))
    1470                 :          0 :                         continue;
    1471         [ #  # ]:          0 :                 if (state->state == 0)
    1472                 :          0 :                         continue;
    1473                 :          0 :                 atomic_inc(&state->count);
    1474                 :            :                 spin_unlock(&sp->so_lock);
    1475                 :          0 :                 status = ops->recover_open(sp, state);
    1476         [ #  # ]:          0 :                 if (status >= 0) {
    1477                 :          0 :                         status = nfs4_reclaim_locks(state, ops);
    1478         [ #  # ]:          0 :                         if (status >= 0) {
    1479         [ #  # ]:          0 :                                 if (!test_bit(NFS_DELEGATED_STATE, &state->flags)) {
    1480                 :            :                                         spin_lock(&state->state_lock);
    1481         [ #  # ]:          0 :                                         list_for_each_entry(lock, &state->lock_states, ls_locks) {
    1482         [ #  # ]:          0 :                                                 if (!test_bit(NFS_LOCK_INITIALIZED, &lock->ls_flags))
    1483         [ #  # ]:          0 :                                                         pr_warn_ratelimited("NFS: "
    1484                 :            :                                                                             "%s: Lock reclaim "
    1485                 :            :                                                                             "failed!\n", __func__);
    1486                 :            :                                         }
    1487                 :            :                                         spin_unlock(&state->state_lock);
    1488                 :            :                                 }
    1489                 :          0 :                                 nfs4_put_open_state(state);
    1490                 :            :                                 spin_lock(&sp->so_lock);
    1491                 :            :                                 goto restart;
    1492                 :            :                         }
    1493                 :            :                 }
    1494   [ #  #  #  #  :          0 :                 switch (status) {
                   #  # ]
    1495                 :            :                         default:
    1496                 :          0 :                                 printk(KERN_ERR "NFS: %s: unhandled error %d\n",
    1497                 :            :                                         __func__, status);
    1498                 :            :                         case -ENOENT:
    1499                 :            :                         case -ENOMEM:
    1500                 :            :                         case -ESTALE:
    1501                 :            :                                 /* Open state on this file cannot be recovered */
    1502                 :            :                                 nfs4_state_mark_recovery_failed(state, status);
    1503                 :            :                                 break;
    1504                 :            :                         case -EAGAIN:
    1505                 :            :                                 ssleep(1);
    1506                 :            :                         case -NFS4ERR_ADMIN_REVOKED:
    1507                 :            :                         case -NFS4ERR_STALE_STATEID:
    1508                 :            :                         case -NFS4ERR_BAD_STATEID:
    1509                 :            :                         case -NFS4ERR_RECLAIM_BAD:
    1510                 :            :                         case -NFS4ERR_RECLAIM_CONFLICT:
    1511                 :          0 :                                 nfs4_state_mark_reclaim_nograce(sp->so_server->nfs_client, state);
    1512                 :          0 :                                 break;
    1513                 :            :                         case -NFS4ERR_EXPIRED:
    1514                 :            :                         case -NFS4ERR_NO_GRACE:
    1515                 :          0 :                                 nfs4_state_mark_reclaim_nograce(sp->so_server->nfs_client, state);
    1516                 :            :                         case -NFS4ERR_STALE_CLIENTID:
    1517                 :            :                         case -NFS4ERR_BADSESSION:
    1518                 :            :                         case -NFS4ERR_BADSLOT:
    1519                 :            :                         case -NFS4ERR_BAD_HIGH_SLOT:
    1520                 :            :                         case -NFS4ERR_CONN_NOT_BOUND_TO_SESSION:
    1521                 :            :                                 goto out_err;
    1522                 :            :                 }
    1523                 :          0 :                 nfs4_put_open_state(state);
    1524                 :            :                 spin_lock(&sp->so_lock);
    1525                 :            :                 goto restart;
    1526                 :            :         }
    1527                 :            :         write_seqcount_end(&sp->so_reclaim_seqcount);
    1528                 :            :         spin_unlock(&sp->so_lock);
    1529                 :          0 :         return 0;
    1530                 :            : out_err:
    1531                 :          0 :         nfs4_put_open_state(state);
    1532                 :            :         spin_lock(&sp->so_lock);
    1533                 :            :         write_seqcount_end(&sp->so_reclaim_seqcount);
    1534                 :            :         spin_unlock(&sp->so_lock);
    1535                 :          0 :         return status;
    1536                 :            : }
    1537                 :            : 
    1538                 :          0 : static void nfs4_clear_open_state(struct nfs4_state *state)
    1539                 :            : {
    1540                 :            :         struct nfs4_lock_state *lock;
    1541                 :            : 
    1542                 :          0 :         clear_bit(NFS_DELEGATED_STATE, &state->flags);
    1543                 :          0 :         clear_bit(NFS_O_RDONLY_STATE, &state->flags);
    1544                 :          0 :         clear_bit(NFS_O_WRONLY_STATE, &state->flags);
    1545                 :          0 :         clear_bit(NFS_O_RDWR_STATE, &state->flags);
    1546                 :            :         spin_lock(&state->state_lock);
    1547         [ #  # ]:          0 :         list_for_each_entry(lock, &state->lock_states, ls_locks) {
    1548                 :          0 :                 lock->ls_seqid.flags = 0;
    1549                 :          0 :                 clear_bit(NFS_LOCK_INITIALIZED, &lock->ls_flags);
    1550                 :            :         }
    1551                 :            :         spin_unlock(&state->state_lock);
    1552                 :          0 : }
    1553                 :            : 
    1554                 :          0 : static void nfs4_reset_seqids(struct nfs_server *server,
    1555                 :            :         int (*mark_reclaim)(struct nfs_client *clp, struct nfs4_state *state))
    1556                 :            : {
    1557                 :          0 :         struct nfs_client *clp = server->nfs_client;
    1558                 :            :         struct nfs4_state_owner *sp;
    1559                 :            :         struct rb_node *pos;
    1560                 :            :         struct nfs4_state *state;
    1561                 :            : 
    1562                 :            :         spin_lock(&clp->cl_lock);
    1563         [ #  # ]:          0 :         for (pos = rb_first(&server->state_owners);
    1564                 :            :              pos != NULL;
    1565                 :          0 :              pos = rb_next(pos)) {
    1566                 :            :                 sp = rb_entry(pos, struct nfs4_state_owner, so_server_node);
    1567                 :          0 :                 sp->so_seqid.flags = 0;
    1568                 :            :                 spin_lock(&sp->so_lock);
    1569         [ #  # ]:          0 :                 list_for_each_entry(state, &sp->so_states, open_states) {
    1570         [ #  # ]:          0 :                         if (mark_reclaim(clp, state))
    1571                 :          0 :                                 nfs4_clear_open_state(state);
    1572                 :            :                 }
    1573                 :            :                 spin_unlock(&sp->so_lock);
    1574                 :            :         }
    1575                 :            :         spin_unlock(&clp->cl_lock);
    1576                 :          0 : }
    1577                 :            : 
    1578                 :          0 : static void nfs4_state_mark_reclaim_helper(struct nfs_client *clp,
    1579                 :            :         int (*mark_reclaim)(struct nfs_client *clp, struct nfs4_state *state))
    1580                 :            : {
    1581                 :            :         struct nfs_server *server;
    1582                 :            : 
    1583                 :            :         rcu_read_lock();
    1584         [ #  # ]:          0 :         list_for_each_entry_rcu(server, &clp->cl_superblocks, client_link)
    1585                 :          0 :                 nfs4_reset_seqids(server, mark_reclaim);
    1586                 :            :         rcu_read_unlock();
    1587                 :          0 : }
    1588                 :            : 
    1589                 :            : static void nfs4_state_start_reclaim_reboot(struct nfs_client *clp)
    1590                 :            : {
    1591                 :            :         /* Mark all delegations for reclaim */
    1592                 :          0 :         nfs_delegation_mark_reclaim(clp);
    1593                 :          0 :         nfs4_state_mark_reclaim_helper(clp, nfs4_state_mark_reclaim_reboot);
    1594                 :            : }
    1595                 :            : 
    1596                 :            : static void nfs4_reclaim_complete(struct nfs_client *clp,
    1597                 :            :                                  const struct nfs4_state_recovery_ops *ops,
    1598                 :            :                                  struct rpc_cred *cred)
    1599                 :            : {
    1600                 :            :         /* Notify the server we're done reclaiming our state */
    1601         [ #  # ]:          0 :         if (ops->reclaim_complete)
    1602                 :          0 :                 (void)ops->reclaim_complete(clp, cred);
    1603                 :            : }
    1604                 :            : 
    1605                 :          0 : static void nfs4_clear_reclaim_server(struct nfs_server *server)
    1606                 :            : {
    1607                 :          0 :         struct nfs_client *clp = server->nfs_client;
    1608                 :            :         struct nfs4_state_owner *sp;
    1609                 :            :         struct rb_node *pos;
    1610                 :            :         struct nfs4_state *state;
    1611                 :            : 
    1612                 :            :         spin_lock(&clp->cl_lock);
    1613         [ #  # ]:          0 :         for (pos = rb_first(&server->state_owners);
    1614                 :            :              pos != NULL;
    1615                 :          0 :              pos = rb_next(pos)) {
    1616                 :            :                 sp = rb_entry(pos, struct nfs4_state_owner, so_server_node);
    1617                 :            :                 spin_lock(&sp->so_lock);
    1618         [ #  # ]:          0 :                 list_for_each_entry(state, &sp->so_states, open_states) {
    1619         [ #  # ]:          0 :                         if (!test_and_clear_bit(NFS_STATE_RECLAIM_REBOOT,
    1620                 :            :                                                 &state->flags))
    1621                 :          0 :                                 continue;
    1622                 :          0 :                         nfs4_state_mark_reclaim_nograce(clp, state);
    1623                 :            :                 }
    1624                 :            :                 spin_unlock(&sp->so_lock);
    1625                 :            :         }
    1626                 :            :         spin_unlock(&clp->cl_lock);
    1627                 :          0 : }
    1628                 :            : 
    1629                 :          0 : static int nfs4_state_clear_reclaim_reboot(struct nfs_client *clp)
    1630                 :            : {
    1631                 :            :         struct nfs_server *server;
    1632                 :            : 
    1633         [ #  # ]:          0 :         if (!test_and_clear_bit(NFS4CLNT_RECLAIM_REBOOT, &clp->cl_state))
    1634                 :            :                 return 0;
    1635                 :            : 
    1636                 :            :         rcu_read_lock();
    1637         [ #  # ]:          0 :         list_for_each_entry_rcu(server, &clp->cl_superblocks, client_link)
    1638                 :          0 :                 nfs4_clear_reclaim_server(server);
    1639                 :            :         rcu_read_unlock();
    1640                 :            : 
    1641                 :          0 :         nfs_delegation_reap_unclaimed(clp);
    1642                 :          0 :         return 1;
    1643                 :            : }
    1644                 :            : 
    1645                 :          0 : static void nfs4_state_end_reclaim_reboot(struct nfs_client *clp)
    1646                 :            : {
    1647                 :          0 :         const struct nfs4_state_recovery_ops *ops;
    1648                 :            :         struct rpc_cred *cred;
    1649                 :            : 
    1650         [ #  # ]:          0 :         if (!nfs4_state_clear_reclaim_reboot(clp))
    1651                 :          0 :                 return;
    1652                 :          0 :         ops = clp->cl_mvops->reboot_recovery_ops;
    1653                 :          0 :         cred = nfs4_get_clid_cred(clp);
    1654                 :            :         nfs4_reclaim_complete(clp, ops, cred);
    1655                 :          0 :         put_rpccred(cred);
    1656                 :            : }
    1657                 :            : 
    1658                 :            : static void nfs_delegation_clear_all(struct nfs_client *clp)
    1659                 :            : {
    1660                 :          0 :         nfs_delegation_mark_reclaim(clp);
    1661                 :          0 :         nfs_delegation_reap_unclaimed(clp);
    1662                 :            : }
    1663                 :            : 
    1664                 :          0 : static void nfs4_state_start_reclaim_nograce(struct nfs_client *clp)
    1665                 :            : {
    1666                 :            :         nfs_delegation_clear_all(clp);
    1667                 :          0 :         nfs4_state_mark_reclaim_helper(clp, nfs4_state_mark_reclaim_nograce);
    1668                 :          0 : }
    1669                 :            : 
    1670                 :          0 : static int nfs4_recovery_handle_error(struct nfs_client *clp, int error)
    1671                 :            : {
    1672   [ #  #  #  #  :          0 :         switch (error) {
             #  #  #  # ]
    1673                 :            :                 case 0:
    1674                 :            :                         break;
    1675                 :            :                 case -NFS4ERR_CB_PATH_DOWN:
    1676                 :            :                         nfs40_handle_cb_pathdown(clp);
    1677                 :            :                         break;
    1678                 :            :                 case -NFS4ERR_NO_GRACE:
    1679                 :          0 :                         nfs4_state_end_reclaim_reboot(clp);
    1680                 :          0 :                         break;
    1681                 :            :                 case -NFS4ERR_STALE_CLIENTID:
    1682                 :          0 :                         set_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state);
    1683                 :          0 :                         nfs4_state_clear_reclaim_reboot(clp);
    1684                 :            :                         nfs4_state_start_reclaim_reboot(clp);
    1685                 :            :                         break;
    1686                 :            :                 case -NFS4ERR_EXPIRED:
    1687                 :          0 :                         set_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state);
    1688                 :          0 :                         nfs4_state_start_reclaim_nograce(clp);
    1689                 :          0 :                         break;
    1690                 :            :                 case -NFS4ERR_BADSESSION:
    1691                 :            :                 case -NFS4ERR_BADSLOT:
    1692                 :            :                 case -NFS4ERR_BAD_HIGH_SLOT:
    1693                 :            :                 case -NFS4ERR_DEADSESSION:
    1694                 :            :                 case -NFS4ERR_SEQ_FALSE_RETRY:
    1695                 :            :                 case -NFS4ERR_SEQ_MISORDERED:
    1696                 :          0 :                         set_bit(NFS4CLNT_SESSION_RESET, &clp->cl_state);
    1697                 :            :                         /* Zero session reset errors */
    1698                 :          0 :                         break;
    1699                 :            :                 case -NFS4ERR_CONN_NOT_BOUND_TO_SESSION:
    1700                 :          0 :                         set_bit(NFS4CLNT_BIND_CONN_TO_SESSION, &clp->cl_state);
    1701                 :          0 :                         break;
    1702                 :            :                 default:
    1703                 :            :                         dprintk("%s: failed to handle error %d for server %s\n",
    1704                 :            :                                         __func__, error, clp->cl_hostname);
    1705                 :          0 :                         return error;
    1706                 :            :         }
    1707                 :            :         dprintk("%s: handled error %d for server %s\n", __func__, error,
    1708                 :            :                         clp->cl_hostname);
    1709                 :            :         return 0;
    1710                 :            : }
    1711                 :            : 
    1712                 :          0 : static int nfs4_do_reclaim(struct nfs_client *clp, const struct nfs4_state_recovery_ops *ops)
    1713                 :            : {
    1714                 :            :         struct nfs4_state_owner *sp;
    1715                 :            :         struct nfs_server *server;
    1716                 :            :         struct rb_node *pos;
    1717                 :            :         int status = 0;
    1718                 :            : 
    1719                 :            : restart:
    1720                 :            :         rcu_read_lock();
    1721         [ #  # ]:          0 :         list_for_each_entry_rcu(server, &clp->cl_superblocks, client_link) {
    1722                 :          0 :                 nfs4_purge_state_owners(server);
    1723                 :            :                 spin_lock(&clp->cl_lock);
    1724         [ #  # ]:          0 :                 for (pos = rb_first(&server->state_owners);
    1725                 :            :                      pos != NULL;
    1726                 :          0 :                      pos = rb_next(pos)) {
    1727                 :          0 :                         sp = rb_entry(pos,
    1728                 :            :                                 struct nfs4_state_owner, so_server_node);
    1729         [ #  # ]:          0 :                         if (!test_and_clear_bit(ops->owner_flag_bit,
    1730                 :            :                                                         &sp->so_flags))
    1731                 :          0 :                                 continue;
    1732                 :          0 :                         atomic_inc(&sp->so_count);
    1733                 :            :                         spin_unlock(&clp->cl_lock);
    1734                 :            :                         rcu_read_unlock();
    1735                 :            : 
    1736                 :          0 :                         status = nfs4_reclaim_open_state(sp, ops);
    1737         [ #  # ]:          0 :                         if (status < 0) {
    1738                 :          0 :                                 set_bit(ops->owner_flag_bit, &sp->so_flags);
    1739                 :          0 :                                 nfs4_put_state_owner(sp);
    1740                 :          0 :                                 return nfs4_recovery_handle_error(clp, status);
    1741                 :            :                         }
    1742                 :            : 
    1743                 :          0 :                         nfs4_put_state_owner(sp);
    1744                 :          0 :                         goto restart;
    1745                 :            :                 }
    1746                 :            :                 spin_unlock(&clp->cl_lock);
    1747                 :            :         }
    1748                 :            :         rcu_read_unlock();
    1749                 :          0 :         return status;
    1750                 :            : }
    1751                 :            : 
    1752                 :          0 : static int nfs4_check_lease(struct nfs_client *clp)
    1753                 :            : {
    1754                 :            :         struct rpc_cred *cred;
    1755                 :          0 :         const struct nfs4_state_maintenance_ops *ops =
    1756                 :          0 :                 clp->cl_mvops->state_renewal_ops;
    1757                 :            :         int status;
    1758                 :            : 
    1759                 :            :         /* Is the client already known to have an expired lease? */
    1760         [ #  # ]:          0 :         if (test_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state))
    1761                 :            :                 return 0;
    1762                 :            :         spin_lock(&clp->cl_lock);
    1763                 :          0 :         cred = ops->get_state_renewal_cred_locked(clp);
    1764                 :            :         spin_unlock(&clp->cl_lock);
    1765         [ #  # ]:          0 :         if (cred == NULL) {
    1766                 :          0 :                 cred = nfs4_get_clid_cred(clp);
    1767                 :            :                 status = -ENOKEY;
    1768         [ #  # ]:          0 :                 if (cred == NULL)
    1769                 :            :                         goto out;
    1770                 :            :         }
    1771                 :          0 :         status = ops->renew_lease(clp, cred);
    1772                 :          0 :         put_rpccred(cred);
    1773         [ #  # ]:          0 :         if (status == -ETIMEDOUT) {
    1774                 :          0 :                 set_bit(NFS4CLNT_CHECK_LEASE, &clp->cl_state);
    1775                 :          0 :                 return 0;
    1776                 :            :         }
    1777                 :            : out:
    1778                 :          0 :         return nfs4_recovery_handle_error(clp, status);
    1779                 :            : }
    1780                 :            : 
    1781                 :            : /* Set NFS4CLNT_LEASE_EXPIRED and reclaim reboot state for all v4.0 errors
    1782                 :            :  * and for recoverable errors on EXCHANGE_ID for v4.1
    1783                 :            :  */
    1784                 :          0 : static int nfs4_handle_reclaim_lease_error(struct nfs_client *clp, int status)
    1785                 :            : {
    1786   [ #  #  #  #  :          0 :         switch (status) {
                   #  # ]
    1787                 :            :         case -NFS4ERR_SEQ_MISORDERED:
    1788         [ #  # ]:          0 :                 if (test_and_set_bit(NFS4CLNT_PURGE_STATE, &clp->cl_state))
    1789                 :            :                         return -ESERVERFAULT;
    1790                 :            :                 /* Lease confirmation error: retry after purging the lease */
    1791                 :            :                 ssleep(1);
    1792                 :          0 :                 clear_bit(NFS4CLNT_LEASE_CONFIRM, &clp->cl_state);
    1793                 :          0 :                 break;
    1794                 :            :         case -NFS4ERR_STALE_CLIENTID:
    1795                 :          0 :                 clear_bit(NFS4CLNT_LEASE_CONFIRM, &clp->cl_state);
    1796                 :          0 :                 nfs4_state_clear_reclaim_reboot(clp);
    1797                 :            :                 nfs4_state_start_reclaim_reboot(clp);
    1798                 :            :                 break;
    1799                 :            :         case -NFS4ERR_CLID_INUSE:
    1800                 :          0 :                 pr_err("NFS: Server %s reports our clientid is in use\n",
    1801                 :            :                         clp->cl_hostname);
    1802                 :          0 :                 nfs_mark_client_ready(clp, -EPERM);
    1803                 :          0 :                 clear_bit(NFS4CLNT_LEASE_CONFIRM, &clp->cl_state);
    1804                 :          0 :                 return -EPERM;
    1805                 :            :         case -EACCES:
    1806                 :            :         case -NFS4ERR_DELAY:
    1807                 :            :         case -ETIMEDOUT:
    1808                 :            :         case -EAGAIN:
    1809                 :            :                 ssleep(1);
    1810                 :            :                 break;
    1811                 :            : 
    1812                 :            :         case -NFS4ERR_MINOR_VERS_MISMATCH:
    1813         [ #  # ]:          0 :                 if (clp->cl_cons_state == NFS_CS_SESSION_INITING)
    1814                 :          0 :                         nfs_mark_client_ready(clp, -EPROTONOSUPPORT);
    1815                 :            :                 dprintk("%s: exit with error %d for server %s\n",
    1816                 :            :                                 __func__, -EPROTONOSUPPORT, clp->cl_hostname);
    1817                 :            :                 return -EPROTONOSUPPORT;
    1818                 :            :         case -NFS4ERR_NOT_SAME: /* FixMe: implement recovery
    1819                 :            :                                  * in nfs4_exchange_id */
    1820                 :            :         default:
    1821                 :            :                 dprintk("%s: exit with error %d for server %s\n", __func__,
    1822                 :            :                                 status, clp->cl_hostname);
    1823                 :            :                 return status;
    1824                 :            :         }
    1825                 :          0 :         set_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state);
    1826                 :            :         dprintk("%s: handled error %d for server %s\n", __func__, status,
    1827                 :            :                         clp->cl_hostname);
    1828                 :          0 :         return 0;
    1829                 :            : }
    1830                 :            : 
    1831                 :          0 : static int nfs4_establish_lease(struct nfs_client *clp)
    1832                 :            : {
    1833                 :            :         struct rpc_cred *cred;
    1834                 :          0 :         const struct nfs4_state_recovery_ops *ops =
    1835                 :          0 :                 clp->cl_mvops->reboot_recovery_ops;
    1836                 :            :         int status;
    1837                 :            : 
    1838                 :          0 :         cred = nfs4_get_clid_cred(clp);
    1839         [ #  # ]:          0 :         if (cred == NULL)
    1840                 :            :                 return -ENOENT;
    1841                 :          0 :         status = ops->establish_clid(clp, cred);
    1842                 :          0 :         put_rpccred(cred);
    1843         [ #  # ]:          0 :         if (status != 0)
    1844                 :          0 :                 return status;
    1845                 :            :         pnfs_destroy_all_layouts(clp);
    1846                 :            :         return 0;
    1847                 :            : }
    1848                 :            : 
    1849                 :            : /*
    1850                 :            :  * Returns zero or a negative errno.  NFS4ERR values are converted
    1851                 :            :  * to local errno values.
    1852                 :            :  */
    1853                 :          0 : static int nfs4_reclaim_lease(struct nfs_client *clp)
    1854                 :            : {
    1855                 :            :         int status;
    1856                 :            : 
    1857                 :          0 :         status = nfs4_establish_lease(clp);
    1858         [ #  # ]:          0 :         if (status < 0)
    1859                 :          0 :                 return nfs4_handle_reclaim_lease_error(clp, status);
    1860         [ #  # ]:          0 :         if (test_and_clear_bit(NFS4CLNT_SERVER_SCOPE_MISMATCH, &clp->cl_state))
    1861                 :          0 :                 nfs4_state_start_reclaim_nograce(clp);
    1862         [ #  # ]:          0 :         if (!test_bit(NFS4CLNT_RECLAIM_NOGRACE, &clp->cl_state))
    1863                 :          0 :                 set_bit(NFS4CLNT_RECLAIM_REBOOT, &clp->cl_state);
    1864                 :          0 :         clear_bit(NFS4CLNT_CHECK_LEASE, &clp->cl_state);
    1865                 :          0 :         clear_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state);
    1866                 :          0 :         return 0;
    1867                 :            : }
    1868                 :            : 
    1869                 :          0 : static int nfs4_purge_lease(struct nfs_client *clp)
    1870                 :            : {
    1871                 :            :         int status;
    1872                 :            : 
    1873                 :          0 :         status = nfs4_establish_lease(clp);
    1874         [ #  # ]:          0 :         if (status < 0)
    1875                 :          0 :                 return nfs4_handle_reclaim_lease_error(clp, status);
    1876                 :          0 :         clear_bit(NFS4CLNT_PURGE_STATE, &clp->cl_state);
    1877                 :          0 :         set_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state);
    1878                 :          0 :         nfs4_state_start_reclaim_nograce(clp);
    1879                 :          0 :         return 0;
    1880                 :            : }
    1881                 :            : 
    1882                 :            : /*
    1883                 :            :  * Try remote migration of one FSID from a source server to a
    1884                 :            :  * destination server.  The source server provides a list of
    1885                 :            :  * potential destinations.
    1886                 :            :  *
    1887                 :            :  * Returns zero or a negative NFS4ERR status code.
    1888                 :            :  */
    1889                 :          0 : static int nfs4_try_migration(struct nfs_server *server, struct rpc_cred *cred)
    1890                 :            : {
    1891                 :          0 :         struct nfs_client *clp = server->nfs_client;
    1892                 :            :         struct nfs4_fs_locations *locations = NULL;
    1893                 :            :         struct inode *inode;
    1894                 :            :         struct page *page;
    1895                 :            :         int status, result;
    1896                 :            : 
    1897                 :            :         dprintk("--> %s: FSID %llx:%llx on \"%s\"\n", __func__,
    1898                 :            :                         (unsigned long long)server->fsid.major,
    1899                 :            :                         (unsigned long long)server->fsid.minor,
    1900                 :            :                         clp->cl_hostname);
    1901                 :            : 
    1902                 :            :         result = 0;
    1903                 :            :         page = alloc_page(GFP_KERNEL);
    1904                 :            :         locations = kmalloc(sizeof(struct nfs4_fs_locations), GFP_KERNEL);
    1905         [ #  # ]:          0 :         if (page == NULL || locations == NULL) {
    1906                 :            :                 dprintk("<-- %s: no memory\n", __func__);
    1907                 :            :                 goto out;
    1908                 :            :         }
    1909                 :            : 
    1910                 :          0 :         inode = server->super->s_root->d_inode;
    1911                 :          0 :         result = nfs4_proc_get_locations(inode, locations, page, cred);
    1912         [ #  # ]:          0 :         if (result) {
    1913                 :            :                 dprintk("<-- %s: failed to retrieve fs_locations: %d\n",
    1914                 :            :                         __func__, result);
    1915                 :            :                 goto out;
    1916                 :            :         }
    1917                 :            : 
    1918                 :            :         result = -NFS4ERR_NXIO;
    1919         [ #  # ]:          0 :         if (!(locations->fattr.valid & NFS_ATTR_FATTR_V4_LOCATIONS)) {
    1920                 :            :                 dprintk("<-- %s: No fs_locations data, migration skipped\n",
    1921                 :            :                         __func__);
    1922                 :            :                 goto out;
    1923                 :            :         }
    1924                 :            : 
    1925                 :          0 :         nfs4_begin_drain_session(clp);
    1926                 :            : 
    1927                 :          0 :         status = nfs4_replace_transport(server, locations);
    1928         [ #  # ]:          0 :         if (status != 0) {
    1929                 :            :                 dprintk("<-- %s: failed to replace transport: %d\n",
    1930                 :            :                         __func__, status);
    1931                 :            :                 goto out;
    1932                 :            :         }
    1933                 :            : 
    1934                 :            :         result = 0;
    1935                 :            :         dprintk("<-- %s: migration succeeded\n", __func__);
    1936                 :            : 
    1937                 :            : out:
    1938         [ #  # ]:          0 :         if (page != NULL)
    1939                 :          0 :                 __free_page(page);
    1940                 :          0 :         kfree(locations);
    1941         [ #  # ]:          0 :         if (result) {
    1942                 :          0 :                 pr_err("NFS: migration recovery failed (server %s)\n",
    1943                 :            :                                 clp->cl_hostname);
    1944                 :          0 :                 set_bit(NFS_MIG_FAILED, &server->mig_status);
    1945                 :            :         }
    1946                 :          0 :         return result;
    1947                 :            : }
    1948                 :            : 
    1949                 :            : /*
    1950                 :            :  * Returns zero or a negative NFS4ERR status code.
    1951                 :            :  */
    1952                 :          0 : static int nfs4_handle_migration(struct nfs_client *clp)
    1953                 :            : {
    1954                 :          0 :         const struct nfs4_state_maintenance_ops *ops =
    1955                 :          0 :                                 clp->cl_mvops->state_renewal_ops;
    1956                 :            :         struct nfs_server *server;
    1957                 :            :         struct rpc_cred *cred;
    1958                 :            : 
    1959                 :            :         dprintk("%s: migration reported on \"%s\"\n", __func__,
    1960                 :            :                         clp->cl_hostname);
    1961                 :            : 
    1962                 :            :         spin_lock(&clp->cl_lock);
    1963                 :          0 :         cred = ops->get_state_renewal_cred_locked(clp);
    1964                 :            :         spin_unlock(&clp->cl_lock);
    1965         [ #  # ]:          0 :         if (cred == NULL)
    1966                 :            :                 return -NFS4ERR_NOENT;
    1967                 :            : 
    1968                 :          0 :         clp->cl_mig_gen++;
    1969                 :            : restart:
    1970                 :            :         rcu_read_lock();
    1971         [ #  # ]:          0 :         list_for_each_entry_rcu(server, &clp->cl_superblocks, client_link) {
    1972                 :            :                 int status;
    1973                 :            : 
    1974         [ #  # ]:          0 :                 if (server->mig_gen == clp->cl_mig_gen)
    1975                 :          0 :                         continue;
    1976                 :          0 :                 server->mig_gen = clp->cl_mig_gen;
    1977                 :            : 
    1978         [ #  # ]:          0 :                 if (!test_and_clear_bit(NFS_MIG_IN_TRANSITION,
    1979                 :            :                                                 &server->mig_status))
    1980                 :          0 :                         continue;
    1981                 :            : 
    1982                 :            :                 rcu_read_unlock();
    1983                 :          0 :                 status = nfs4_try_migration(server, cred);
    1984         [ #  # ]:          0 :                 if (status < 0) {
    1985                 :          0 :                         put_rpccred(cred);
    1986                 :          0 :                         return status;
    1987                 :            :                 }
    1988                 :            :                 goto restart;
    1989                 :            :         }
    1990                 :            :         rcu_read_unlock();
    1991                 :          0 :         put_rpccred(cred);
    1992                 :          0 :         return 0;
    1993                 :            : }
    1994                 :            : 
    1995                 :            : /*
    1996                 :            :  * Test each nfs_server on the clp's cl_superblocks list to see
    1997                 :            :  * if it's moved to another server.  Stop when the server no longer
    1998                 :            :  * returns NFS4ERR_LEASE_MOVED.
    1999                 :            :  */
    2000                 :          0 : static int nfs4_handle_lease_moved(struct nfs_client *clp)
    2001                 :            : {
    2002                 :          0 :         const struct nfs4_state_maintenance_ops *ops =
    2003                 :          0 :                                 clp->cl_mvops->state_renewal_ops;
    2004                 :            :         struct nfs_server *server;
    2005                 :            :         struct rpc_cred *cred;
    2006                 :            : 
    2007                 :            :         dprintk("%s: lease moved reported on \"%s\"\n", __func__,
    2008                 :            :                         clp->cl_hostname);
    2009                 :            : 
    2010                 :            :         spin_lock(&clp->cl_lock);
    2011                 :          0 :         cred = ops->get_state_renewal_cred_locked(clp);
    2012                 :            :         spin_unlock(&clp->cl_lock);
    2013         [ #  # ]:          0 :         if (cred == NULL)
    2014                 :            :                 return -NFS4ERR_NOENT;
    2015                 :            : 
    2016                 :          0 :         clp->cl_mig_gen++;
    2017                 :            : restart:
    2018                 :            :         rcu_read_lock();
    2019         [ #  # ]:          0 :         list_for_each_entry_rcu(server, &clp->cl_superblocks, client_link) {
    2020                 :            :                 struct inode *inode;
    2021                 :            :                 int status;
    2022                 :            : 
    2023         [ #  # ]:          0 :                 if (server->mig_gen == clp->cl_mig_gen)
    2024                 :          0 :                         continue;
    2025                 :          0 :                 server->mig_gen = clp->cl_mig_gen;
    2026                 :            : 
    2027                 :            :                 rcu_read_unlock();
    2028                 :            : 
    2029                 :          0 :                 inode = server->super->s_root->d_inode;
    2030                 :          0 :                 status = nfs4_proc_fsid_present(inode, cred);
    2031         [ #  # ]:          0 :                 if (status != -NFS4ERR_MOVED)
    2032                 :            :                         goto restart;   /* wasn't this one */
    2033         [ #  # ]:          0 :                 if (nfs4_try_migration(server, cred) == -NFS4ERR_LEASE_MOVED)
    2034                 :            :                         goto restart;   /* there are more */
    2035                 :            :                 goto out;
    2036                 :            :         }
    2037                 :            :         rcu_read_unlock();
    2038                 :            : 
    2039                 :            : out:
    2040                 :          0 :         put_rpccred(cred);
    2041                 :          0 :         return 0;
    2042                 :            : }
    2043                 :            : 
    2044                 :            : /**
    2045                 :            :  * nfs4_discover_server_trunking - Detect server IP address trunking
    2046                 :            :  *
    2047                 :            :  * @clp: nfs_client under test
    2048                 :            :  * @result: OUT: found nfs_client, or clp
    2049                 :            :  *
    2050                 :            :  * Returns zero or a negative errno.  If zero is returned,
    2051                 :            :  * an nfs_client pointer is planted in "result".
    2052                 :            :  *
    2053                 :            :  * Note: since we are invoked in process context, and
    2054                 :            :  * not from inside the state manager, we cannot use
    2055                 :            :  * nfs4_handle_reclaim_lease_error().
    2056                 :            :  */
    2057                 :          0 : int nfs4_discover_server_trunking(struct nfs_client *clp,
    2058                 :            :                                   struct nfs_client **result)
    2059                 :            : {
    2060                 :          0 :         const struct nfs4_state_recovery_ops *ops =
    2061                 :          0 :                                 clp->cl_mvops->reboot_recovery_ops;
    2062                 :            :         struct rpc_clnt *clnt;
    2063                 :            :         struct rpc_cred *cred;
    2064                 :            :         int i, status;
    2065                 :            : 
    2066                 :            :         dprintk("NFS: %s: testing '%s'\n", __func__, clp->cl_hostname);
    2067                 :            : 
    2068                 :          0 :         clnt = clp->cl_rpcclient;
    2069                 :            :         i = 0;
    2070                 :            : 
    2071                 :          0 :         mutex_lock(&nfs_clid_init_mutex);
    2072                 :            : again:
    2073                 :            :         status  = -ENOENT;
    2074                 :          0 :         cred = nfs4_get_clid_cred(clp);
    2075         [ #  # ]:          0 :         if (cred == NULL)
    2076                 :            :                 goto out_unlock;
    2077                 :            : 
    2078                 :          0 :         status = ops->detect_trunking(clp, result, cred);
    2079                 :          0 :         put_rpccred(cred);
    2080   [ #  #  #  #  :          0 :         switch (status) {
             #  #  #  # ]
    2081                 :            :         case 0:
    2082                 :            :                 break;
    2083                 :            :         case -NFS4ERR_DELAY:
    2084                 :            :         case -ETIMEDOUT:
    2085                 :            :         case -EAGAIN:
    2086                 :            :                 ssleep(1);
    2087                 :            :         case -NFS4ERR_STALE_CLIENTID:
    2088                 :            :                 dprintk("NFS: %s after status %d, retrying\n",
    2089                 :            :                         __func__, status);
    2090                 :            :                 goto again;
    2091                 :            :         case -EACCES:
    2092         [ #  # ]:          0 :                 if (i++ == 0) {
    2093                 :          0 :                         nfs4_root_machine_cred(clp);
    2094                 :          0 :                         goto again;
    2095                 :            :                 }
    2096         [ #  # ]:          0 :                 if (clnt->cl_auth->au_flavor == RPC_AUTH_UNIX)
    2097                 :            :                         break;
    2098                 :            :         case -NFS4ERR_CLID_INUSE:
    2099                 :            :         case -NFS4ERR_WRONGSEC:
    2100                 :            :                 /* No point in retrying if we already used RPC_AUTH_UNIX */
    2101         [ #  # ]:          0 :                 if (clnt->cl_auth->au_flavor == RPC_AUTH_UNIX) {
    2102                 :            :                         status = -EPERM;
    2103                 :            :                         break;
    2104                 :            :                 }
    2105                 :          0 :                 clnt = rpc_clone_client_set_auth(clnt, RPC_AUTH_UNIX);
    2106         [ #  # ]:          0 :                 if (IS_ERR(clnt)) {
    2107                 :            :                         status = PTR_ERR(clnt);
    2108                 :          0 :                         break;
    2109                 :            :                 }
    2110                 :            :                 /* Note: this is safe because we haven't yet marked the
    2111                 :            :                  * client as ready, so we are the only user of
    2112                 :            :                  * clp->cl_rpcclient
    2113                 :            :                  */
    2114                 :          0 :                 clnt = xchg(&clp->cl_rpcclient, clnt);
    2115                 :          0 :                 rpc_shutdown_client(clnt);
    2116                 :          0 :                 clnt = clp->cl_rpcclient;
    2117                 :          0 :                 goto again;
    2118                 :            : 
    2119                 :            :         case -NFS4ERR_MINOR_VERS_MISMATCH:
    2120                 :            :                 status = -EPROTONOSUPPORT;
    2121                 :          0 :                 break;
    2122                 :            : 
    2123                 :            :         case -EKEYEXPIRED:
    2124                 :            :         case -NFS4ERR_NOT_SAME: /* FixMe: implement recovery
    2125                 :            :                                  * in nfs4_exchange_id */
    2126                 :            :                 status = -EKEYEXPIRED;
    2127                 :          0 :                 break;
    2128                 :            :         default:
    2129                 :          0 :                 pr_warn("NFS: %s unhandled error %d. Exiting with error EIO\n",
    2130                 :            :                                 __func__, status);
    2131                 :            :                 status = -EIO;
    2132                 :            :         }
    2133                 :            : 
    2134                 :            : out_unlock:
    2135                 :          0 :         mutex_unlock(&nfs_clid_init_mutex);
    2136                 :            :         dprintk("NFS: %s: status = %d\n", __func__, status);
    2137                 :          0 :         return status;
    2138                 :            : }
    2139                 :            : 
    2140                 :            : #ifdef CONFIG_NFS_V4_1
    2141                 :            : void nfs4_schedule_session_recovery(struct nfs4_session *session, int err)
    2142                 :            : {
    2143                 :            :         struct nfs_client *clp = session->clp;
    2144                 :            : 
    2145                 :            :         switch (err) {
    2146                 :            :         default:
    2147                 :            :                 set_bit(NFS4CLNT_SESSION_RESET, &clp->cl_state);
    2148                 :            :                 break;
    2149                 :            :         case -NFS4ERR_CONN_NOT_BOUND_TO_SESSION:
    2150                 :            :                 set_bit(NFS4CLNT_BIND_CONN_TO_SESSION, &clp->cl_state);
    2151                 :            :         }
    2152                 :            :         nfs4_schedule_lease_recovery(clp);
    2153                 :            : }
    2154                 :            : EXPORT_SYMBOL_GPL(nfs4_schedule_session_recovery);
    2155                 :            : 
    2156                 :            : static void nfs41_ping_server(struct nfs_client *clp)
    2157                 :            : {
    2158                 :            :         /* Use CHECK_LEASE to ping the server with a SEQUENCE */
    2159                 :            :         set_bit(NFS4CLNT_CHECK_LEASE, &clp->cl_state);
    2160                 :            :         nfs4_schedule_state_manager(clp);
    2161                 :            : }
    2162                 :            : 
    2163                 :            : void nfs41_server_notify_target_slotid_update(struct nfs_client *clp)
    2164                 :            : {
    2165                 :            :         nfs41_ping_server(clp);
    2166                 :            : }
    2167                 :            : 
    2168                 :            : void nfs41_server_notify_highest_slotid_update(struct nfs_client *clp)
    2169                 :            : {
    2170                 :            :         nfs41_ping_server(clp);
    2171                 :            : }
    2172                 :            : 
    2173                 :            : static void nfs4_reset_all_state(struct nfs_client *clp)
    2174                 :            : {
    2175                 :            :         if (test_and_set_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state) == 0) {
    2176                 :            :                 set_bit(NFS4CLNT_PURGE_STATE, &clp->cl_state);
    2177                 :            :                 clear_bit(NFS4CLNT_LEASE_CONFIRM, &clp->cl_state);
    2178                 :            :                 nfs4_state_start_reclaim_nograce(clp);
    2179                 :            :                 dprintk("%s: scheduling reset of all state for server %s!\n",
    2180                 :            :                                 __func__, clp->cl_hostname);
    2181                 :            :                 nfs4_schedule_state_manager(clp);
    2182                 :            :         }
    2183                 :            : }
    2184                 :            : 
    2185                 :            : static void nfs41_handle_server_reboot(struct nfs_client *clp)
    2186                 :            : {
    2187                 :            :         if (test_and_set_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state) == 0) {
    2188                 :            :                 nfs4_state_start_reclaim_reboot(clp);
    2189                 :            :                 dprintk("%s: server %s rebooted!\n", __func__,
    2190                 :            :                                 clp->cl_hostname);
    2191                 :            :                 nfs4_schedule_state_manager(clp);
    2192                 :            :         }
    2193                 :            : }
    2194                 :            : 
    2195                 :            : static void nfs41_handle_state_revoked(struct nfs_client *clp)
    2196                 :            : {
    2197                 :            :         nfs4_reset_all_state(clp);
    2198                 :            :         dprintk("%s: state revoked on server %s\n", __func__, clp->cl_hostname);
    2199                 :            : }
    2200                 :            : 
    2201                 :            : static void nfs41_handle_recallable_state_revoked(struct nfs_client *clp)
    2202                 :            : {
    2203                 :            :         /* This will need to handle layouts too */
    2204                 :            :         nfs_expire_all_delegations(clp);
    2205                 :            :         dprintk("%s: Recallable state revoked on server %s!\n", __func__,
    2206                 :            :                         clp->cl_hostname);
    2207                 :            : }
    2208                 :            : 
    2209                 :            : static void nfs41_handle_backchannel_fault(struct nfs_client *clp)
    2210                 :            : {
    2211                 :            :         nfs_expire_all_delegations(clp);
    2212                 :            :         if (test_and_set_bit(NFS4CLNT_SESSION_RESET, &clp->cl_state) == 0)
    2213                 :            :                 nfs4_schedule_state_manager(clp);
    2214                 :            :         dprintk("%s: server %s declared a backchannel fault\n", __func__,
    2215                 :            :                         clp->cl_hostname);
    2216                 :            : }
    2217                 :            : 
    2218                 :            : static void nfs41_handle_cb_path_down(struct nfs_client *clp)
    2219                 :            : {
    2220                 :            :         if (test_and_set_bit(NFS4CLNT_BIND_CONN_TO_SESSION,
    2221                 :            :                 &clp->cl_state) == 0)
    2222                 :            :                 nfs4_schedule_state_manager(clp);
    2223                 :            : }
    2224                 :            : 
    2225                 :            : void nfs41_handle_sequence_flag_errors(struct nfs_client *clp, u32 flags)
    2226                 :            : {
    2227                 :            :         if (!flags)
    2228                 :            :                 return;
    2229                 :            : 
    2230                 :            :         dprintk("%s: \"%s\" (client ID %llx) flags=0x%08x\n",
    2231                 :            :                 __func__, clp->cl_hostname, clp->cl_clientid, flags);
    2232                 :            : 
    2233                 :            :         if (flags & SEQ4_STATUS_RESTART_RECLAIM_NEEDED)
    2234                 :            :                 nfs41_handle_server_reboot(clp);
    2235                 :            :         if (flags & (SEQ4_STATUS_EXPIRED_ALL_STATE_REVOKED |
    2236                 :            :                             SEQ4_STATUS_EXPIRED_SOME_STATE_REVOKED |
    2237                 :            :                             SEQ4_STATUS_ADMIN_STATE_REVOKED))
    2238                 :            :                 nfs41_handle_state_revoked(clp);
    2239                 :            :         if (flags & SEQ4_STATUS_LEASE_MOVED)
    2240                 :            :                 nfs4_schedule_lease_moved_recovery(clp);
    2241                 :            :         if (flags & SEQ4_STATUS_RECALLABLE_STATE_REVOKED)
    2242                 :            :                 nfs41_handle_recallable_state_revoked(clp);
    2243                 :            :         if (flags & SEQ4_STATUS_BACKCHANNEL_FAULT)
    2244                 :            :                 nfs41_handle_backchannel_fault(clp);
    2245                 :            :         else if (flags & (SEQ4_STATUS_CB_PATH_DOWN |
    2246                 :            :                                 SEQ4_STATUS_CB_PATH_DOWN_SESSION))
    2247                 :            :                 nfs41_handle_cb_path_down(clp);
    2248                 :            : }
    2249                 :            : 
    2250                 :            : static int nfs4_reset_session(struct nfs_client *clp)
    2251                 :            : {
    2252                 :            :         struct rpc_cred *cred;
    2253                 :            :         int status;
    2254                 :            : 
    2255                 :            :         if (!nfs4_has_session(clp))
    2256                 :            :                 return 0;
    2257                 :            :         nfs4_begin_drain_session(clp);
    2258                 :            :         cred = nfs4_get_clid_cred(clp);
    2259                 :            :         status = nfs4_proc_destroy_session(clp->cl_session, cred);
    2260                 :            :         switch (status) {
    2261                 :            :         case 0:
    2262                 :            :         case -NFS4ERR_BADSESSION:
    2263                 :            :         case -NFS4ERR_DEADSESSION:
    2264                 :            :                 break;
    2265                 :            :         case -NFS4ERR_BACK_CHAN_BUSY:
    2266                 :            :         case -NFS4ERR_DELAY:
    2267                 :            :                 set_bit(NFS4CLNT_SESSION_RESET, &clp->cl_state);
    2268                 :            :                 status = 0;
    2269                 :            :                 ssleep(1);
    2270                 :            :                 goto out;
    2271                 :            :         default:
    2272                 :            :                 status = nfs4_recovery_handle_error(clp, status);
    2273                 :            :                 goto out;
    2274                 :            :         }
    2275                 :            : 
    2276                 :            :         memset(clp->cl_session->sess_id.data, 0, NFS4_MAX_SESSIONID_LEN);
    2277                 :            :         status = nfs4_proc_create_session(clp, cred);
    2278                 :            :         if (status) {
    2279                 :            :                 dprintk("%s: session reset failed with status %d for server %s!\n",
    2280                 :            :                         __func__, status, clp->cl_hostname);
    2281                 :            :                 status = nfs4_handle_reclaim_lease_error(clp, status);
    2282                 :            :                 goto out;
    2283                 :            :         }
    2284                 :            :         nfs41_finish_session_reset(clp);
    2285                 :            :         dprintk("%s: session reset was successful for server %s!\n",
    2286                 :            :                         __func__, clp->cl_hostname);
    2287                 :            : out:
    2288                 :            :         if (cred)
    2289                 :            :                 put_rpccred(cred);
    2290                 :            :         return status;
    2291                 :            : }
    2292                 :            : 
    2293                 :            : static int nfs4_bind_conn_to_session(struct nfs_client *clp)
    2294                 :            : {
    2295                 :            :         struct rpc_cred *cred;
    2296                 :            :         int ret;
    2297                 :            : 
    2298                 :            :         if (!nfs4_has_session(clp))
    2299                 :            :                 return 0;
    2300                 :            :         nfs4_begin_drain_session(clp);
    2301                 :            :         cred = nfs4_get_clid_cred(clp);
    2302                 :            :         ret = nfs4_proc_bind_conn_to_session(clp, cred);
    2303                 :            :         if (cred)
    2304                 :            :                 put_rpccred(cred);
    2305                 :            :         clear_bit(NFS4CLNT_BIND_CONN_TO_SESSION, &clp->cl_state);
    2306                 :            :         switch (ret) {
    2307                 :            :         case 0:
    2308                 :            :                 dprintk("%s: bind_conn_to_session was successful for server %s!\n",
    2309                 :            :                         __func__, clp->cl_hostname);
    2310                 :            :                 break;
    2311                 :            :         case -NFS4ERR_DELAY:
    2312                 :            :                 ssleep(1);
    2313                 :            :                 set_bit(NFS4CLNT_BIND_CONN_TO_SESSION, &clp->cl_state);
    2314                 :            :                 break;
    2315                 :            :         default:
    2316                 :            :                 return nfs4_recovery_handle_error(clp, ret);
    2317                 :            :         }
    2318                 :            :         return 0;
    2319                 :            : }
    2320                 :            : #else /* CONFIG_NFS_V4_1 */
    2321                 :            : static int nfs4_reset_session(struct nfs_client *clp) { return 0; }
    2322                 :            : 
    2323                 :            : static int nfs4_bind_conn_to_session(struct nfs_client *clp)
    2324                 :            : {
    2325                 :            :         return 0;
    2326                 :            : }
    2327                 :            : #endif /* CONFIG_NFS_V4_1 */
    2328                 :            : 
    2329                 :          0 : static void nfs4_state_manager(struct nfs_client *clp)
    2330                 :            : {
    2331                 :            :         int status = 0;
    2332                 :            :         const char *section = "", *section_sep = "";
    2333                 :            : 
    2334                 :            :         /* Ensure exclusive access to NFSv4 state */
    2335                 :            :         do {
    2336         [ #  # ]:          0 :                 if (test_bit(NFS4CLNT_PURGE_STATE, &clp->cl_state)) {
    2337                 :            :                         section = "purge state";
    2338                 :          0 :                         status = nfs4_purge_lease(clp);
    2339         [ #  # ]:          0 :                         if (status < 0)
    2340                 :            :                                 goto out_error;
    2341                 :          0 :                         continue;
    2342                 :            :                 }
    2343                 :            : 
    2344         [ #  # ]:          0 :                 if (test_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state)) {
    2345                 :            :                         section = "lease expired";
    2346                 :            :                         /* We're going to have to re-establish a clientid */
    2347                 :          0 :                         status = nfs4_reclaim_lease(clp);
    2348         [ #  # ]:          0 :                         if (status < 0)
    2349                 :            :                                 goto out_error;
    2350                 :          0 :                         continue;
    2351                 :            :                 }
    2352                 :            : 
    2353                 :            :                 /* Initialize or reset the session */
    2354         [ #  # ]:          0 :                 if (test_and_clear_bit(NFS4CLNT_SESSION_RESET, &clp->cl_state)) {
    2355                 :            :                         section = "reset session";
    2356                 :            :                         status = nfs4_reset_session(clp);
    2357         [ #  # ]:          0 :                         if (test_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state))
    2358                 :          0 :                                 continue;
    2359                 :            :                         if (status < 0)
    2360                 :            :                                 goto out_error;
    2361                 :            :                 }
    2362                 :            : 
    2363                 :            :                 /* Send BIND_CONN_TO_SESSION */
    2364         [ #  # ]:          0 :                 if (test_and_clear_bit(NFS4CLNT_BIND_CONN_TO_SESSION,
    2365                 :            :                                 &clp->cl_state)) {
    2366                 :            :                         section = "bind conn to session";
    2367                 :            :                         status = nfs4_bind_conn_to_session(clp);
    2368                 :            :                         if (status < 0)
    2369                 :            :                                 goto out_error;
    2370                 :          0 :                         continue;
    2371                 :            :                 }
    2372                 :            : 
    2373         [ #  # ]:          0 :                 if (test_and_clear_bit(NFS4CLNT_CHECK_LEASE, &clp->cl_state)) {
    2374                 :            :                         section = "check lease";
    2375                 :          0 :                         status = nfs4_check_lease(clp);
    2376         [ #  # ]:          0 :                         if (status < 0)
    2377                 :            :                                 goto out_error;
    2378                 :            :                 }
    2379                 :            : 
    2380         [ #  # ]:          0 :                 if (test_and_clear_bit(NFS4CLNT_MOVED, &clp->cl_state)) {
    2381                 :            :                         section = "migration";
    2382                 :          0 :                         status = nfs4_handle_migration(clp);
    2383         [ #  # ]:          0 :                         if (status < 0)
    2384                 :            :                                 goto out_error;
    2385                 :            :                 }
    2386                 :            : 
    2387         [ #  # ]:          0 :                 if (test_and_clear_bit(NFS4CLNT_LEASE_MOVED, &clp->cl_state)) {
    2388                 :            :                         section = "lease moved";
    2389                 :          0 :                         status = nfs4_handle_lease_moved(clp);
    2390         [ #  # ]:          0 :                         if (status < 0)
    2391                 :            :                                 goto out_error;
    2392                 :            :                 }
    2393                 :            : 
    2394                 :            :                 /* First recover reboot state... */
    2395         [ #  # ]:          0 :                 if (test_bit(NFS4CLNT_RECLAIM_REBOOT, &clp->cl_state)) {
    2396                 :            :                         section = "reclaim reboot";
    2397                 :          0 :                         status = nfs4_do_reclaim(clp,
    2398                 :          0 :                                 clp->cl_mvops->reboot_recovery_ops);
    2399 [ #  # ][ #  # ]:          0 :                         if (test_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state) ||
    2400                 :            :                             test_bit(NFS4CLNT_SESSION_RESET, &clp->cl_state))
    2401                 :          0 :                                 continue;
    2402                 :          0 :                         nfs4_state_end_reclaim_reboot(clp);
    2403         [ #  # ]:          0 :                         if (test_bit(NFS4CLNT_RECLAIM_NOGRACE, &clp->cl_state))
    2404                 :          0 :                                 continue;
    2405         [ #  # ]:          0 :                         if (status < 0)
    2406                 :            :                                 goto out_error;
    2407                 :            :                 }
    2408                 :            : 
    2409                 :            :                 /* Now recover expired state... */
    2410         [ #  # ]:          0 :                 if (test_and_clear_bit(NFS4CLNT_RECLAIM_NOGRACE, &clp->cl_state)) {
    2411                 :            :                         section = "reclaim nograce";
    2412                 :          0 :                         status = nfs4_do_reclaim(clp,
    2413                 :          0 :                                 clp->cl_mvops->nograce_recovery_ops);
    2414 [ #  # ][ #  # ]:          0 :                         if (test_bit(NFS4CLNT_LEASE_EXPIRED, &clp->cl_state) ||
    2415         [ #  # ]:          0 :                             test_bit(NFS4CLNT_SESSION_RESET, &clp->cl_state) ||
    2416                 :            :                             test_bit(NFS4CLNT_RECLAIM_REBOOT, &clp->cl_state))
    2417                 :          0 :                                 continue;
    2418         [ #  # ]:          0 :                         if (status < 0)
    2419                 :            :                                 goto out_error;
    2420                 :            :                 }
    2421                 :            : 
    2422                 :          0 :                 nfs4_end_drain_session(clp);
    2423         [ #  # ]:          0 :                 if (test_and_clear_bit(NFS4CLNT_DELEGRETURN, &clp->cl_state)) {
    2424                 :          0 :                         nfs_client_return_marked_delegations(clp);
    2425                 :          0 :                         continue;
    2426                 :            :                 }
    2427                 :            : 
    2428                 :          0 :                 nfs4_clear_state_manager_bit(clp);
    2429                 :            :                 /* Did we race with an attempt to give us more work? */
    2430         [ #  # ]:          0 :                 if (clp->cl_state == 0)
    2431                 :            :                         break;
    2432         [ #  # ]:          0 :                 if (test_and_set_bit(NFS4CLNT_MANAGER_RUNNING, &clp->cl_state) != 0)
    2433                 :            :                         break;
    2434         [ #  # ]:          0 :         } while (atomic_read(&clp->cl_count) > 1);
    2435                 :          0 :         return;
    2436                 :            : out_error:
    2437         [ #  # ]:          0 :         if (strlen(section))
    2438                 :            :                 section_sep = ": ";
    2439         [ #  # ]:          0 :         pr_warn_ratelimited("NFS: state manager%s%s failed on NFSv4 server %s"
    2440                 :            :                         " with error %d\n", section_sep, section,
    2441                 :            :                         clp->cl_hostname, -status);
    2442                 :            :         ssleep(1);
    2443                 :          0 :         nfs4_end_drain_session(clp);
    2444                 :          0 :         nfs4_clear_state_manager_bit(clp);
    2445                 :            : }
    2446                 :            : 
    2447                 :          0 : static int nfs4_run_state_manager(void *ptr)
    2448                 :            : {
    2449                 :            :         struct nfs_client *clp = ptr;
    2450                 :            : 
    2451                 :          0 :         allow_signal(SIGKILL);
    2452                 :          0 :         nfs4_state_manager(clp);
    2453                 :          0 :         nfs_put_client(clp);
    2454                 :          0 :         module_put_and_exit(0);
    2455                 :            :         return 0;
    2456                 :            : }
    2457                 :            : 
    2458                 :            : /*
    2459                 :            :  * Local variables:
    2460                 :            :  *  c-basic-offset: 8
    2461                 :            :  * End:
    2462                 :            :  */

Generated by: LCOV version 1.9