Branch data Line data Source code
1 : : /*
2 : : * net/dst.h Protocol independent destination cache definitions.
3 : : *
4 : : * Authors: Alexey Kuznetsov, <kuznet@ms2.inr.ac.ru>
5 : : *
6 : : */
7 : :
8 : : #ifndef _NET_DST_H
9 : : #define _NET_DST_H
10 : :
11 : : #include <net/dst_ops.h>
12 : : #include <linux/netdevice.h>
13 : : #include <linux/rtnetlink.h>
14 : : #include <linux/rcupdate.h>
15 : : #include <linux/bug.h>
16 : : #include <linux/jiffies.h>
17 : : #include <net/neighbour.h>
18 : : #include <asm/processor.h>
19 : :
20 : : #define DST_GC_MIN (HZ/10)
21 : : #define DST_GC_INC (HZ/2)
22 : : #define DST_GC_MAX (120*HZ)
23 : :
24 : : /* Each dst_entry has reference count and sits in some parent list(s).
25 : : * When it is removed from parent list, it is "freed" (dst_free).
26 : : * After this it enters dead state (dst->obsolete > 0) and if its refcnt
27 : : * is zero, it can be destroyed immediately, otherwise it is added
28 : : * to gc list and garbage collector periodically checks the refcnt.
29 : : */
30 : :
31 : : struct sk_buff;
32 : :
33 : : struct dst_entry {
34 : : struct rcu_head rcu_head;
35 : : struct dst_entry *child;
36 : : struct net_device *dev;
37 : : struct dst_ops *ops;
38 : : unsigned long _metrics;
39 : : unsigned long expires;
40 : : struct dst_entry *path;
41 : : struct dst_entry *from;
42 : : #ifdef CONFIG_XFRM
43 : : struct xfrm_state *xfrm;
44 : : #else
45 : : void *__pad1;
46 : : #endif
47 : : int (*input)(struct sk_buff *);
48 : : int (*output)(struct sk_buff *);
49 : :
50 : : unsigned short flags;
51 : : #define DST_HOST 0x0001
52 : : #define DST_NOXFRM 0x0002
53 : : #define DST_NOPOLICY 0x0004
54 : : #define DST_NOHASH 0x0008
55 : : #define DST_NOCACHE 0x0010
56 : : #define DST_NOCOUNT 0x0020
57 : : #define DST_NOPEER 0x0040
58 : : #define DST_FAKE_RTABLE 0x0080
59 : : #define DST_XFRM_TUNNEL 0x0100
60 : : #define DST_XFRM_QUEUE 0x0200
61 : :
62 : : unsigned short pending_confirm;
63 : :
64 : : short error;
65 : :
66 : : /* A non-zero value of dst->obsolete forces by-hand validation
67 : : * of the route entry. Positive values are set by the generic
68 : : * dst layer to indicate that the entry has been forcefully
69 : : * destroyed.
70 : : *
71 : : * Negative values are used by the implementation layer code to
72 : : * force invocation of the dst_ops->check() method.
73 : : */
74 : : short obsolete;
75 : : #define DST_OBSOLETE_NONE 0
76 : : #define DST_OBSOLETE_DEAD 2
77 : : #define DST_OBSOLETE_FORCE_CHK -1
78 : : #define DST_OBSOLETE_KILL -2
79 : : unsigned short header_len; /* more space at head required */
80 : : unsigned short trailer_len; /* space to reserve at tail */
81 : : #ifdef CONFIG_IP_ROUTE_CLASSID
82 : : __u32 tclassid;
83 : : #else
84 : : __u32 __pad2;
85 : : #endif
86 : :
87 : : /*
88 : : * Align __refcnt to a 64 bytes alignment
89 : : * (L1_CACHE_SIZE would be too much)
90 : : */
91 : : #ifdef CONFIG_64BIT
92 : : long __pad_to_align_refcnt[2];
93 : : #endif
94 : : /*
95 : : * __refcnt wants to be on a different cache line from
96 : : * input/output/ops or performance tanks badly
97 : : */
98 : : atomic_t __refcnt; /* client references */
99 : : int __use;
100 : : unsigned long lastuse;
101 : : union {
102 : : struct dst_entry *next;
103 : : struct rtable __rcu *rt_next;
104 : : struct rt6_info *rt6_next;
105 : : struct dn_route __rcu *dn_next;
106 : : };
107 : : };
108 : :
109 : : u32 *dst_cow_metrics_generic(struct dst_entry *dst, unsigned long old);
110 : : extern const u32 dst_default_metrics[];
111 : :
112 : : #define DST_METRICS_READ_ONLY 0x1UL
113 : : #define __DST_METRICS_PTR(Y) \
114 : : ((u32 *)((Y) & ~DST_METRICS_READ_ONLY))
115 : : #define DST_METRICS_PTR(X) __DST_METRICS_PTR((X)->_metrics)
116 : :
117 : : static inline bool dst_metrics_read_only(const struct dst_entry *dst)
118 : : {
119 : 0 : return dst->_metrics & DST_METRICS_READ_ONLY;
120 : : }
121 : :
122 : : void __dst_destroy_metrics_generic(struct dst_entry *dst, unsigned long old);
123 : :
124 : : static inline void dst_destroy_metrics_generic(struct dst_entry *dst)
125 : : {
126 : 0 : unsigned long val = dst->_metrics;
127 [ # # ]: 0 : if (!(val & DST_METRICS_READ_ONLY))
128 : 0 : __dst_destroy_metrics_generic(dst, val);
129 : : }
130 : :
131 : : static inline u32 *dst_metrics_write_ptr(struct dst_entry *dst)
132 : : {
133 : 5 : unsigned long p = dst->_metrics;
134 : :
135 [ # # ][ - + ]: 5 : BUG_ON(!p);
[ # # ][ # # ]
[ # # ][ # # ]
[ # # ][ # # ]
136 : :
137 [ # # ][ + - ]: 5 : if (p & DST_METRICS_READ_ONLY)
[ # # ][ # # ]
[ # # ][ # # ]
[ # # ]
138 : 5 : return dst->ops->cow_metrics(dst, p);
139 : 0 : return __DST_METRICS_PTR(p);
140 : : }
141 : :
142 : : /* This may only be invoked before the entry has reached global
143 : : * visibility.
144 : : */
145 : : static inline void dst_init_metrics(struct dst_entry *dst,
146 : : const u32 *src_metrics,
147 : : bool read_only)
148 : : {
149 : 104 : dst->_metrics = ((unsigned long) src_metrics) |
150 : : (read_only ? DST_METRICS_READ_ONLY : 0);
151 : : }
152 : :
153 : : static inline void dst_copy_metrics(struct dst_entry *dest, const struct dst_entry *src)
154 : : {
155 : : u32 *dst_metrics = dst_metrics_write_ptr(dest);
156 : :
157 [ + - ][ # # ]: 10 : if (dst_metrics) {
158 : 5 : u32 *src_metrics = DST_METRICS_PTR(src);
159 : :
160 : 5 : memcpy(dst_metrics, src_metrics, RTAX_MAX * sizeof(u32));
161 : : }
162 : : }
163 : :
164 : : static inline u32 *dst_metrics_ptr(struct dst_entry *dst)
165 : : {
166 : 0 : return DST_METRICS_PTR(dst);
167 : : }
168 : :
169 : : static inline u32
170 : : dst_metric_raw(const struct dst_entry *dst, const int metric)
171 : : {
172 : 185049 : u32 *p = DST_METRICS_PTR(dst);
173 : :
174 : 120300 : return p[metric-1];
175 : : }
176 : :
177 : : static inline u32
178 : 114656 : dst_metric(const struct dst_entry *dst, const int metric)
179 : : {
180 : : WARN_ON_ONCE(metric == RTAX_HOPLIMIT ||
181 : : metric == RTAX_ADVMSS ||
182 : : metric == RTAX_MTU);
183 : : return dst_metric_raw(dst, metric);
184 : : }
185 : :
186 : : static inline u32
187 : 106 : dst_metric_advmss(const struct dst_entry *dst)
188 : : {
189 : : u32 advmss = dst_metric_raw(dst, RTAX_ADVMSS);
190 : :
191 [ + - ]: 106 : if (!advmss)
[ + - + - ]
[ + - ]
192 : 106 : advmss = dst->ops->default_advmss(dst);
193 : :
194 : : return advmss;
195 : : }
196 : :
197 : : static inline void dst_metric_set(struct dst_entry *dst, int metric, u32 val)
198 : : {
199 : : u32 *p = dst_metrics_write_ptr(dst);
200 : :
201 [ # # ][ # # ]: 0 : if (p)
[ # # ][ # # ]
[ # # ]
202 : 0 : p[metric-1] = val;
203 : : }
204 : :
205 : : static inline u32
206 : : dst_feature(const struct dst_entry *dst, u32 feature)
207 : : {
208 : 0 : return dst_metric(dst, RTAX_FEATURES) & feature;
209 : : }
210 : :
211 : : static inline u32 dst_mtu(const struct dst_entry *dst)
212 : : {
213 : 46501 : return dst->ops->mtu(dst);
214 : : }
215 : :
216 : : /* RTT metrics are stored in milliseconds for user ABI, but used as jiffies */
217 : : static inline unsigned long dst_metric_rtt(const struct dst_entry *dst, int metric)
218 : : {
219 : 0 : return msecs_to_jiffies(dst_metric(dst, metric));
220 : : }
221 : :
222 : : static inline u32
223 : : dst_allfrag(const struct dst_entry *dst)
224 : : {
225 : : int ret = dst_feature(dst, RTAX_FEATURE_ALLFRAG);
226 : : return ret;
227 : : }
228 : :
229 : : static inline int
230 : : dst_metric_locked(const struct dst_entry *dst, int metric)
231 : : {
232 : 110078 : return dst_metric(dst, RTAX_LOCK) & (1<<metric);
233 : : }
234 : :
235 : : static inline void dst_hold(struct dst_entry *dst)
236 : : {
237 : : /*
238 : : * If your kernel compilation stops here, please check
239 : : * __pad_to_align_refcnt declaration in struct dst_entry
240 : : */
241 : : BUILD_BUG_ON(offsetof(struct dst_entry, __refcnt) & 63);
242 : 290 : atomic_inc(&dst->__refcnt);
243 : : }
244 : :
245 : : static inline void dst_use(struct dst_entry *dst, unsigned long time)
246 : : {
247 : : dst_hold(dst);
248 : 0 : dst->__use++;
249 : 0 : dst->lastuse = time;
250 : : }
251 : :
252 : : static inline void dst_use_noref(struct dst_entry *dst, unsigned long time)
253 : : {
254 : : dst->__use++;
255 : : dst->lastuse = time;
256 : : }
257 : :
258 : : static inline struct dst_entry *dst_clone(struct dst_entry *dst)
259 : : {
260 [ + - ][ - + ]: 50951 : if (dst)
[ # # ]
261 : 4078 : atomic_inc(&dst->__refcnt);
262 : : return dst;
263 : : }
264 : :
265 : : void dst_release(struct dst_entry *dst);
266 : :
267 : : static inline void refdst_drop(unsigned long refdst)
268 : : {
269 [ + + ][ + + ]: 44954 : if (!(refdst & SKB_DST_NOREF))
270 : 4210 : dst_release((struct dst_entry *)(refdst & SKB_DST_PTRMASK));
271 : : }
272 : :
273 : : /**
274 : : * skb_dst_drop - drops skb dst
275 : : * @skb: buffer
276 : : *
277 : : * Drops dst reference count if a reference was taken.
278 : : */
279 : : static inline void skb_dst_drop(struct sk_buff *skb)
280 : : {
281 [ + + ][ # # ]: 1355584 : if (skb->_skb_refdst) {
[ + + ]
282 : : refdst_drop(skb->_skb_refdst);
283 : 44954 : skb->_skb_refdst = 0UL;
284 : : }
285 : : }
286 : :
287 : : static inline void skb_dst_copy(struct sk_buff *nskb, const struct sk_buff *oskb)
288 : : {
289 : 46873 : nskb->_skb_refdst = oskb->_skb_refdst;
290 [ + - ]: 46873 : if (!(nskb->_skb_refdst & SKB_DST_NOREF))
291 : : dst_clone(skb_dst(nskb));
292 : : }
293 : :
294 : : /**
295 : : * skb_dst_force - makes sure skb dst is refcounted
296 : : * @skb: buffer
297 : : *
298 : : * If dst is not yet refcounted, let's do it
299 : : */
300 : 23034 : static inline void skb_dst_force(struct sk_buff *skb)
301 : : {
302 [ + + ][ - + ]: 23034 : if (skb_dst_is_noref(skb)) {
[ # # ]
303 : : WARN_ON(!rcu_read_lock_held());
304 : 4078 : skb->_skb_refdst &= ~SKB_DST_NOREF;
305 : : dst_clone(skb_dst(skb));
306 : : }
307 : : }
308 : :
309 : :
310 : : /**
311 : : * __skb_tunnel_rx - prepare skb for rx reinsert
312 : : * @skb: buffer
313 : : * @dev: tunnel device
314 : : * @net: netns for packet i/o
315 : : *
316 : : * After decapsulation, packet is going to re-enter (netif_rx()) our stack,
317 : : * so make some cleanups. (no accounting done)
318 : : */
319 : : static inline void __skb_tunnel_rx(struct sk_buff *skb, struct net_device *dev,
320 : : struct net *net)
321 : : {
322 : 0 : skb->dev = dev;
323 : :
324 : : /*
325 : : * Clear hash so that we can recalulate the hash for the
326 : : * encapsulated packet, unless we have already determine the hash
327 : : * over the L4 4-tuple.
328 : : */
329 : : skb_clear_hash_if_not_l4(skb);
330 : : skb_set_queue_mapping(skb, 0);
331 : 0 : skb_scrub_packet(skb, !net_eq(net, dev_net(dev)));
332 : : }
333 : :
334 : : /**
335 : : * skb_tunnel_rx - prepare skb for rx reinsert
336 : : * @skb: buffer
337 : : * @dev: tunnel device
338 : : *
339 : : * After decapsulation, packet is going to re-enter (netif_rx()) our stack,
340 : : * so make some cleanups, and perform accounting.
341 : : * Note: this accounting is not SMP safe.
342 : : */
343 : : static inline void skb_tunnel_rx(struct sk_buff *skb, struct net_device *dev,
344 : : struct net *net)
345 : : {
346 : : /* TODO : stats should be SMP safe */
347 : : dev->stats.rx_packets++;
348 : : dev->stats.rx_bytes += skb->len;
349 : : __skb_tunnel_rx(skb, dev, net);
350 : : }
351 : :
352 : : /* Children define the path of the packet through the
353 : : * Linux networking. Thus, destinations are stackable.
354 : : */
355 : :
356 : 0 : static inline struct dst_entry *skb_dst_pop(struct sk_buff *skb)
357 : : {
358 : 0 : struct dst_entry *child = dst_clone(skb_dst(skb)->child);
359 : :
360 : : skb_dst_drop(skb);
361 : : return child;
362 : : }
363 : :
364 : : int dst_discard(struct sk_buff *skb);
365 : : void *dst_alloc(struct dst_ops *ops, struct net_device *dev, int initial_ref,
366 : : int initial_obsolete, unsigned short flags);
367 : : void __dst_free(struct dst_entry *dst);
368 : : struct dst_entry *dst_destroy(struct dst_entry *dst);
369 : :
370 : : static inline void dst_free(struct dst_entry *dst)
371 : : {
372 [ # # ][ + - ]: 5 : if (dst->obsolete > 0)
[ # # ][ # # ]
[ # # ][ # # ]
373 : : return;
374 [ # # ][ + - ]: 5 : if (!atomic_read(&dst->__refcnt)) {
[ # # ][ # # ]
[ # # ][ # # ]
375 : 5 : dst = dst_destroy(dst);
376 [ # # - + : 5 : if (!dst)
# # # # #
# # # ]
377 : : return;
378 : : }
379 : 0 : __dst_free(dst);
380 : : }
381 : :
382 : 0 : static inline void dst_rcu_free(struct rcu_head *head)
383 : : {
384 : : struct dst_entry *dst = container_of(head, struct dst_entry, rcu_head);
385 : : dst_free(dst);
386 : 0 : }
387 : :
388 : : static inline void dst_confirm(struct dst_entry *dst)
389 : : {
390 : 21172 : dst->pending_confirm = 1;
391 : : }
392 : :
393 : : static inline int dst_neigh_output(struct dst_entry *dst, struct neighbour *n,
394 : : struct sk_buff *skb)
395 : : {
396 : : const struct hh_cache *hh;
397 : :
398 [ + + ][ # # ]: 23680 : if (dst->pending_confirm) {
399 : 16719 : unsigned long now = jiffies;
400 : :
401 : 16719 : dst->pending_confirm = 0;
402 : : /* avoid dirtying neighbour */
403 [ + + ][ # # ]: 16719 : if (n->confirmed != now)
404 : 8202 : n->confirmed = now;
405 : : }
406 : :
407 : : hh = &n->hh;
408 [ + + ][ + + ]: 23680 : if ((n->nud_state & NUD_CONNECTED) && hh->hh_len)
[ # # ][ # # ]
409 : : return neigh_hh_output(hh, skb);
410 : : else
411 : 23680 : return n->output(n, skb);
412 : : }
413 : :
414 : : static inline struct neighbour *dst_neigh_lookup(const struct dst_entry *dst, const void *daddr)
415 : : {
416 : 0 : struct neighbour *n = dst->ops->neigh_lookup(dst, NULL, daddr);
417 [ # # ][ # # ]: 0 : return IS_ERR(n) ? NULL : n;
[ # # ][ # # ]
418 : : }
419 : :
420 : : static inline struct neighbour *dst_neigh_lookup_skb(const struct dst_entry *dst,
421 : : struct sk_buff *skb)
422 : : {
423 : 0 : struct neighbour *n = dst->ops->neigh_lookup(dst, skb, NULL);
424 [ # # ]: 0 : return IS_ERR(n) ? NULL : n;
425 : : }
426 : :
427 : 0 : static inline void dst_link_failure(struct sk_buff *skb)
428 : : {
429 : : struct dst_entry *dst = skb_dst(skb);
430 [ # # ][ # # ]: 0 : if (dst && dst->ops && dst->ops->link_failure)
[ # # ][ # # ]
[ # # ][ # # ]
[ # # ][ # # ]
[ # # ][ # # ]
[ # # ][ # # ]
431 : 0 : dst->ops->link_failure(skb);
432 : : }
433 : :
434 : : static inline void dst_set_expires(struct dst_entry *dst, int timeout)
435 : : {
436 : 0 : unsigned long expires = jiffies + timeout;
437 : :
438 [ # # ]: 0 : if (expires == 0)
439 : : expires = 1;
440 : :
441 [ # # ][ # # ]: 0 : if (dst->expires == 0 || time_before(expires, dst->expires))
442 : 0 : dst->expires = expires;
443 : : }
444 : :
445 : : /* Output packet to network from transport. */
446 : 0 : static inline int dst_output(struct sk_buff *skb)
447 : : {
448 : 23680 : return skb_dst(skb)->output(skb);
449 : : }
450 : :
451 : : /* Input packet from network to transport. */
452 : 21834 : static inline int dst_input(struct sk_buff *skb)
453 : : {
454 : 21834 : return skb_dst(skb)->input(skb);
455 : : }
456 : :
457 : : static inline struct dst_entry *dst_check(struct dst_entry *dst, u32 cookie)
458 : : {
459 [ + - ][ # # ]: 20930 : if (dst->obsolete)
[ # # ]
460 : 20930 : dst = dst->ops->check(dst, cookie);
461 : : return dst;
462 : : }
463 : :
464 : : void dst_init(void);
465 : :
466 : : /* Flags for xfrm_lookup flags argument. */
467 : : enum {
468 : : XFRM_LOOKUP_ICMP = 1 << 0,
469 : : };
470 : :
471 : : struct flowi;
472 : : #ifndef CONFIG_XFRM
473 : : static inline struct dst_entry *xfrm_lookup(struct net *net,
474 : : struct dst_entry *dst_orig,
475 : : const struct flowi *fl, struct sock *sk,
476 : : int flags)
477 : : {
478 : : return dst_orig;
479 : : }
480 : :
481 : : static inline struct xfrm_state *dst_xfrm(const struct dst_entry *dst)
482 : : {
483 : : return NULL;
484 : : }
485 : :
486 : : #else
487 : : struct dst_entry *xfrm_lookup(struct net *net, struct dst_entry *dst_orig,
488 : : const struct flowi *fl, struct sock *sk,
489 : : int flags);
490 : :
491 : : /* skb attached with this dst needs transformation if dst->xfrm is valid */
492 : : static inline struct xfrm_state *dst_xfrm(const struct dst_entry *dst)
493 : : {
494 : : return dst->xfrm;
495 : : }
496 : : #endif
497 : :
498 : : #endif /* _NET_DST_H */
|
