Branch data Line data Source code
1 : : /*
2 : : * net/dst.h Protocol independent destination cache definitions.
3 : : *
4 : : * Authors: Alexey Kuznetsov, <kuznet@ms2.inr.ac.ru>
5 : : *
6 : : */
7 : :
8 : : #ifndef _NET_DST_H
9 : : #define _NET_DST_H
10 : :
11 : : #include <net/dst_ops.h>
12 : : #include <linux/netdevice.h>
13 : : #include <linux/rtnetlink.h>
14 : : #include <linux/rcupdate.h>
15 : : #include <linux/bug.h>
16 : : #include <linux/jiffies.h>
17 : : #include <net/neighbour.h>
18 : : #include <asm/processor.h>
19 : :
20 : : #define DST_GC_MIN (HZ/10)
21 : : #define DST_GC_INC (HZ/2)
22 : : #define DST_GC_MAX (120*HZ)
23 : :
24 : : /* Each dst_entry has reference count and sits in some parent list(s).
25 : : * When it is removed from parent list, it is "freed" (dst_free).
26 : : * After this it enters dead state (dst->obsolete > 0) and if its refcnt
27 : : * is zero, it can be destroyed immediately, otherwise it is added
28 : : * to gc list and garbage collector periodically checks the refcnt.
29 : : */
30 : :
31 : : struct sk_buff;
32 : :
33 : : struct dst_entry {
34 : : struct rcu_head rcu_head;
35 : : struct dst_entry *child;
36 : : struct net_device *dev;
37 : : struct dst_ops *ops;
38 : : unsigned long _metrics;
39 : : unsigned long expires;
40 : : struct dst_entry *path;
41 : : struct dst_entry *from;
42 : : #ifdef CONFIG_XFRM
43 : : struct xfrm_state *xfrm;
44 : : #else
45 : : void *__pad1;
46 : : #endif
47 : : int (*input)(struct sk_buff *);
48 : : int (*output)(struct sk_buff *);
49 : :
50 : : unsigned short flags;
51 : : #define DST_HOST 0x0001
52 : : #define DST_NOXFRM 0x0002
53 : : #define DST_NOPOLICY 0x0004
54 : : #define DST_NOHASH 0x0008
55 : : #define DST_NOCACHE 0x0010
56 : : #define DST_NOCOUNT 0x0020
57 : : #define DST_NOPEER 0x0040
58 : : #define DST_FAKE_RTABLE 0x0080
59 : : #define DST_XFRM_TUNNEL 0x0100
60 : : #define DST_XFRM_QUEUE 0x0200
61 : :
62 : : unsigned short pending_confirm;
63 : :
64 : : short error;
65 : :
66 : : /* A non-zero value of dst->obsolete forces by-hand validation
67 : : * of the route entry. Positive values are set by the generic
68 : : * dst layer to indicate that the entry has been forcefully
69 : : * destroyed.
70 : : *
71 : : * Negative values are used by the implementation layer code to
72 : : * force invocation of the dst_ops->check() method.
73 : : */
74 : : short obsolete;
75 : : #define DST_OBSOLETE_NONE 0
76 : : #define DST_OBSOLETE_DEAD 2
77 : : #define DST_OBSOLETE_FORCE_CHK -1
78 : : #define DST_OBSOLETE_KILL -2
79 : : unsigned short header_len; /* more space at head required */
80 : : unsigned short trailer_len; /* space to reserve at tail */
81 : : #ifdef CONFIG_IP_ROUTE_CLASSID
82 : : __u32 tclassid;
83 : : #else
84 : : __u32 __pad2;
85 : : #endif
86 : :
87 : : /*
88 : : * Align __refcnt to a 64 bytes alignment
89 : : * (L1_CACHE_SIZE would be too much)
90 : : */
91 : : #ifdef CONFIG_64BIT
92 : : long __pad_to_align_refcnt[2];
93 : : #endif
94 : : /*
95 : : * __refcnt wants to be on a different cache line from
96 : : * input/output/ops or performance tanks badly
97 : : */
98 : : atomic_t __refcnt; /* client references */
99 : : int __use;
100 : : unsigned long lastuse;
101 : : union {
102 : : struct dst_entry *next;
103 : : struct rtable __rcu *rt_next;
104 : : struct rt6_info *rt6_next;
105 : : struct dn_route __rcu *dn_next;
106 : : };
107 : : };
108 : :
109 : : u32 *dst_cow_metrics_generic(struct dst_entry *dst, unsigned long old);
110 : : extern const u32 dst_default_metrics[];
111 : :
112 : : #define DST_METRICS_READ_ONLY 0x1UL
113 : : #define __DST_METRICS_PTR(Y) \
114 : : ((u32 *)((Y) & ~DST_METRICS_READ_ONLY))
115 : : #define DST_METRICS_PTR(X) __DST_METRICS_PTR((X)->_metrics)
116 : :
117 : : static inline bool dst_metrics_read_only(const struct dst_entry *dst)
118 : : {
119 : 0 : return dst->_metrics & DST_METRICS_READ_ONLY;
120 : : }
121 : :
122 : : void __dst_destroy_metrics_generic(struct dst_entry *dst, unsigned long old);
123 : :
124 : : static inline void dst_destroy_metrics_generic(struct dst_entry *dst)
125 : : {
126 : 0 : unsigned long val = dst->_metrics;
127 [ # # ]: 0 : if (!(val & DST_METRICS_READ_ONLY))
128 : 0 : __dst_destroy_metrics_generic(dst, val);
129 : : }
130 : :
131 : : static inline u32 *dst_metrics_write_ptr(struct dst_entry *dst)
132 : : {
133 : 105 : unsigned long p = dst->_metrics;
134 : :
135 [ # # ][ - + ]: 105 : BUG_ON(!p);
[ # # ][ # # ]
[ # # ][ # # ]
[ # # ][ # # ]
136 : :
137 [ # # ][ + - ]: 105 : if (p & DST_METRICS_READ_ONLY)
[ # # ][ # # ]
[ # # ][ # # ]
[ # # ]
138 : 105 : return dst->ops->cow_metrics(dst, p);
139 : 0 : return __DST_METRICS_PTR(p);
140 : : }
141 : :
142 : : /* This may only be invoked before the entry has reached global
143 : : * visibility.
144 : : */
145 : : static inline void dst_init_metrics(struct dst_entry *dst,
146 : : const u32 *src_metrics,
147 : : bool read_only)
148 : : {
149 : 854 : dst->_metrics = ((unsigned long) src_metrics) |
150 : : (read_only ? DST_METRICS_READ_ONLY : 0);
151 : : }
152 : :
153 : : static inline void dst_copy_metrics(struct dst_entry *dest, const struct dst_entry *src)
154 : : {
155 : : u32 *dst_metrics = dst_metrics_write_ptr(dest);
156 : :
157 [ + - ][ # # ]: 210 : if (dst_metrics) {
158 : 105 : u32 *src_metrics = DST_METRICS_PTR(src);
159 : :
160 : 105 : memcpy(dst_metrics, src_metrics, RTAX_MAX * sizeof(u32));
161 : : }
162 : : }
163 : :
164 : : static inline u32 *dst_metrics_ptr(struct dst_entry *dst)
165 : : {
166 : 0 : return DST_METRICS_PTR(dst);
167 : : }
168 : :
169 : : static inline u32
170 : : dst_metric_raw(const struct dst_entry *dst, const int metric)
171 : : {
172 : 336484 : u32 *p = DST_METRICS_PTR(dst);
173 : :
174 : 210327 : return p[metric-1];
175 : : }
176 : :
177 : : static inline u32
178 : 185749 : dst_metric(const struct dst_entry *dst, const int metric)
179 : : {
180 : : WARN_ON_ONCE(metric == RTAX_HOPLIMIT ||
181 : : metric == RTAX_ADVMSS ||
182 : : metric == RTAX_MTU);
183 : : return dst_metric_raw(dst, metric);
184 : : }
185 : :
186 : : static inline u32
187 : 116 : dst_metric_advmss(const struct dst_entry *dst)
188 : : {
189 : : u32 advmss = dst_metric_raw(dst, RTAX_ADVMSS);
190 : :
191 [ + - ]: 116 : if (!advmss)
[ + - + - ]
[ + - ]
192 : 116 : advmss = dst->ops->default_advmss(dst);
193 : :
194 : : return advmss;
195 : : }
196 : :
197 : : static inline void dst_metric_set(struct dst_entry *dst, int metric, u32 val)
198 : : {
199 : : u32 *p = dst_metrics_write_ptr(dst);
200 : :
201 [ # # ][ # # ]: 0 : if (p)
[ # # ][ # # ]
[ # # ]
202 : 0 : p[metric-1] = val;
203 : : }
204 : :
205 : : static inline u32
206 : : dst_feature(const struct dst_entry *dst, u32 feature)
207 : : {
208 : 0 : return dst_metric(dst, RTAX_FEATURES) & feature;
209 : : }
210 : :
211 : : static inline u32 dst_mtu(const struct dst_entry *dst)
212 : : {
213 : 95975 : return dst->ops->mtu(dst);
214 : : }
215 : :
216 : : /* RTT metrics are stored in milliseconds for user ABI, but used as jiffies */
217 : : static inline unsigned long dst_metric_rtt(const struct dst_entry *dst, int metric)
218 : : {
219 : 0 : return msecs_to_jiffies(dst_metric(dst, metric));
220 : : }
221 : :
222 : : static inline u32
223 : : dst_allfrag(const struct dst_entry *dst)
224 : : {
225 : : int ret = dst_feature(dst, RTAX_FEATURE_ALLFRAG);
226 : : return ret;
227 : : }
228 : :
229 : : static inline int
230 : : dst_metric_locked(const struct dst_entry *dst, int metric)
231 : : {
232 : 176994 : return dst_metric(dst, RTAX_LOCK) & (1<<metric);
233 : : }
234 : :
235 : : static inline void dst_hold(struct dst_entry *dst)
236 : : {
237 : : /*
238 : : * If your kernel compilation stops here, please check
239 : : * __pad_to_align_refcnt declaration in struct dst_entry
240 : : */
241 : : BUILD_BUG_ON(offsetof(struct dst_entry, __refcnt) & 63);
242 : 773 : atomic_inc(&dst->__refcnt);
243 : : }
244 : :
245 : : static inline void dst_use(struct dst_entry *dst, unsigned long time)
246 : : {
247 : : dst_hold(dst);
248 : 0 : dst->__use++;
249 : 0 : dst->lastuse = time;
250 : : }
251 : :
252 : : static inline void dst_use_noref(struct dst_entry *dst, unsigned long time)
253 : : {
254 : : dst->__use++;
255 : : dst->lastuse = time;
256 : : }
257 : :
258 : : static inline struct dst_entry *dst_clone(struct dst_entry *dst)
259 : : {
260 [ + - ][ + + ]: 106650 : if (dst)
[ # # ]
261 : 10528 : atomic_inc(&dst->__refcnt);
262 : : return dst;
263 : : }
264 : :
265 : : void dst_release(struct dst_entry *dst);
266 : :
267 : : static inline void refdst_drop(unsigned long refdst)
268 : : {
269 [ + + ][ + + ]: 128798 : if (!(refdst & SKB_DST_NOREF))
270 : 11570 : dst_release((struct dst_entry *)(refdst & SKB_DST_PTRMASK));
271 : : }
272 : :
273 : : /**
274 : : * skb_dst_drop - drops skb dst
275 : : * @skb: buffer
276 : : *
277 : : * Drops dst reference count if a reference was taken.
278 : : */
279 : : static inline void skb_dst_drop(struct sk_buff *skb)
280 : : {
281 [ + + ][ # # ]: 1500256 : if (skb->_skb_refdst) {
[ + + ]
282 : : refdst_drop(skb->_skb_refdst);
283 : 128798 : skb->_skb_refdst = 0UL;
284 : : }
285 : : }
286 : :
287 : : static inline void skb_dst_copy(struct sk_buff *nskb, const struct sk_buff *oskb)
288 : : {
289 : 96122 : nskb->_skb_refdst = oskb->_skb_refdst;
290 [ + - ]: 96122 : if (!(nskb->_skb_refdst & SKB_DST_NOREF))
291 : : dst_clone(skb_dst(nskb));
292 : : }
293 : :
294 : : /**
295 : : * skb_dst_force - makes sure skb dst is refcounted
296 : : * @skb: buffer
297 : : *
298 : : * If dst is not yet refcounted, let's do it
299 : : */
300 : 63051 : static inline void skb_dst_force(struct sk_buff *skb)
301 : : {
302 [ + + ][ + + ]: 63051 : if (skb_dst_is_noref(skb)) {
[ # # ]
303 : : WARN_ON(!rcu_read_lock_held());
304 : 10528 : skb->_skb_refdst &= ~SKB_DST_NOREF;
305 : : dst_clone(skb_dst(skb));
306 : : }
307 : : }
308 : :
309 : :
310 : : /**
311 : : * __skb_tunnel_rx - prepare skb for rx reinsert
312 : : * @skb: buffer
313 : : * @dev: tunnel device
314 : : * @net: netns for packet i/o
315 : : *
316 : : * After decapsulation, packet is going to re-enter (netif_rx()) our stack,
317 : : * so make some cleanups. (no accounting done)
318 : : */
319 : : static inline void __skb_tunnel_rx(struct sk_buff *skb, struct net_device *dev,
320 : : struct net *net)
321 : : {
322 : 0 : skb->dev = dev;
323 : :
324 : : /*
325 : : * Clear rxhash so that we can recalulate the hash for the
326 : : * encapsulated packet, unless we have already determine the hash
327 : : * over the L4 4-tuple.
328 : : */
329 [ # # ]: 0 : if (!skb->l4_rxhash)
330 : 0 : skb->rxhash = 0;
331 : : skb_set_queue_mapping(skb, 0);
332 : 0 : skb_scrub_packet(skb, !net_eq(net, dev_net(dev)));
333 : : }
334 : :
335 : : /**
336 : : * skb_tunnel_rx - prepare skb for rx reinsert
337 : : * @skb: buffer
338 : : * @dev: tunnel device
339 : : *
340 : : * After decapsulation, packet is going to re-enter (netif_rx()) our stack,
341 : : * so make some cleanups, and perform accounting.
342 : : * Note: this accounting is not SMP safe.
343 : : */
344 : : static inline void skb_tunnel_rx(struct sk_buff *skb, struct net_device *dev,
345 : : struct net *net)
346 : : {
347 : : /* TODO : stats should be SMP safe */
348 : : dev->stats.rx_packets++;
349 : : dev->stats.rx_bytes += skb->len;
350 : : __skb_tunnel_rx(skb, dev, net);
351 : : }
352 : :
353 : : /* Children define the path of the packet through the
354 : : * Linux networking. Thus, destinations are stackable.
355 : : */
356 : :
357 : 0 : static inline struct dst_entry *skb_dst_pop(struct sk_buff *skb)
358 : : {
359 : 0 : struct dst_entry *child = dst_clone(skb_dst(skb)->child);
360 : :
361 : : skb_dst_drop(skb);
362 : : return child;
363 : : }
364 : :
365 : : int dst_discard(struct sk_buff *skb);
366 : : void *dst_alloc(struct dst_ops *ops, struct net_device *dev, int initial_ref,
367 : : int initial_obsolete, unsigned short flags);
368 : : void __dst_free(struct dst_entry *dst);
369 : : struct dst_entry *dst_destroy(struct dst_entry *dst);
370 : :
371 : : static inline void dst_free(struct dst_entry *dst)
372 : : {
373 [ # # ][ + - ]: 106 : if (dst->obsolete > 0)
[ # # ][ # # ]
[ # # ][ # # ]
374 : : return;
375 [ # # ][ + - ]: 106 : if (!atomic_read(&dst->__refcnt)) {
[ # # ][ # # ]
[ # # ][ # # ]
376 : 106 : dst = dst_destroy(dst);
377 [ # # - + : 106 : if (!dst)
# # # # #
# # # ]
378 : : return;
379 : : }
380 : 0 : __dst_free(dst);
381 : : }
382 : :
383 : 0 : static inline void dst_rcu_free(struct rcu_head *head)
384 : : {
385 : : struct dst_entry *dst = container_of(head, struct dst_entry, rcu_head);
386 : : dst_free(dst);
387 : 1 : }
388 : :
389 : : static inline void dst_confirm(struct dst_entry *dst)
390 : : {
391 : 38525 : dst->pending_confirm = 1;
392 : : }
393 : :
394 : : static inline int dst_neigh_output(struct dst_entry *dst, struct neighbour *n,
395 : : struct sk_buff *skb)
396 : : {
397 : : const struct hh_cache *hh;
398 : :
399 [ + + ][ # # ]: 54526 : if (dst->pending_confirm) {
400 : 28863 : unsigned long now = jiffies;
401 : :
402 : 28863 : dst->pending_confirm = 0;
403 : : /* avoid dirtying neighbour */
404 [ + + ][ # # ]: 28863 : if (n->confirmed != now)
405 : 12056 : n->confirmed = now;
406 : : }
407 : :
408 : : hh = &n->hh;
409 [ + + ][ + + ]: 54526 : if ((n->nud_state & NUD_CONNECTED) && hh->hh_len)
[ # # ][ # # ]
410 : : return neigh_hh_output(hh, skb);
411 : : else
412 : 3763 : return n->output(n, skb);
413 : : }
414 : :
415 : : static inline struct neighbour *dst_neigh_lookup(const struct dst_entry *dst, const void *daddr)
416 : : {
417 : 0 : struct neighbour *n = dst->ops->neigh_lookup(dst, NULL, daddr);
418 [ # # ][ # # ]: 0 : return IS_ERR(n) ? NULL : n;
[ # # ][ # # ]
419 : : }
420 : :
421 : : static inline struct neighbour *dst_neigh_lookup_skb(const struct dst_entry *dst,
422 : : struct sk_buff *skb)
423 : : {
424 : 0 : struct neighbour *n = dst->ops->neigh_lookup(dst, skb, NULL);
425 [ # # ]: 0 : return IS_ERR(n) ? NULL : n;
426 : : }
427 : :
428 : 0 : static inline void dst_link_failure(struct sk_buff *skb)
429 : : {
430 : : struct dst_entry *dst = skb_dst(skb);
431 [ # # ][ # # ]: 0 : if (dst && dst->ops && dst->ops->link_failure)
[ # # ][ # # ]
[ # # ][ # # ]
432 : 0 : dst->ops->link_failure(skb);
433 : : }
434 : :
435 : : static inline void dst_set_expires(struct dst_entry *dst, int timeout)
436 : : {
437 : 0 : unsigned long expires = jiffies + timeout;
438 : :
439 [ # # ]: 0 : if (expires == 0)
440 : : expires = 1;
441 : :
442 [ # # ][ # # ]: 0 : if (dst->expires == 0 || time_before(expires, dst->expires))
443 : 0 : dst->expires = expires;
444 : : }
445 : :
446 : : /* Output packet to network from transport. */
447 : 0 : static inline int dst_output(struct sk_buff *skb)
448 : : {
449 : 54527 : return skb_dst(skb)->output(skb);
450 : : }
451 : :
452 : : /* Input packet from network to transport. */
453 : 70271 : static inline int dst_input(struct sk_buff *skb)
454 : : {
455 : 70271 : return skb_dst(skb)->input(skb);
456 : : }
457 : :
458 : : static inline struct dst_entry *dst_check(struct dst_entry *dst, u32 cookie)
459 : : {
460 [ + - ][ # # ]: 59344 : if (dst->obsolete)
[ # # ]
461 : 59344 : dst = dst->ops->check(dst, cookie);
462 : : return dst;
463 : : }
464 : :
465 : : void dst_init(void);
466 : :
467 : : /* Flags for xfrm_lookup flags argument. */
468 : : enum {
469 : : XFRM_LOOKUP_ICMP = 1 << 0,
470 : : };
471 : :
472 : : struct flowi;
473 : : #ifndef CONFIG_XFRM
474 : : static inline struct dst_entry *xfrm_lookup(struct net *net,
475 : : struct dst_entry *dst_orig,
476 : : const struct flowi *fl, struct sock *sk,
477 : : int flags)
478 : : {
479 : : return dst_orig;
480 : : }
481 : :
482 : : static inline struct xfrm_state *dst_xfrm(const struct dst_entry *dst)
483 : : {
484 : : return NULL;
485 : : }
486 : :
487 : : #else
488 : : struct dst_entry *xfrm_lookup(struct net *net, struct dst_entry *dst_orig,
489 : : const struct flowi *fl, struct sock *sk,
490 : : int flags);
491 : :
492 : : /* skb attached with this dst needs transformation if dst->xfrm is valid */
493 : : static inline struct xfrm_state *dst_xfrm(const struct dst_entry *dst)
494 : : {
495 : : return dst->xfrm;
496 : : }
497 : : #endif
498 : :
499 : : #endif /* _NET_DST_H */
|
