Branch data Line data Source code
1 : : #ifndef _LINUX_COMPACTION_H
2 : : #define _LINUX_COMPACTION_H
3 : :
4 : : /* Return values for compact_zone() and try_to_compact_pages() */
5 : : /* compaction didn't start as it was not possible or direct reclaim was more suitable */
6 : : #define COMPACT_SKIPPED 0
7 : : /* compaction should continue to another pageblock */
8 : : #define COMPACT_CONTINUE 1
9 : : /* direct compaction partially compacted a zone and there are suitable pages */
10 : : #define COMPACT_PARTIAL 2
11 : : /* The full zone was compacted */
12 : : #define COMPACT_COMPLETE 3
13 : :
14 : : #ifdef CONFIG_COMPACTION
15 : : extern int sysctl_compact_memory;
16 : : extern int sysctl_compaction_handler(struct ctl_table *table, int write,
17 : : void __user *buffer, size_t *length, loff_t *ppos);
18 : : extern int sysctl_extfrag_threshold;
19 : : extern int sysctl_extfrag_handler(struct ctl_table *table, int write,
20 : : void __user *buffer, size_t *length, loff_t *ppos);
21 : :
22 : : extern int fragmentation_index(struct zone *zone, unsigned int order);
23 : : extern unsigned long try_to_compact_pages(struct zonelist *zonelist,
24 : : int order, gfp_t gfp_mask, nodemask_t *mask,
25 : : bool sync, bool *contended);
26 : : extern void compact_pgdat(pg_data_t *pgdat, int order);
27 : : extern void reset_isolation_suitable(pg_data_t *pgdat);
28 : : extern unsigned long compaction_suitable(struct zone *zone, int order);
29 : :
30 : : /* Do not skip compaction more than 64 times */
31 : : #define COMPACT_MAX_DEFER_SHIFT 6
32 : :
33 : : /*
34 : : * Compaction is deferred when compaction fails to result in a page
35 : : * allocation success. 1 << compact_defer_limit compactions are skipped up
36 : : * to a limit of 1 << COMPACT_MAX_DEFER_SHIFT
37 : : */
38 : : static inline void defer_compaction(struct zone *zone, int order)
39 : : {
40 : 0 : zone->compact_considered = 0;
41 : 0 : zone->compact_defer_shift++;
42 : :
43 [ # # ]: 0 : if (order < zone->compact_order_failed)
44 : 0 : zone->compact_order_failed = order;
45 : :
46 [ # # ]: 0 : if (zone->compact_defer_shift > COMPACT_MAX_DEFER_SHIFT)
47 : 0 : zone->compact_defer_shift = COMPACT_MAX_DEFER_SHIFT;
48 : : }
49 : :
50 : : /* Returns true if compaction should be skipped this time */
51 : : static inline bool compaction_deferred(struct zone *zone, int order)
52 : : {
53 : 0 : unsigned long defer_limit = 1UL << zone->compact_defer_shift;
54 : :
55 [ # # ][ # # ]: 0 : if (order < zone->compact_order_failed)
56 : : return false;
57 : :
58 : : /* Avoid possible overflow */
59 [ # # ]: 0 : if (++zone->compact_considered > defer_limit)
60 : 0 : zone->compact_considered = defer_limit;
61 : :
62 : 0 : return zone->compact_considered < defer_limit;
63 : : }
64 : :
65 : : /*
66 : : * Update defer tracking counters after successful compaction of given order,
67 : : * which means an allocation either succeeded (alloc_success == true) or is
68 : : * expected to succeed.
69 : : */
70 : : static inline void compaction_defer_reset(struct zone *zone, int order,
71 : : bool alloc_success)
72 : : {
73 : : if (alloc_success) {
74 : 0 : zone->compact_considered = 0;
75 : 0 : zone->compact_defer_shift = 0;
76 : : }
77 [ # # ]: 0 : if (order >= zone->compact_order_failed)
78 : 0 : zone->compact_order_failed = order + 1;
79 : : }
80 : :
81 : : /* Returns true if restarting compaction after many failures */
82 : : static inline bool compaction_restarting(struct zone *zone, int order)
83 : : {
84 [ # # ]: 0 : if (order < zone->compact_order_failed)
85 : : return false;
86 : :
87 [ # # ][ # # ]: 0 : return zone->compact_defer_shift == COMPACT_MAX_DEFER_SHIFT &&
88 : 0 : zone->compact_considered >= 1UL << zone->compact_defer_shift;
89 : : }
90 : :
91 : : #else
92 : : static inline unsigned long try_to_compact_pages(struct zonelist *zonelist,
93 : : int order, gfp_t gfp_mask, nodemask_t *nodemask,
94 : : bool sync, bool *contended)
95 : : {
96 : : return COMPACT_CONTINUE;
97 : : }
98 : :
99 : : static inline void compact_pgdat(pg_data_t *pgdat, int order)
100 : : {
101 : : }
102 : :
103 : : static inline void reset_isolation_suitable(pg_data_t *pgdat)
104 : : {
105 : : }
106 : :
107 : : static inline unsigned long compaction_suitable(struct zone *zone, int order)
108 : : {
109 : : return COMPACT_SKIPPED;
110 : : }
111 : :
112 : : static inline void defer_compaction(struct zone *zone, int order)
113 : : {
114 : : }
115 : :
116 : : static inline bool compaction_deferred(struct zone *zone, int order)
117 : : {
118 : : return true;
119 : : }
120 : :
121 : : #endif /* CONFIG_COMPACTION */
122 : :
123 : : #if defined(CONFIG_COMPACTION) && defined(CONFIG_SYSFS) && defined(CONFIG_NUMA)
124 : : extern int compaction_register_node(struct node *node);
125 : : extern void compaction_unregister_node(struct node *node);
126 : :
127 : : #else
128 : :
129 : : static inline int compaction_register_node(struct node *node)
130 : : {
131 : : return 0;
132 : : }
133 : :
134 : : static inline void compaction_unregister_node(struct node *node)
135 : : {
136 : : }
137 : : #endif /* CONFIG_COMPACTION && CONFIG_SYSFS && CONFIG_NUMA */
138 : :
139 : : #endif /* _LINUX_COMPACTION_H */
|
