Cost-Based Optimization of Integration Flows - Datenbanken ...

Contents
4.2 Plan Vectorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.2.1 Overview and Meta Model Extension . . . . . . . . . . . . . . . . . . 89
4.2.2 Rewriting Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.2.3 Cost Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4.3 Cost-Based Vectorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.3.1 Problem Generalization . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.3.2 Computation Approach . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.3.3 Cost-Based Vectorization with Restricted Number of Buckets . . . . 110
4.3.4 Operator-Aware Cost-Based Vectorization . . . . . . . . . . . . . . . 112
4.4 Cost-Based Vectorization for Multiple Plans . . . . . . . . . . . . . . . . . . 113
4.4.1 Problem Description . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
4.4.2 Computation Approach . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.5 Periodical Re-Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
4.6 Experimental Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
4.7 Summary and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5 Multi-Flow Optimization 129
5.1 Motivation and Problem Description . . . . . . . . . . . . . . . . . . . . . . 129
5.2 Horizontal Queue Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.2.1 Maintaining Partition Trees . . . . . . . . . . . . . . . . . . . . . . . 135
5.2.2 Deriving Partitioning Schemes . . . . . . . . . . . . . . . . . . . . . 138
5.2.3 Plan Rewriting Algorithm . . . . . . . . . . . . . . . . . . . . . . . . 139
5.3 Periodical Re-Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
5.3.1 Formal Problem Definition . . . . . . . . . . . . . . . . . . . . . . . 142
5.3.2 Extended Cost Model and Cost Estimation . . . . . . . . . . . . . . 144
5.3.3 Waiting Time Computation . . . . . . . . . . . . . . . . . . . . . . . 146
5.3.4 Optimization Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . 150
5.4 Formal Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
5.4.1 Optimality Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
5.4.2 Maximum Latency Constraint . . . . . . . . . . . . . . . . . . . . . . 153
5.4.3 Serialized External Behavior . . . . . . . . . . . . . . . . . . . . . . 155
5.5 Experimental Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
5.6 Summary and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
6 On-Demand Re-Optimization 167
6.1 Motivation and Problem Description . . . . . . . . . . . . . . . . . . . . . . 167
6.2 Plan Optimality Trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
6.2.1 Formal Foundation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
6.2.2 Creating PlanOptTrees . . . . . . . . . . . . . . . . . . . . . . . . . 173
6.2.3 Updating and Evaluating Statistics . . . . . . . . . . . . . . . . . . . 175
6.3 Re-Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
6.3.1 Optimization Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . 178
6.3.2 Updating PlanOptTrees . . . . . . . . . . . . . . . . . . . . . . . . . 180
6.4 Optimization Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
6.4.1 Control-Flow- and Data-Flow-Oriented Techniques . . . . . . . . . . 181
6.4.2 Cost-Based Vectorization . . . . . . . . . . . . . . . . . . . . . . . . 185
6.4.3 Multi-Flow Optimization . . . . . . . . . . . . . . . . . . . . . . . . 186
6.4.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
viii