Combining Information from Multiple Internet Sources

More documents

Recommendations

Info

Łączenie informacji z wielu źródeł internetowych Streszczenie: Niniejsza praca porównuje trzy sposoby na łączenie informacji uzyskanych z różnych źródeł internetowych: opartego na teorii gier, teorii aukcji oraz teorii konsensu. W celu porownania tych metod, stworzona została aplikacja, która pozwala na pozyskiwanie informacji z rożnych źródeł, a następnie na łączenie uzyskanych danych, przy użyciu jednej z trzech wymienionych metod. Aplikacja wykorzystuje platformę agentową JADE, jako narzędzie do pozyskiwania i łączenia wydobytych wyników przez różne wyszukiwarki internetowe. Każdy z badanych sposobów daje inne możliwości konsolidacji informacji pochodzącej z wielu źródeł w celu utworzenia skonsolidowanego zbiór odopwiedzi przedstawionego jako jedna lista wyników. Głównym celem pracy było przetestowanie trzech sposobów, ocenienie wyników, ktorych są one w stanie dostarczyć oraz porównanie ich sensowności. Praca prezentuje wyniki dostarczone przez sprawdzane metody, efektywność owych metod oraz subjektywną ocenę przydatności uzyskanych wyników. Powyższe metody były testowane w następujący sposób: jako pierwsze, wykonane zostały testy porównujące wyniki uzyskane przez te metody do wyników pojedynczych wyszukiwarek. Wyniki zostały sprawdzone, pod względem zawieralności się zbiorów dostarczonych przez metody i zbiorów pojedynczych wyszukiwarek. Następnie, zbiory wyników poszczególnych metod zostały porównane między sobą, poprzez sprawdzenie zawartości stron, na które wskazywały uzyskane wyniki. Podejście to, dało wystarczający obraz wyników, który pozwolił na sprawdzenie jakości otrzymanych rezultatów.
Table of contents 1. Introduction..................................................................................................................................2 1.1 Aim of the thesis ..................................................................................................................3 1.2 Thesis outline .......................................................................................................................4 2. Design of the tool used for testing ...............................................................................................5 2.1 Design of the application part ..............................................................................................6 2.2.1 Design of the Client module ........................................................................................7 2.2.1.1 General description of the Client module ...............................................................7 2.2.1.2 Implementation details of the Client module..........................................................8 2.2.2 Design of the Main module........................................................................................10 2.2.2.1 General description of the Main module...............................................................10 2.2.2.2 Implementation details of the Main module .........................................................12 2.3 Design of the database part ................................................................................................17 3. Algorithms .................................................................................................................................21 3.1 Game theory method..........................................................................................................21 3.2 Auction method..................................................................................................................28 3.3 Consensus method..............................................................................................................33 3.4 Common algorithms...........................................................................................................37 3.4.1 Ranking algorithm......................................................................................................37 3.4.2 Weights calculation for Game theory and Auction methods......................................38 3.4.3 Adapted Levenshtein distance ...................................................................................39 4. Tests of the three approaches .....................................................................................................42 4.1 Tests with simple query......................................................................................................43 4.2 Tests with more complex query .........................................................................................51 4.3 Tests with very complex query ..........................................................................................60 5. Final remarks..............................................................................................................................69 6. References..................................................................................................................................70 1
Page 1 and 2: WARSAW UNIVERSITY OF TECHNOLOGY FAC
Page 3 and 4: POLITECHNIKA WARSZAWSKA WYDZIAŁ MA
Page 5: Combining Information from Multiple
Page 9 and 10: application presented in this paper
Page 11 and 12: 2. Design of the tool used for test
Page 13 and 14: 2.2.1 Design of the Client module 2
Page 15 and 16: module. At the end of this section
Page 17 and 18: there are set up search engines. Af
Page 19 and 20: UTILITY CLASSES: AgentController -
Page 21 and 22: ) If initial step of the algorithm
Page 23 and 24: 2.3 Design of the database part Thi
Page 25 and 26: Table search_engine: This table con
Page 27 and 28: 3. Algorithms This part of the thes
Page 29 and 30: Example: Let us consider the follow
Page 31 and 32: During algorithm processing there i
Page 33 and 34: Fig 3.1.1 Game theory Method Activi
Page 35 and 36: Example: Consider the following ini
Page 37 and 38: Listing 3.2.3 presents the pseudo c
Page 39 and 40: 3.3 Consensus method The Consensus
Page 41 and 42: Depending on the outcome of the con
Page 43 and 44: 3.4 Common algorithms This part of
Page 45 and 46: is multiplied by 0.01. 3 If the alg
Page 47 and 48: Input: Two lists with URLs Output:
Page 49 and 50: 4.1 Tests with simple query Followi
Page 51 and 52: top enough positions in all result
Page 53 and 54: The following section presents resu
Page 55 and 56: This part will present comparison o
Page 57 and 58:
As the first URL MySpiders returns
Page 59 and 60:
was yield. However most of the retu
Page 61 and 62:
The following part presents compari
Page 63 and 64:
The following part presents compari
Page 65 and 66:
complexity of the query. As the fir
Page 67 and 68:
7 http://www.calresco.org/lucas/pmo
Page 69 and 70:
5 6 http://www.virtualschool.edu/mo
Page 71 and 72:
10 http://www.mises.org/story/2451
Page 73 and 74:
Auction Consensus Game theory Aucti
Page 75 and 76:
5. Final remarks In this thesis app
Page 77 and 78:
[15] Kessler R.R., Griss M.L., Maki
Page 79:
Warszawa, dnia 21.04.2008r. Oświad
show all

Combining Information from Multiple Internet Sources

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?