Wprowadzenie do uczenia maszynowego - pjwstk

Sztuczna InteligencjaSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieGaª¡¹ nauki maj¡ca na celu stworzenie systemu (maszyny,oprogramowania, etc.) posiadaj¡cego inteligencj¦ co najmniejdorównuj¡c¡ ludzkiejWizja obecna w kulturze od wieków:mity i legendy (np. Golem)literatura (np. Cyberiada Stanisªawa Lema)naukaWspóªczesny rozdziaª tej historii to lata 60-te, kiedy powstaªyodpowiednie komputery

Test TuringaSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieA i B komunikuj¡ si¦ w j¦zyku naturalnym (tekst)jeden z nich to czªowiekdrugi to maszyna udaj¡ca czªowiekaC obserwuje komunikacj¦czy C potra rozró»ni¢ czªowieka od maszyny?»aden system nie przeszedª testu Turinga (jak dot¡d)

Krótka subiektywna i uproszczona historia AISystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowaniepre-historia (przed 1960 - pierwsze nowoczesnekomputery)romantyzm (60-65) - optymistyczna wiara, »e sztucznainteligencja dorówna ludzkiej w 10 lat...ciemno±¢ (65-70) - pesymizmrenesans (70-75) - powstaj¡ pierwsze praktyczne systemyeksperckiewspóªpraca (75-80) - badania interdyscyplinarne: nauki±cisªe, przyrodnicze, humanistyczne; ±rodowiskaakademickie i przemysªowekomercjalizacja (80-)

Literatura (przykªady)SystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieNeural Networks (e.g.):M. Negnevitsky Articial IntelligenceMachine Learning (e.g.):P. Cichosz Systemy Ucz¡ce si¦Witten et al. Data MiningGeneral AI (e.g.):G. Luger Articial IntelligenceNP-completess (e.g.):Cormen et al. Introduction to algorithmsOptimisation (e.g.):C.Papadimitriou Combinatorial OptimisationApproximation algorithms:V.Vasirani Approximation algorithmsComplexity:C.Papadimitriou Complexity Theory

Silna i sªaba AISystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowaniesªaba AI (w¡skie aspekty, konkretne wybrane problemypraktyczne)zdolno±¢ do rozwi¡zywania zªo»onych problemówadaptacyjno±¢uczeniesilna AI (inteligencja uniwersalna)powy»sze, oraz:±wiadomo±¢kreatywno±¢auto-reeksja (nt. wªasnych ogranicze«, itp.)ewolucjaSilna AI jest wci¡» tylko marzeniem...Tutaj skupiamy si¦ na sªabej AI.

Aspekty AISystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowaniepercepcja (sztuczne zmysªy: systemy widz¡ce,rozpoznawanie mowy i pisma, etc.)wiedza (reprezentacja wiedzy: reguªy, tabele decyzyjne,drzewa decyzyjne, ontologie)rozumowanie (logika, automatyczne wyci¡ganiewniosków, dowodzenie twierdze«)uczenie si¦ uczenie maszynowe: (ang. machine learning(ML)): z nadzorem (klasykacja, regresja), bez nadzoru(np. grupowanie))komunikacja przetwarzanie j¦zyka naturalnego (naturallanguage processing (NLP)): inteligentne wyszukiwanieinformacji tekstowej, text mining, odpowiadanie nazapytania, tªumaczenie maszynowe, automatycznezdobywanie wiedzyplanowanie i rozwi¡zywanie zada« (przeszukiwanie,heurystyki, systemy wielo-agentowe, ewolucyjne, etc.)

Wprowadzenie do uczenia maszynowegoSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanie

Zalew danychSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieW ka»dej sekundzie produkowane s¡ ogromne ilo±ci danych:ceny papierów warto±ciowychceny towarów na rynkuwarto±ci transakcjiklikni¦cia (logi serwerów WWW)zamówienia towarów w sklepach internetowychrachunki w elektronicznych kasach sklepowychwyniki pomiarów astronomicznych, zycznych, etc...

Motywacja dla eksploracji danychSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieObserwacje:1 te dane s¡ interesuj¡ce i warte bada«2 s¡ zapisane w formie elektronicznej (ªatwe doautomatycznej analizy)3 jest ich za du»o by mogªy by¢ zanalizowane bez pomocykomputerów

Gªówne celeSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanierozpoznawanie istotnych wzorców w danychwykrywanie trendów w danych (np. wczesne wykryciekryzysów ekonomicznych, itp.)przewidywanie przyszªo±ci na podstawie poprzednichobserwacjiklasykacja nowo-obserwowanych przypadkówgrupowanie obiektów podobnychW uczeniu maszynowym powy»sze cele realizowane s¡automatycznie lub przy niewielkim wsparciu czªowieka

Idea uczenia z nadzoremSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanie1 nadzór polega na podawaniu prawidªowych rozwi¡za« dladanych trenuj¡cych2 system uczy si¦ uogólni¢ sposób rozwi¡zania zadaniapoprzez automatyczne wykrycie zwi¡zków pomi¦dzydanymi a prawidªowymi rozwi¡zaniami (automatycznebudowanie modelu prawidªowego rozwi¡zania)3 automatycznie wyuczony model jest stosowany donowych przypadków (nie trenuj¡cych)

SystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowaniePrzykªad: pewna gra na powietrzu, mo»liwa tylkoprzy pewnych specycznych warunkachatmosferycznych (nie wiemy jakich):pogoda temperatura wilgotno±¢ wiatr GRA‚?sªonecznie ciepªo wysoka brak niesªonecznie ciepªo wysoka jest niepochmurno ciepªo wysoka brak takdeszczowo normalnie wysoka brak takdeszczowo chªodno normalna brak takdeszczowo chªodno normalna jest niepochmurno chªodno normalna jest taksªonecznie normalnie wysoka brak niesªonecznie chªodno normalna brak takdeszczowo normalnie normalna brak taksªonecznie normalnie normalna jest takpochmurno normalnie wysoka jest takpochmurno ciepªo normalna brak takdeszczowo normalnie wysoka jest nie

Przykªad, cdSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowaniePodstawowe pytanie:Przy jakich warunkach gra si¦ w t¦ gr¦ogólnie?Je±li odpowied¹ nie jest znana mo»na posªu»y¢ si¦ wielomazaobserwowanymi przypadkami i sprawi¢ aby system wychwyciªogóln¡ reguª¦.Je±li uda si¦ w ten automatyczny sposób pozyska¢ wiedz¦ oreguªach gry z obserwacji znanych przypadków mo»na j¡nast¦pnie zastosowa¢ do przypadków nieznanych

Nowy przypadekSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieoutlook temperature humidity windy PLAY?sªonecznie ciepªo wysoka brak niesªonecznie ciepªo wysoka jest niepochmurno ciepªo wysoka brak takdeszczowo normalnie wysoka brak takdeszczowo chªodno normalna brak takdeszczowo chªodno normalna jest niepochmurno chªodno normalna jest taksªonecznie normalnie wysoka brak niesªonecznie chªodno normalna brak takdeszczowo normalnie normalna brak taksªonecznie normalnie normalna jest takpochmurno normalnie wysoka jest takpochmurno ciepªo normalna brak takdeszczowo normalnie wysoka jest niepochmurno chªodno wysoka jest ???

Tablica decyzyjna:obserwacje i atrybutySystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieWiedza mo»e by¢ budowana w oparciu o poprzedniozaobserwowane dane:Ka»da obserwacja (przypadek) opisana za pomoc¡ atrybutówokre±lonego typu (nominalnego albo numerycznego)Tablica Decyzyjna:wiersze = obserwacje (przypadki)kolumny = atrybuty

Reprezentacja wiedzy: atrybuty nominalneSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowaniepogoda temperatura wilgotno±¢ wiatr GRA‚?sªonecznie ciepªo wysoka brak niesªonecznie ciepªo wysoka jest niepochmurno ciepªo wysoka brak takdeszczowo normalnie wysoka brak takdeszczowo chªodno normalna brak takdeszczowo chªodno normalna jest niepochmurno chªodno normalna jest taksªonecznie normalnie wysoka brak niesªonecznie chªodno normalna brak takdeszczowo normalnie normalna brak taksªonecznie normalnie normalna jest takpochmurno normalnie wysoka jest takpochmurno ciepªo normalna brak takdeszczowo normalnie wysoka jest nie

Reprezentacja wiedzy: atrybuty numeryczneSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowaniepogoda temperatura wilgotno±¢ wiatr GRA‚?sªonecznie 85 85 brak niesªonecznie 80 90 jest niepochmurno 83 86 brak takdeszczowo 70 96 brak takdeszczowo 68 80 brak takdeszczowo 65 70 jest niepochmurno 64 65 jest taksªonecznie 72 95 brak niesªonecznie 69 70 brak takdeszczowo 75 80 brak taksªonecznie 75 70 jest takpochmurno 72 90 jest takpochmurno 81 75 brak takdeszczowo 71 91 jest nie(w powy»szej tabeli temperatura: Fahrenheit)

Uczenie MaszynoweSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieZadanie: nauczy¢ si¦ relacji pomi¦dzy warto±ciami atrybutówDwa gªówne podej±cia:1 Uczenie z nadzorem2 Uczenie bez nadzoru

Uczenie z nadzoremSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanie1 atrybut decyzyjny: wyszczególniony atrybut w tabelidecyzyjnej (np. GRA‚?)2 Zadanie: przewidzie¢ prawidªow¡ (nieznan¡) warto±¢atrybutu decyzyjnego na podstawie (znanych) warto±cipozostaªych atrybutów3 Wykorzysta¢ do tego zbiór treningowy - tj taki zbiórobserwacji (przypadków), dla których prawidªowa warto±¢atrybutu decyzyjnego (oraz wszystkich pozostaªychatrybutów) jest znanaUczenie z nadzorem nazywane jest:klasykacj¡, gdy przewidywany atrybut decyzyjny jestnominalnyregresj¡, gdy przewidywany atrybut decyzyjny jestnumeryczny

Podsumowanie idei uczenia z nadzoremSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieCel:input: nowy przypadek (obserwacja) z nieznan¡ warto±ci¡atrybutu decyzyjnegooutput: prawidªowa warto±¢ atrybutu decyzyjnegoSystem mo»e uczy¢ si¦ tylko na ograniczonej liczbie znanychprzypadków (zbiór treningowy) dodstarczonych przeznadzoruj¡cegoW praktyce:warto±ci niektórych atrybutów mog¡ by¢ nieznane, bª¦dnealbo znieksztaªconezbiór ucz¡cy mo»e by¢ cz¦±ciowo sprzeczny

Klasykacja, przykªad 2Botanika: rozpoznawanie gatunków ro±linSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieRozpatrzmy 3 ró»ne podgatunki kwiatu o ªac. nazwie Iris:Iris-setosaIris-versicolorIris-virginicaTask: nauczy¢ si¦ rozpoznawa¢ gatunek ro±liny na podstawierozmiarów li±ci i pªatków (atrybuty):dªugo±¢ listka (cm)szeroko±¢ listka (cm)dªugo±¢ pªatka (cm)szeroko±¢ pªatka (cm)

Rozpoznawanie ro±lin, cont.SystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieZbiór trenuj¡cy:150 znanych przypadków (zmierzone cz¦±ci ro±lin i znanaprawidªowa klasykacja)System uczy si¦ na zbiorze treningowymNast¦pnie, ka»dy nowy (nieznany) przypadek jest klasykowanyna podstawie pomiarów pªatków i listkówAutomatycznie wyuczona wiedza jest stosowana doklasykacji nowych przypadków (dla których prawidªowaodpowied¹ nie musi by¢ znana przez nadzoruj¡cego proces)

Zbiór danych (fragment)SystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieS - iris setosa, V - iris versicolor, VG - iris virginicall lw pl pw ? ll lw pl pw ? ll lw pl pw ?5.1 3.5 1.4 0.2 S 7.0 3.2 4.7 1.4 V 6.3 3.3 6.0 2.5 VG4.9 3.0 1.4 0.2 S 6.4 3.2 4.5 1.5 V 5.8 2.7 5.1 1.9 VG4.7 3.2 1.3 0.2 S 6.9 3.1 4.9 1.5 V 7.1 3.0 5.9 2.1 VG4.6 3.1 1.5 0.2 S 5.5 2.3 4.0 1.3 V 6.3 2.9 5.6 1.8 VG5.0 3.6 1.4 0.2 S 6.5 2.8 4.6 1.5 V 6.5 3.0 5.8 2.2 VG5.4 3.9 1.7 0.4 S 5.7 2.8 4.5 1.3 V 7.6 3.0 6.6 2.1 VG4.6 3.4 1.4 0.3 S 6.3 3.3 4.7 1.6 V 4.9 2.5 4.5 1.7 VG5.0 3.4 1.5 0.2 S 4.9 2.4 3.3 1.0 V 7.3 2.9 6.3 1.8 VG4.4 2.9 1.4 0.2 S 6.6 2.9 4.6 1.3 V 6.7 2.5 5.8 1.8 VG4.9 3.1 1.5 0.1 S 5.2 2.7 3.9 1.4 V 7.2 3.6 6.1 2.5 VG5.4 3.7 1.5 0.2 S 5.0 2.0 3.5 1.0 V 6.5 3.2 5.1 2.0 VG4.8 3.4 1.6 0.2 S 5.9 3.0 4.2 1.5 V 6.4 2.7 5.3 1.9 VG4.8 3.0 1.4 0.1 S 6.0 2.2 4.0 1.0 V 6.8 3.0 5.5 2.1 VG4.3 3.0 1.1 0.1 S 6.1 2.9 4.7 1.4 V 5.7 2.5 5.0 2.0 VG5.8 4.0 1.2 0.2 S 5.6 2.9 3.6 1.3 V 5.8 2.8 5.1 2.4 VG5.7 4.4 1.5 0.4 S 6.7 3.1 4.4 1.4 V 6.4 3.2 5.3 2.3 VG5.4 3.9 1.3 0.4 S 5.6 3.0 4.5 1.5 V 6.5 3.0 5.5 1.8 VG5.1 3.5 1.4 0.3 S 5.8 2.7 4.1 1.0 V 7.7 3.8 6.7 2.2 VG5.7 3.8 1.7 0.3 S 6.2 2.2 4.5 1.5 V 7.7 2.6 6.9 2.3 VG5.1 3.8 1.5 0.3 S 5.6 2.5 3.9 1.1 V 6.0 2.2 5.0 1.5 VG5.4 3.4 1.7 0.2 S 5.9 3.2 4.8 1.8 V 6.9 3.2 5.7 2.3 VG5.1 3.7 1.5 0.4 S 6.1 2.8 4.0 1.3 V 5.6 2.8 4.9 2.0 VG5.0 3.0 1.6 0.2 S 6.6 3.0 4.4 1.4 V 7.2 3.2 6.0 1.8 VG5.0 3.4 1.6 0.4 S 6.8 2.8 4.8 1.4 V 6.2 2.8 4.8 1.8 VG

Wizualizacja zbioru danych: rzut na pªaszczyzn¦2-wym.SystemyWspomaganiaDecyzji(zbiór jest 4-wymiarowy) np.: szeroko±¢/dªugo±¢ listka - nie jestto wystarczaj¡ca informacjaMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanie

Inna wizualizacja rzutu na pªaszczyzn¦ 2-wym.SystemyWspomaganiaDecyzjiszeroko±¢ listka/dªugo±¢ pªatka - niesie du»o wiedzy (tzw.dobry dyskriminant)MarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanie

W jaki sposób system sam uczy si¦ zale»no±ci?SystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieIstnieje wiele podej±¢/modeli, przykªady:metoda k najbli»szych s¡siadów (kNN)Oparte na reguªach decyzyjnychDrzewa decyzyjnePodej±cie BayesowskieRegresja liniowaSztuczne Sieci Neuronowe (Perceptron, sieciwielo-wartswowe)SVM (support vector machines)wiele innych...

Inne przykªady problemu klasykacjiSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieMaszynowe rozpoznawanie r¦cznie pisanych cyfr naformularzachKlasykacja zdolno±ci kredytowej klienta bankuIdentykacja chªamu pocztowego (ang. e-mail spam)Automatyczne rozró»nianie wycieków oleju z tankowców odciepªych pr¡dów na podstawie zdj¦¢ satelitarnychMaszynowa identykacja j¦zyka w dokumentachtekstowych (np. portugalski czy hiszpa«ski, itp.)Automatyczna klasykacja tematu dokumentuelektronicznego (do jednej z kilku kategorii)Identykacja tzw. chªamu wyszukiwarkowego (ang. SearchEngine Spam)

Zadanie RegresjiSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieW zadaniu klasykacji system przewidywaª warto±¢ atrybutudecyzyjnego typu nominalnego.Je±li natomiast przewidujemy atrybut numerycznego mówimy oregresjiPrzykªady zadania regresji:przewidzie¢ warto±¢ (cen¦) papieru warto±ciowego napodstawie poprzednich notowa« i innych czynników(ekonomicznych, politycznych, etc.)oszacowa¢ ilo±ciowe zapotrzebowanie na dany towar (np.woda mineralna) w przyszªym tygodniu w supermarkecie napodstawie bie»¡cej sprzeda»y, pory roku, pogody, etc.przewidzie¢ temperatur¦ powietrza w nast¦pnym dniu

Przykªad zadania regresjiSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowaniePrzewidywana skuteczno±¢ procesora na podstawie jegoparametrów technicznychPrzykªadowe atrybuty:MYCT cycle time (ns)MMIN main memory minMMAX main memory maxCACH cacheCHMIN channels minCHMAX channels max

Example: regressionSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieMYCT MMIN MMAX CACH CHMIN CHMAX performance125 256 6000 256 16 128 19929 8000 32000 32 8 32 25329 8000 16000 32 8 16 13226 8000 32000 64 8 32 29023 16000 32000 64 16 32 38123 16000 32000 64 16 32 38123 16000 64000 64 16 32 74923 32000 64000 128 32 64 1238400 1000 3000 0 1 2 23400 512 3500 4 1 6 2460 2000 8000 65 1 8 7050 4000 16000 65 1 8 117167 524 2000 8 4 15 23143 512 5000 0 7 32 29143 1000 2000 0 5 16 22110 5000 5000 142 8 64 124143 1500 6300 0 5 32 35143 3100 6200 0 5 20 39143 2300 6200 0 6 64 40

Uczenie bez NadzoruSystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieNie dajemy systemowi przykªadów (nie dysponujemy). Systemmusi automatycznie odkry¢ zale»no±ci pomi¦dzy danymi.Podstawowe zadania uczenia bez nadzoru:grupowanie (ang. clustering)wykrywanie przypadków nietypowych (ang. outliers)odkrywanie reguª asocjacyjnych

Grupowanie (ang. clustering)SystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieNale»y podzieli¢ wszystkie badane przypadki na grupy obiektówpodobnych do siebie (wewn¡trz ka»dej grupy), przy czymobiekty z ró»nych grup powinny si¦ jak najbardziej ró»ni¢mi¦dzy sob¡.Nie wiemy jaka jest faktyczna kategoria odpowiadaj¡ca ka»dejgrupie - nie mamy przykªadów.Jest to cz¦sto wst¦pny etap analizy danych.Popularny algorytm grupowania: K-means

Wykrywanie przypadków nietypowych (ang. outliers)SystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieNale»y automatycznie wykry¢ obiekty, które z jakich± powodówodstaj¡ od pozostaªych elementów. Mamy tu tylko dodyspozycji same warto±ci atrybutów. Obiekty wyra¹nieodstaj¡ce od ogóªu s¡ w pewnym sensie podejrzane.Zastosowania:automatyczne wykrywanie wªama« do systemówkomputerowychwykrywanie nadu»y¢ (ang. fraud) w handlu elektronicznymwykrywanie prania brudnych pieni¦dzy na podstawieanalizy transferów bankowychwykrywanie bª¦dów w danych i bª¦dów urz¡dze«pomiarowychczyszczenie danych

Problemy kontrolne:SystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynowePodsumowanieWprowadzenie do AIsilna AI/sªaba AItest Turingaaspekty inteligencjizastosowania wspóªczesne AIpozytywne i negatywne aspekty rozwoju AI dla czªowiekaWprowadzenie do uczenia maszynowegoReprezentacja danych w Uczeniu MaszynowymSchemat Uczenia Maszynowego (w krokach)Na czym polega podziaª: z nadzorem i bez nadzoruCo to jest klasykacja a co to jest regresjaPrzykªady zada« klasykacji i regresji (po 3)Przykªady zada« uczenia bez nadzoruNa czym polega zadanie grupowania (ang. clustering)?Przykªady technik uczenia z nadzorem

Dzi¦kuj¦ za uwag¦SystemyWspomaganiaDecyzjiMarcinSydowWprowadzeniedo AIUczenieMaszynoweDzi¦kuj¦ za uwag¦.Podsumowanie