Information Approach to Logic Function ... - Baker University

Proceedings of the Conference onField-Programmable Digital Circuits(Reprogramowalne Uklady Cyfrowe -RUC'99), Szczecin, Poland, 1999,pp.103-110Information Approachto Logic Function Minimization(In Polish)Chimiak J., Dziurzanski P., Yanushkevich S.,Popel D., Shmerko V.PODEJSCIE INFORMACYJNE DO MINIMALIZACJ FUNKCJILOGICZNYCHJ.Chimiak*,P.Dziurzański*, S. Januszkiewicz*, D. Popel + ,W.Szmerko**Instytut Informatyki Politechniki Szczecińskiej, Żołnierska 49, 71-210, Szczecin,e-mail: chimiak@ii.tuniv.szczecin.pl.+ Uniwersytet Informatyki i Radioelektroniki, Mińsk, Białoruś, e-mail: popel@bseu.minsk.by

STRESZCZENIEW artykule został zaprezentowany heurystyczny algorytm minimalizacji funkcji logicznych, wpostaci Sum-of-Products (SOP), z wykorzystaniem diagramów decyzji oraz ocen informacyjnych. Poraz pierwszy proponowano rozwiniecie metody na postawie zastosowania rozszerzonych drzewdecyzyjnych. Jako kryterium wyboru kolejności zmiennych w grafie, entropięwykorzystano wodniesieniu do zmiennych.1. WPROWADZENIEW [Hart82], [Kab90], [Llor93] została rozwinięta strategia minimalizacji funkcji w postaciSOP (co jest równoznaczne z projektowaniem drzew decyzyjnych AND/OR), która pozwalana otrzymanie quasi-optymalnej formy SOP dla funkcji Boolowskiej poprzez wyliczeniaentropii. położyć Należy nacisk na iż fakt, węzły tych drzewach decyzyjnych są (DT) jednegotypu realizują - rozwinięcie Shannona.Wzrost możliwości zastosowania drzew oraz diagramów decyzyjnych (DD) wprojektowaniu logicznym spowodował zainteresowanie tym zagadnieniem. są DD używanejako struktury danych w komputerowym wspomaganiu projektowania układów scalonych[Bry86], [Sasao95], [Sas96]. jedną Lecz z istotnych wad DD jest często spotykanaich zastosowania z powodu ich ekspotencjalnego wzrostu.nieefektywnośćmogą być DT przedstawione jako procedura odnajdowania wartości funkcji Boolowskiej.Dla każdej kombinacji wejściowej istnieje gałąź unikalna prowadząca od korzenia drzewa doliścia, który przyjmuje wartości {0, 1} odpowiadające wartościom funkcji. Największym DTjest drzewo kompletne. Problem odnalezienia optymalnego DT jest NP -złożony. Zaznaczmy,ze w się uczeniu maszyn (ang. Machine learning) są znane tzw. splitting algorithms,wykorzystywane do redukowania drzew reprezentacji wiedzy poprzez AND/OR DT.Najbardziej znanym z nich jest ID3 algorytm, w którym jest wykorzystana do generacjimniejszego DT ilość (mniejsza węzłów i liści) redukcją z głębokości drzewa.Drzewa oraz diagramy decyzyjne wraz ze znanymi i efektywnymi algorytmamiminimalizacji funkcji logicznych, tj. Espresso [Bra84] i inne służą [Łub97], do rozwiązywaniatego problemu przy projektowaniu reprogramowalnych układów logicznych - PLD i FPGA.Nowa strategia minimalizacji funkcji w postaci SOP z użyciem entropii funkcjonalnejzostała zaproponowana w [Che98], [Che98a], [Sim97], [Shm98]. Niniejsza praca tę rozwijaoraz po raz pierwszy proponuje rozwiniecie strategii na podstawie zastosowania drzewideęrozszerzonych (ang. Extended DT).3. DIAGRAMY I DRZEWA DECYZYJNEDefinicja. Drzewo decyzyjne DT dla zmiennych x 1 ,x 2 ,...,x n funkcji binarnej f jest grafemacyklicznym zawierającym korzeń, węzły nieterminalne (odpowiadające zmiennym) orazterminalne (liście) o wartościach 0 i 1, oraz zbiór gałęziDT jest nazywane kompletnym, jeżeli każda zmienna występuje dokładnie raz, w każdejgałęzi prowadzącej od korzenia do węzła końcowego. Jeżeli każda zmienna występuje conajmniej raz w gałęzi, to wówczas DT jest nazywane dowolnym DT (Free DT) [Gerg94]. DTjest uporządkowane (Ordered DT) jeżeli jest FBDD, a jego zmienne pojawiają się w

określonym (stałym) porządku we wszystkich gałęziach. Zredukowane DT - binarne diagramydecyzyjne (Binary Decision Diagram - BDD) otrzymujemy poprzez zastosowanie regułredukcyjnych do grafu binarnego. Przy ustalonym porządku zmiennych zredukowaneuporządkowane BDD daje formę kanoniczną dla funkcji Boolowskiej. Z tą właściwością majązwiązek takie praktyczne problemy, jak weryfikacja dopasowania dwóch funkcji logicznychna podstawie izomorficzności ich grafów. Free DT jest uogólnieniem DT otrzymanym dziękimożliwości permutacji zmiennych niezależnie w każdym poddrzewie wychodzącym z niekońcowegowęzła. Free BDD jest otrzymywane poprzez redukcję odpowiadającego mu freeDT.Drzewo decyzyjne SOP bazuje na rozszerzeniu Shannona:f = ⎺x j f | xj =0 ∨ x j f | xj =1 .Węzeł drzewa, reprezentujący taką postać, podany jest na Rys.1.x jSx jfx j =0fx j =1Rys. 1. Węzeł DT rozwinięcie Shannona funkcji f względem zmiennej x jPoprzez zastosowanie dekompozycji Shannona i obliczenia wartości entropii dla funkcjipodejmujemy decyzje o wpływie każdej zmiennej na proces dekompozycji. Wybór kolejnejzmiennej dla dekompozycji dokonujemy na podstawie kryterium minimalnej wartościentropii. W zbudowanym w ten sposób drzewie kolejnośćDT zmiennych w osobnychgałęziach jest dowolna, jednak każda zmienna jest spotykana jeden raz. Każda ścieżka odkorzenia DT do liścia o wartości 1 reprezentuje implikant (product w zapisie SOP), którywchodzi w skład quasi-minimalnej postaci SOP dla podanej funkcji. Ostateczne zbudowaneDT jest zoptymalizowanym AND/OR DT funkcję Boolowską reprezentujące w postaci SOP.4. ENTROPIA FUNKCJONALNAOceny informacyjne, służą szczególnie entropia Shannona, jako miary zależnościpomiędzy funkcji f a jej zmiennymi x wartością i . W opisywanym algorytmie optymalizacjiwykorzystywana jest entropia funkcjonalna [Sim93]. W odróżnieniu od entropii Shannona,bazowanej na koncepcji prawdopodobieństwa, dla oceny informacyjnej funkcji logicznych w[Sim93] została zaproponowana funkcjonalna notacja entropii.Niech funkcja logiczna jest podana w postaci byćtablicy prawdy. Może ona opisanapoprzez ilości kombinacji wartości zmiennych oraz funkcji K| f=0 , K| f=1 , K| xj=0 i K| xj=1 ,gdzie,naprzykład, K| f=0 =k 1 oznacza, ze funkcja f przyjmuje znaczenie f=0 k 1 razy.Będziemy Entropie warunkowa stosować H ( f | x i ) entropię warunkową obliczając dladanej zmiennej x i funkcji logicznej f jako nieokreśloności wartości średnią miarę funkcjilogicznej f ze zmienną względu na x i [Cheu98]:m−1 m−1k( ( f = β) ∧ ( xi= t ))(1)iH( f xi) =− ∑∑k( ( f = β) ∧ ( xi = ti)) logmpx = tti= 0 β=0( )ii

5. SOP MINIMIZALIZACJA NA PODSTAWIE OCENY ENTROPIIW naszym podejściu redukcja DD jest właściwością równoważna procesu syntezy drzewa,nie używamy reguł redukcyjnych. Co więcej nie stosujemy specjalnych reguł do określeniaporządku zmiennych, ten problem również jest rozwiązany poprzez obliczenie entropii jakomiary zależności pomiędzy funkcja a zmiennymi.Strategia minimalizacji AND/OR DT bazująca na entropii być może określona jakooptymalny (ze względu na kryteria informacyjne) proces generowania ścieżek. Ścieżkastartujezwęzła i się kończy wwęźle końcowym. Każda ścieżka odpowiada jednemu zimplikantów z ostatecznego rozwiązania SOP.5.1. Poszukiwanie po drzewie binarnymAlgorytm heurystyczny dla minimalizacji postaci SOP polega na obliczeniu entropiiwarunkowej dla każdej ze zmiennych zadanej funkcji, konstruowaniu węzła odpowiadającegorozłożeniu Shannona według zmiennej o najmniejszej entropii. Ta iteracja powtarza się doodnalezienia wszystkich implikantów (odpowiadających liściom drzewa o wartości 1) quasioptymalnejpostaci SOP.Algorytm heurystyczny dla minimalizacji SOP według DT i oceny entropii [Chim98, Jar98]Dane wejściowe:Boolowska funkcja logiczna w postaci tabeli prawdyDane wyjściowe:krok 11.akrok 22.a2.bkrok 33.a3.b3.ckrok 44.a4.bDrzewo DT dla funkcji w zminimalizowanej postaci SOPSprawdzenie czy funkcja nie jest stała:jeżeli funkcja jest stała to konstrukcja węzła końcowegoi powrót do węzła macierzystego węzła wewnętrznegoKonstrukcja węzła wewnętrznegoObliczanie entropii warunkowej wg wzoru (1)Wybór zmiennej o najmniejszej entropii x iWyznaczanie funkcji ze względu na wartość wybranej zmiennejWyznaczenie funkcji f 0Wybór kombinacji wejściowych, dla których x i =0Rekurencyjne wywołanie algorytmu dla funkcji f 0Wyznaczenie funkcji f 1Wybór kombinacji wejściowych, dla których x i =1Rekurencyjne wywołanie algorytmu dla funkcji f 15.2. Poszukiwanie po drzewie rozszerzonymPrzy poszukiwaniu po drzewie binarnym zmienna, spotykana w kolejnym węźle,obowiązkowo wejdzie w skład odpowiedniego produktu. Oznacza to zwiększenie ilościliterałów oraz produktów w ostatecznej postaci SOP. Rozwiązaniem tego możebyćproblemuwykorzystanie metody niezbędnej generacji produktów (ang. Irredundant Sum-Of-Products)[Minato96]. Oznacza to rozszerzenie drzewa (zwiększenie liczby gałęzi wychodzących zkażdego węzła do trzech).

Przy poszukiwaniu po drzewie rozszerzonym podany wyżej algorytm zostaje uzupełnionyonastępujące kroki.Algorytm heurystyczny dla minimalizacji SOP według rozszerzonego DT i oceny entropii[Chim98a]Dane wejściowe: Boolowska funkcja logiczna w postaci tabeli prawdyDane wyjściowe:Drzewo EXT-DT dla funkcji w zminimalizowanej postaci SOPKroki 1-3 jak w poprzednim algorytmie3.c Wyznaczenie funkcji f' 03.d Rekurencyjne wywołanie algorytmu dla funkcji f' 04.b Wyznaczenie funkcji f' 14.c Rekurencyjne wywołanie algorytmu dla funkcji f' 1krok 5Wyznaczenie funkcji f d5.a Wyznaczenie funkcji f d5.b Rekurencyjne wywołanie algorytmu dla funkcji f d6. PRZYKŁAD DZIAŁANIA ALGORYTMUDla funkcji zadanej map¹ Karnaugha (Rys. 1) konstruujemy rozszerzone drzewo decyzyjne(EXT-DT, Rys. 2) w oparciu o wartoœci entropii warunkowej poszczególnych zmiennych wwêz³ach (Tabela 1).Tabela 1. Wartości entropii warunkowej dla poszczególnychzmiennych w węzłach drzewa decyzyjnego1 2 3 4 5 6 7 8x 0 10,84 1,91 1,91 2,25x 1 10,84 4,16 1,39 4,16 1,39 2,25 1,39x 2 10,84 2,77 0,00 2,77 0,00 2,25 1,39 0,00x 3 9,791X30 0 1 1 x 00 1 1 0 x 10 0 1 1 1 10 1 0 0 1 01 1 0 0 1 11 0 1 1 0 0x 2 x 3Rys. 1. Zadana funkcja246X0X0X03 57X2 X2X38X11 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0Rys. 2. Rozszerzone drzewo decyzyjne (EXT-DT)Tabela 2. Rozbicie funkcji naposzczególne gałęzie EXT-DTdla pierwszego węzła drzewax 0 x 1 x 2 f’ 0 f’1 fd000 1 0 0001 1 0 0010 1 0 0011 - - -100 1 0 0101 0 0 0110 - - 1111 0 1 0

Na podstawie drzewa otrzymujemy wyjœciow¹ postaæ SOP zadanej funkcji:f ( X)= x0x3 ∨x2x3 ∨x0x2x3 ∨x0x1x2Otrzymana formu³a zawiera 4 implikanty sk³adaj¹ce siê z 10 produktów, zaœ u¿yte walgorytmie EXT-DT posiada 8 wêz³ów.7. BADANIA EKSPERYMENTALNEOpracowany algorytm heurystyczny minimalizacji funkcji binarnych w postaci SOP napodstawie ocen informacyjnych został zrealizowany w języku C++, LINUX, w modyfikacjachSh-DT (program do minimalizacji z poszukiwaniem według drzewa binarnego), EXT-DT(program do minimalizacji z poszukiwaniem według drzewa rozszerzonego) oraz EXT-DTMIN-COR (modyfikacja programu EXT-DT z wyborem kolejności zmiennych częściowosymetrycznych na podstawie kryterium najmniejszej korelacji pomiędzy zmiennymi afunkcją) i EXT-DT MAX-COR (modyfikacja programu EXT-DT z wyborem kolejnościzmiennych częściowo symetrycznych na podstawie kryterium największej korelacji).Do eksperymentów zostały wykorzystane standardowe funkcje porównawcze (ang.benchmark).Tabela 1 przedstawia porównanie wyników minimalizacji otrzymanych pomocą zaprogramów Sh-DT, EXT-DT, EXT-DT MIN-COR oraz EXT-DT MAX-COR. Kolumna VARliczbę pokazuje zmiennych wejściowych podanych funkcji testowych. Wyniki minimalizacji(liczby produktów N p , liczby literałów N L ) zgodnie z poszukiwaniem według drzewarozszerzonego (algorytm są EXT-DT) lepsze od wyników Sh-DT, jednak rozmiar drzewa jestróżny dla różnych przykładów. Zaznaczmy, że czas poszukiwania dla algorytmu EXT-DTznacznie rośnie ze wzrostem liczby zmiennych. Dla funkcji, w których są spotykane zmiennesymetryczne, lepsze dają wyniki modyfikacje EXT-DT MIN-COR oraz EXT-DT MAX-COR.Ze względu sumaryczną liczbę na produktów N p algorytmy EXT-DT,lepszewynikidająMIN-COR oraz EXT-DT zaś MAX-COR, ze względu sumaryczną liczbę na literałów N L -algorytm EXT-DT MIN-COR.Tabela 2 przedstawia porównanie heurystycznych algorytmów EXT-DT i Sh-DT jedną z zlepszych metod minimalizacji Espresso (metoda dającąexact) rozwiązanie dokładne.Opracowany heurystyczny algorytm EXT-DT, daje quasi-optymalne wyniki, porównywalne zdokładnymi wynikami programu Espresso. Analiza sumarycznego obliczeń czasu pokazuje,że algorytmy z użyciem ocen są informacyjnych szybsze i charakterystyki liczbowe (liczbyproduktów N p i liczby literałów N L ) w postaci quasi-optymalnych są SOP bliskie dokładnych.PODSUMOWANIEZbadana metoda minimalizacji postaci SOP funkcji logicznychna podstawie ocen informacyjnych pozwala na szybkie budowanie form quasi-optymalnychzbliżonych do dokładnych, otrzymanych poprzez program Espresso (metoda Exact). Wprocesie optymalizacji budowane jest drzewo decyzyjne, w którym wybór kolejnościzmiennych jest optymalny na podstawie kryterium entropii. Do badań dalszych odnieśćnależyzredukowania otrzymanego drzewa DT do postaci diagramu decyzyjnego zmetodę(ordered) kolejnością zmiennych oraz dowolną (free).uporządkowaną

Tabela 1. Wartości liczby produktów N p , liczby literałów N L ,liczbywęzłów w DT oraz obliczeńczasminimalnych postaci SOP , otrzymane z wykorzystaniem programów Sh-DT, EXT-DT,EXT-DT MIN-COR oraz EXT-DT MAX-CORSh-DT EXT-DT EXT-DT MIN-COR EXT-DT MAX-CORfunkcja VAR N P N L N N t N P N L N N t NP. N L N N t N P N L N N t5x01 7 7 36 13 0,00 7 27 19 0,01 7 27 15 0,01 7 27 16 0,01bw01 5 8 39 18 0,00 6 25 18 0,00 6 25 16 0,00 6 25 20 0,00bw17 5 3 9 5 0,00 3 6 6 0,00 3 6 6 0,00 3 6 6 0,00bw9 5 4 17 10 0,00 3 11 7 0,00 3 11 9 0,00 3 11 9 0,00con11 7 10 46 16 0,00 4 11 11 0,00 4 11 20 0,00 4 11 12 0,00con12 7 6 20 9 0,00 5 12 11 0,00 5 12 14 0,00 5 12 14 0,00f21 4 3 11 6 0,00 3 9 6 0,00 3 9 6 0,00 3 9 6 0,00f24 4 3 11 6 0,00 3 9 6 0,00 3 9 6 0,00 3 9 6 0,00majority 5 5 20 10 0,00 5 13 10 0,00 5 16 11 0,00 5 13 10 0,00misex21 6 14 72 23 0,00 12 45 33 0,00 11 41 37 0,00 11 43 27 0,00misex24 4 3 11 6 0,00 3 10 7 0,00 3 10 7 0,00 3 10 7 0,00misex27 5 6 23 11 0,00 6 19 17 0,00 6 19 17 0,00 6 19 14 0,00misex54 6 13 65 22 0,00 12 45 33 0,00 11 41 31 0,00 11 43 26 0,00rd531 5 5 24 14 0,00 5 20 14 0,00 5 20 14 0,00 5 20 14 0,00rd533 5 14 64 23 0,00 14 56 34 0,00 14 56 34 0,00 14 56 34 0,00sam 5 8 39 18 0,00 6 25 18 0,00 6 25 16 0,00 6 25 20 0,00xor5 5 16 80 31 0,00 16 80 31 0,00 16 80 31 0,00 16 80 31 0,00z41 7 15 90 29 0,00 15 59 30 0,00 15 57 38 0,00 15 59 30 0,00z42 7 32 200 63 0,00 28 144 92 0,01 28 136 78 0,01 28 136 78 0,01Łącznie 104 175 877 333 0,00 156 626 403 0,02 154 611 406 0,02 154 614 380 0,02Uwaga: Procesor Pentium 166MMXTabela 2. Wartości liczby produktów N p , liczby literałów N L ,liczbywęzłów w DT oraz czas obliczeńminimalnych postaci SOP , otrzymane z wykorzystaniem programów Espresso, Sh-DT,EXT-DTESPRESSO EXT-DT Sh-DTfunkcja VAR N P N L t N P N L N N t N P N L N N texam1_d 3 4 12 0,00 4 12 7 0,00 4 12 7 0,00exam2_d 3 3 5 0,00 3 5 4 0,00 3 7 4 0,00exam3_d 4 4 13 0,00 4 13 11 0,00 5 19 10 0,00newill_d 8 8 42 0,00 9 47 27 0,01 9 60 20 0,01newtag_d 8 8 18 0,01 8 18 12 0,01 8 42 11 0,01max46_d 9 46 395 0,00 46 395 191 0,13 59 528 197 0,05life_d 9 84 672 0,09 84 672 246 0,14 110 960 257 0,059sym 9 84 504 16,31 148 888 438 0,14 148 1170 219 0,05Łącznie: 53 241 1661 16,41 306 2050 936 0,43 346 2798 725 0,17Uwaga: Procesor Pentium 166MMXPODZIĘKOWANIABadania zostały częściowo sfinansowane z grantu badawczego RKH\BW Nr 21-0119/17-99-00oraz z realizacji współpracy naukowej i naukowo-technicznej Białorusią z (Umowa NKZ-KBN/14/98). pragną podziękować Autorzy dr inż. V. Cheushev oraz mgr inż. D. Popel (UniwersytetInformatyki i Radioelektroniki, Białoruś).

LITERATURA[Bra84] Brayton R.K., Hatchel G.D., McMullen C.T., Sangiovanni-Vincentelli A.L., LogicMinimization Algorithms for VLSI Synthesis, Kluwer Academic Publishers, Boston, 1984[Bry86] Bryant R. E., Graph - based algorithm for Boolean function manipulation, IEEETrans.onComputers, 1986, C-35, no. 8, pp.667-691[Che98] Cheushev V., Shmerko V., Simovici D., Yanushkevich S., Functional entropy and decisiontrees, Proc. IEEE Int. Symp. on Multiple-Valued Logic, Japan, 1998, pp.357-362[Che98a] Cheushev V., Contextual Support in Document Understanding Systems, Chapter 3: Shannonand functional entropy, PhD Thesis, Supervisor V. Shmerko, University of Informatics andRadioelectronics, Minsk, Belarus, 1998[Chim98] Chimiak J., Algorytmy minimalizacji funkcji logicznych na bazie podejœciainformacyjnego, praca magisterska, promotor W. Szmerko, Instytut Informatyki, PolitechnikaSzczeciñska, 1998[Chim99] Chimiak J., Galas T., Ko³odziejczyk J., Popel D., Minimalizacja Boolowskich funkcjilogicznych z wykorzystaniem tenarnych diagramów decyzyjnych oraz podejœciainformacyjnego, Materia³y III Sesji Naukowej Informatyki, Instytut Informatyki PolitechnikiSzczeciñskiej, 1999, str. 231-236[Jar98] Jaroszewicz S., Algorytmy minimalizacji wielowartoœciowych funkcji logicznych, pracamagisterska, promotor W. Szmerko, Instytut Informatyki, Politechnika Szczeciñska, 1998[Kab90] Kabakcioglu A. M., Varshney P. K., Hartman C. R. P., Application of Information Theory toSwitching Function Minimization, IEE Proceedings, Pt E, 1990, vol.137, pp. 389-393[Llor93] Lloris-Ruiz A., Gomez-Lopera J. F., Roman-Roldan R., Entropic Minimization of Multiple-Valued Functions, Proc. IEEE Int. Symp. on Multiple-Valued Logic, 1993, pp. 24-28[£ub97] £uba T., Jasinski K., Zbierzchowski B., Specjalizowane Uk³ady Cyfrowe w Strukturach PLDi FPGA, Wydawnictwa Komunikacji i £¹cznoœci, Warszawa, 1997[Sasao95] Sasao T., Fujita M. (Editors), Representations of Discrete Functions, Kluwer AcademicPublishers, 1995[Sim93] Simovici D. A., Reischer C., On Functional Entropy, Proc. IEEE Int. Symp. on Multiple-Valued Logic, 1993, pp.100-104[Sim97] Simovici D.A. Shmerko V., Cheushev V., Yanushkevich S., Information Estimation forLogic Functions, Proc. Int. Conf. On Applications of Computer Systems, Szczecin, Poland,1997, pp.287-300[Shm98] Shmerko V., Jaroszewicz S., Simovici D., Cheushev V., Four Remarks on Minimizaton ofStrongly Unspecified Logic Functions, Proc. of the 7th Int. Workshop on Post-Binary Ultra-Large Scale Integration, Japan, 1998, pp.57-58[Gerg94] Gergov J., Meinel C., Efficient Boolean Manipulation with OBDDs can be extended toFBDDs, IEEE Trans. on Computers, vol.C-43, no.10, 1994, pp.1197-1209[Hart82] Hartmann C. R. P., Varshney P. K., Mehrotra K. G. and Gerberich C. L., Application ofInformation Theory to the Construction of Efficient Decision Trees, IEEE Trans. onInformation Theory, 1982, vol.IT-28, no.5, pp.565-577[Min96] Minato S., Binary Decision Diagrams and Applications for VLSI CAD, KluwerAcademicPublishers, 1996