Σημειώσεις

ΕΙΣΑΓΩΓΗ ΣΤO UNIX /Eντολές & Τext Manipulation – ΕΡΓΑΣΤΗΡΙΟ 5
Εντολές
Εντολή word count wc - µετρώντας .. σε ένα αρχείο
vassik@aetos:~/xunix/lab5$ wc /etc/passwd
1466 2936 111829 /etc/passwd
vassik@aetos:~/xunix/lab5$ wc -l /etc/passwd
1466 /etc/passwd
vassik@aetos:~/xunix/lab5$ wc -w /etc/passwd
2936 /etc/passwd
vassik@aetos:~/xunix/lab5$ wc -c /etc/passwd
111829 /etc/passwd
η option –l (line) δίνει τον αριθµό των γραµµών
η option –w (word) δίνει τον αριθµό των λέξεων
(όπου βρίσκει κενό ή newline, µετρά λέξεις)
η option –c (char) δίνει τον αριθµό των χαρακτήρων
(µετρά και το newline)
Συνδέοντας εντολές µε pipelines | - διασωληνώσεις
Η προκαθορισµένη έξοδος µιας επεξεργασίας/προγράµµατος µπορεί να είναι η είσοδος µιας
άλλης επεξεργασίας. Όταν γίνεται αυτό σχηµατίζεται µια pipeline
vassik@aetos:~/xunix/lab5$ who | wc -l
6
vassik@aetos:~$ ls -l /tmp | grep akefalas
-rw-rw-rw- 1 akefalas x0910 121 Apr 10 11:38 textVi.txt
To αποτέλεσµα του 1ου
γίνεται είσοδος για το 2ο
Το αποτέλεσµα της who (που µας δείχνει ποιοι είναι
συνδεδεµένοι δηλ. µια γραµµή για κάθε χρήστη)
γίνεται είσοδος για το wc -l ώστε τελικά µετράει
πόσοι είναι συνδεδεµένοι..
Η εντολή grep string file ψάχνει ένα string µέσα σε
ένα file. Έτσι το αποτέλεσµα της ls δηλ. η λίστα του
καταλόγου /tmp γίνεται το αντικείµενο έρευνας της
grep ψάχνει δηλ. εκεί το string akefalas και αν το
βρει µας το εµφανίζει.
vassik@aetos:~$ ls -l /tmp | grep akefalas | sort | lpr
Αν δεν υπήρχε η δυνατότης | , για το παραπάνω θα έπρεπε να γράψουµε π.χ.
~$ ls -l /tmp > file1
~$ grep akefalas file1 > file2
~$ sort file2 > file3
~$ lpr file3
~$ rm file[123]
[1]

ΕΙΣΑΓΩΓΗ ΣΤO UNIX /Eντολές & Τext Manipulation – ΕΡΓΑΣΤΗΡΙΟ 5
Text Manipulation µε τις grep, fgrep, egrep
Find a pattern µε την grep (global regular expression print)
Το grep είναι ένα utility πρόγραµµα που ψάχνει ένα ή περισσότερα από ένα αρχεία για γραµµές
που περιέχουν strings ενός συγκεκριµένου πρότυπου/µοτίβου (pattern).
Οι γραµµές που το ταιριάζουν (match the pattern) εµφανίζονται στην οθόνη.
Η πιο απλή περίπτωση είναι ένα fixed string pattern - σταθερής ακολουθίας χαρακτήρων.
Υπάρχουν όµως και πιο πολύπλοκα που καλούνται regular expressions.
Το fgrep (fast ή fixed) utility µόνο για fixed character strings.
Το egrep (extended) utility για full regular expressions.
• Fixed Character strings
vassik@aetos:~/xunix/lab4$ tail -5 /etc/passwd >pass
vassik@aetos:~/xunix/lab4$ cat pass
Στο αρχείο pass ψάχνουµε το string student
Κατόπιν ψάχνουµε 1 το string staff
vassik@aetos:~/xunix/lab4$ grep student pass
vassik@aetos:~/xunix/lab4$ grep staff
pass
vc
vassik@aetos:~/xunix/lab4$ tail -1 /etc/passwd >pass1
Στα δύο αρχεία pass και pass1 ψάχνουµε το string staff
vassik@aetos:~/xunix/lab4$ grep staff
vc
pass pass1
2
Στο αρχείο pass ψάχνουµε το string “Papamichail Dimitrios“
vassik@aetos:~/xunix/lab4$ grep «Papamichail Dimitrios»
pass
To string όταν περιέχει κενό πρέπει να µπεί µέσα σε (διπλά και ακόµη καλύτερα µονά) εισαγωγικά 1
1 Μια εντολή της µορφής grep student staff pass θα έψαχνε στα αρχεία staff και pass να βρεί το string
student (το 1 ο όρισµα είναι το string, ενώ τα υπόλοιπα, εδώ 2o & 3o όρισµα, ονόµατα αρχείων)
2 Αν δεν θέλουµε να βλέπουµε στο αποτέλεσµα τα ονόµατα των αρχείων βάζω option -h (header)
[2]

ΕΙΣΑΓΩΓΗ ΣΤO UNIX /Eντολές & Τext Manipulation – ΕΡΓΑΣΤΗΡΙΟ 5
• Regular Expressions in Text pattern
Μπορούµε στην grep να δώσουµε ένα pattern (ή template) κειµένου που θέλουµε να βρεθεί.
Π.χ. να βρεθούν όλες οι λέξεις µε 4 γράµµατα που αρχίζουν από d, ή αυτές που έχουν 6 ψηφία
στο τέλος κτλ. (το αποτέλεσµα θα είναι πάντα γραµµές που κάνουν match το pattern)
Τέτοιες pattern (ή template) λέγονται κανονικές εκφράσεις (Regular Expressions) και
«δουλεύουν» όπως τα wildcards που είδαµε στα ονόµατα των αρχείων και των directories δηλ.
χρησιµοποιούν κάποιους χαρακτήρες µε ειδικό νόηµα τους metacharacters.
Εστω 3 το παρακάτω αρχείο µε όνοµα grape που έχει 7 γραµµές:
1
2
3
4
5
6
7
How long, how long, in infinite Pursuit
Of This and That endeavour and dispute
Better be merry with the fruitful Grape
…………..Than sadden after none, or bitter, fruit.
.
How long ...
1 η γραµµή
2 η γραµµή
3η γραµµή
4 η γραµµή (έχει 14 κενά)
5 η γραµµή (έχει 1 κενό)
6η γραµµή
7 η γραµµή κενή
και θέλω π.χ. να βρω από το αρχείο grape τις γραµµές που αρχίζουν µε How και τις κενές
(τα ^How και ^$ είναι κανονικές εκφράσεις δηλ. RE ή regex )
vassik@aetos:~/xunix/lab5$ grep --color ^How grape
How long, how long, in infinite Pursuit
vassik@aetos:~/xunix/lab5$ grep -n ^$ grape
7: vc
option --color χρωµατίζει µε π.χ. κόκκινο
χρώµα τα ταιριάζοντα pattern
option -n (number) δίνει και το νούµερο
της γραµµής
Τι σηµαίνει Π.χ. γραµµές που Ν ο γρ. Σχόλια
(fixed string) Ηοw έχουν τo How 1,6 Τα fixed που είδαµε πριν
anchors
^ αρχή γραµµής ^How ξεκινούν 4 µε τo How 1 H 6 η ξεκινά µε κενά ή tab
$ τέλος γραµµής uit$ τελειώνουν 3 µε τo uit 1 Η 4 η έχει στο τέλος και µια τελεία
^$ κενές/άδειες γραµµές 7 Η 5 η θα έχει κενά!
'^How long …$' έχουν το 'Ηow long …' δεν δίνει την 6 η
'^ .' ξεκινούν µε κενό 4,5
ξεκινά µε κενά/tab
vassik@aetos:~/xunix/lab5$ grep –n '^ ' grape
4: Than sadden after none, or bitter, fruit.
5:
vc
κενό
Τα κενά λοιπόν παίζουν «ρόλο», πρέπει να µπαίνουν σε εισαγωγικά:
3 Aν θέλετε να το αντιγράψετε στο φάκελο που είστε: cp /home/staff/ektaktoi/vassik/xunix/lab05/grape .
4 Το ^ είναι anchor µόνο στην αρχή, το $ µόνο στο τέλος, σε άλλο σηµείο χάνουν την µετασηµασία τους.
[3]

ΕΙΣΑΓΩΓΗ ΣΤO UNIX /Eντολές & Τext Manipulation – ΕΡΓΑΣΤΗΡΙΟ 5
Τι σηµαίνει Π.χ. γραµµές που Ν ο γρ. Σχόλια
. ένας οποιοσδήποτε ' T... .' έχουν λέξεις 6 που 2,4
χαρακτήρας 5 ξεκινούν µε Τ µετά έχουν
3 chars (κενό πριν/µετά) 7
'^T... .'
' T...$.'
uit.$
ξεκινούν µε λέξη από Τ
µετά 3 chars (κενό µετά)
τελειώνουν µε λέξη, από Τ
και 3 chars µετά (κενό πριν)
τελειώνουν µε το uit
και µετά έχουν 1 char.
∆εν υπάρχουν.
Η 4 η ξεκινά µε κενά
∆εν υπάρχουν
4 Αν στο τέλος της 1 ης υπήρχε κενό
θα έβγαινε και η 1η
\ πριν από ένα
metachar ακυρώνει το
ειδικό νόηµά του
uit\.$
τελειώνουν µε το uit
και µετά έχουν τελεία
4 Το \ πριν την τελεία ακυρώνει την
µετασηµασία της τελείας (1char)
' fruit. '
' fruit\.'
έχουν την λέξη fruit και
µετά 1 char (κενό πριν)
έχουν την λέξη fruit και
µετά τελεία (κενό πριν)
3,4 αν θέλουµε µόνο λέξεις fruit δεν
έχει επιθυµητό αποτέλεσµα
4
Kλάσεις χαρακτήρων µε [ ] και [-]
How long, how long, in infinite Pursuit
Of This and That endeavour and dispute
Better be merry with the fruitful Grape
Than sadden after none, or bitter, fruit.
How long ...
Μέσα στα [ ] καθορίζεται το σύνολο ή το διάστηµα των χαρακτήρων που ψάχνουµε :
1
2
3
4
5
6
7
Τι σηµαίνει Π.χ. γραµµές που Ν ο γρ. Σχόλια
[ ] χαρακτήρας από το [Tt]his έχουν τo This ή το this 2
σύνολο µέσα στα []
^[Tt]his ξεκινούν µε Τhis ή this ∆εν υπάρχουν.
^[BHOT] ξεκινούν µε Β ή Η ή Ο ή Τ 1,2 3 η ,4 η ,6 η ξεκινούν µε κενά/tab
[BT] που έχουν Β ή Τ 2,3,4
[-] χαρακτήρας από το
διάστηµα µέσα στα[]
^[B-T]
^[B-HO-T]
ξεκινούν µε χαρακτήρα στο
διάστηµα από Β έως Τ
ξεκινούν µε χαρακτήρα στο
διάστηµα από Β έως Η ή στο
διάστηµα Ο έως Τ
1,2
1,2
[^] χαρακτήρας που δεν
ανήκει στο σύνολο
µέσα στα []
[^BT]h
^[^BT]
έχουν char διαφορετικό 8 από
Β,Τ και µετά h
ξεκινούν µε χαρακτήρα που
δεν είναι Β ή Τ
1, 3 Η option --color θα βοηθήσει
να κατανοηθεί καλύτερα
1,2,3,
4,5,6
…τι γίνεται µε την 7 η ( 5 )
5 Εκτός από τον χαρακτήρα newline (τέλος γραµµής \n)
6 Όταν πρόκειται για ολόκληρες «λέξεις» µπορεί να έχουν πριν ένα κενό, και µετά ή κενό ή κάτι άλλο πχ .
7 Στην περίπτωση T... λέξη θα θεωρηθεί πχ και το Τ34b που δεν είναι λέξη µε νόηµα!, κύττα πιο κάτω.
8 Μια εντολή [^ΒΤ] θα δώσει γραµµές 1..6 δηλ. και 2 η , 4 η µιας και έχουν µόνο Τ όχι Β, και 3 η έχει µόνο Β
[4]

ΕΙΣΑΓΩΓΗ ΣΤO UNIX /Eντολές & Τext Manipulation – ΕΡΓΑΣΤΗΡΙΟ 5
Τι σηµαίνει Π.χ. γραµµές που Ν ο γρ. Σχόλια
[^-] χαρακτήρας που δεν [^B-T]h
έχουν χαρακτήρα που
ανήκει στο διάστηµα
δεν είναι από Β έως Τ
µέσα στα []
και µετά h
1 κενό(δεν είναι στο Β-Τ) και
µετά how
Προσοχή στα κενά µπρος και
πίσω από την λέξη που
περικλείονται σε µονά εισαγωγικά
' [Tt][a-z][a-z][a-z] '
έχoυν λέξη από Τ ή t και
άλλα 3 γράµµατα µετά από
a έως z ()
' [^Tt][a-z][a-z][a-z] ' 4char λέξεις που ο 1 ος char
δεν είναι Τ ή t
2,4 Πιο καλό! από το ' T... .'
που θεωρεί οποιοδήποτε
χαρακτήρα µετά το Τ
3,6 option --color θα βοηθήσει
Αριθµοί
[1230] αριθµοί 1ή 2 ή 3 ή 0
[0-3] αριθµοί στο διάστηµα 0-3
[1-30] αριθµοί στο διάστηµα 1-3 ή 0 (και όχι από 1 έως το 30)
[1-9][0-9] διψήφιοι αριθµοί
Ο χαρακτήρας -
Αν θέλουµε να ανήκει στο σύνολο των χαρακτήρων που ψάχνουµε ο χαρακτήρας - αρκεί να τον
βάλουµε στην αρχή 9 ή να άρουµε την σηµασία του µε \- (να µην µπερδευτεί µε το διάστηµα) π.χ.
[-bm] σηµαίνει ο χαρακτήρας - , ή o χαρακτήρας b, ή o χαρακτήρας m
Oι επεκταµένες (full) κανονικές εκφράσεις υποστηρίζονται από την εντολή egrep που είναι
υπερσύνολο της grep.
Η egrep αναζητεί όσα και η grep αλλά και RE µε επιπλέον µεταχαρακτήρες (π.χ. +,,| ).
Closures { } Επαναλαµβανόµενα pattern µε την egrep
Γενικά ένας αριθµός µέσα σε άγκιστρα π.χ. {3} µετά από µια έκφραση καθορίζει τον αριθµό των
φορών που η έκφραση θα επαναληφθεί π.χ.
αν θέλω µια λέξη από Τ ή t και άλλα 3 γράµµατα µετά από a έως z (κενό πριν, µετά)
' [Tt][a-z]{3} '
closure
H γενική όµως φόρµα είναι {n,m} και
σηµαίνει εµφανίσεις το λιγότερο n φορές και το περισσότερο m.
$ egrep --color '[Tt][a-z]{3}' grape
Of This and That endeavour and dispute
Better be merry with the fruitful Grape
Than sadden after none, or bitter, fruit.
$ egrep --color ' [Tt][a-z]{3} ' grape
Of This and That endeavour and dispute
Than sadden after none, or bitter, fruit.
9 παρόµοια ισχύει και για τα [ και ]
[5]

ΕΙΣΑΓΩΓΗ ΣΤO UNIX /Eντολές & Τext Manipulation – ΕΡΓΑΣΤΗΡΙΟ 5
closure Συντ/φία Εµφανίσεις Σχόλια
{1,3} από µια έως τρεις γενικότερα {n,m}
{3} τρεις γενικότερα {n}
{0, } * καµία ή περισσότερες 10 υποστηρίζεται από σχεδόν όλες τις
version της egrep (και την grep)
{1, } + µία ή περισσότερες 10
{0, 1} καµία ή µία
* {0,∞}
+ {1,∞}
{0,1}
Ετσι σε ένα οποιοδήποτε αρχείο, π.χ. στο αρχείο grape, η εντολή
$ egrep '.*' grape
που σηµαίνει match από 0 έως άπειρους χαρακτήρες, δίνει όλες τις γραµµές
δηλαδή είναι ίδια µε την cat grape (αλλά η cat είναι πιο εύκολη και γρήγορη).
Mερικά παραδείγµατα στο αρχείο 11 µε όνοµα tra
Αρχείο tra Eντολή εξήγηση αποτέλεσµα-γραµµές
1
2
3
ra la la tra
traaatratra
tra tra tra tra
egrep 't{1,3}' tra
egrep 'tra{1,3}' tra
egrep 'tra{3}' tra
1..3 εµφανίσεις του t
tr, 1..3 εµφανίσεις του a
tr και 3 επαναλήψεις του a
όλες και η 3 η
όλες οι γραµµές
2 η γραµµή
egrep 'tra {1,3}' tra
egrep '(tra ){3}' tra
tra, 1..3 εµφανίσεις του κενό
3 εµφανίσεις του tra κενό
3 η (1 η 2 η δεν έχει κενό)
3 η (oµαδοποίηση µε () )
Μερικά παραδείγµατα στο αρχείο µε όνοµα ab
Eντολή εξήγηση αποτέλεσµα
1
2
3
4
5
6
ac
ababcbabc
abbc
abbbc
abcbc
abcbcbc
egrep '.*' ab
egrep 'a*' ab
egrep 'a' ab
egrep 'a ' ab
egrep 'a+' ab
Ένας χαρακτήρας εµφανίζεται 0..∞
To a εµφανίζεται 0..∞
To a εµφανίζεται 0..1
To a εµφανίζεται 0..1 µετά κενό
To a εµφανίζεται 1..∞
όλες οι γραµµές
όλες οι γραµµές
όλες οι γραµµές
καµία –δεν υπάρχει
όλες οι γραµµές
egrep -n 'ab+c' ab
egrep -n '(ab)+c' ab
a, επανάληψη b 1..∞, και c
ab επανάληψη 1..∞, και c
όλες εκτός της 1 ης
2 η ,5 η ,6 η
egrep -n 'abc' ab
a, επανάληψη b 0..1, και c
1 η ,2 η ,5 η ,6 η
egrep -n 'a(bc)*' ab
egrep -n 'a(bc)' ab
egrep -n 'a(bc)+' ab
a, επανάληψη bc 0..∞
a, επανάληψη bc 0..1
a, επανάληψη bc 1.. ∞
όλες οι γραµµές
όλες οι γραµµές
2 η ,5 η ,6η
oµαδοποίηση µε παρενθέσεις ()
10 Περισσότερες σηµαίνει πάρα πολλές (το συµβολίζω µε ∞, χωρίς όµως να έχει την έννοια του άπειρου)
11 Aν θέλετε να το αντιγράψετε στο φάκελο που είστε: cp /home/staff/ektaktoi/vassik/xunix/lab05/tra .
[6]

ΕΙΣΑΓΩΓΗ ΣΤO UNIX /Eντολές & Τext Manipulation – ΕΡΓΑΣΤΗΡΙΟ 5
Αρχείο ab
Οµαδοποιήσεις των regex
Παρενθέσεις ( ) τοποθετούνται στην κανονική έκφραση ώστε οι µεταχαρακτήρες
πχ *, + ή , να δράσουν στην έκφραση αντί σε ένα µόνο χαρακτήρα.
Για να επαναληφθούν κάποιες οµάδες regex µπορεί να χρησιµοποιηθεί η back reference \
π.χ (RE1)ab(RE2)cd\1e\2xy\1 σηµαίνει RE1abRE2cdRE1eRE2xyRE1
µε RE1 και RE2 να είναι συγκεκριµένες κανονικές εκφράσεις
1η oµάδα 2η οµάδα
Back Reference
αναδρ/κή αναφορά
\1 1 η οµάδα
\n n η οµάδα (1..9)
οµάδες είναι
RE µέσα στις ()
οι
egrep '(.)\1' ab
egrep '(bc)\1' ab
egrep '([bc])\1' ab
egrep '([bc]{2})\1' ab
egrep '(b)[ac]\1' ab
Επανάληψη ενός χαρακτήρα της οµάδας,
ένα γράµµα επαναλαµβανόµενο (εδώ το b)
Επανάληψη bc
Επανάληψη ή b ή c
Όµοιο µε '([bc][bc])\1' επανάληψη
ή bb ή bc ή cc
Επανάληψη b µε ενδιάµεσο a ή c
ac
ababcbabc
abbc
abbbc
abcbc
abcbcbc
γραµµές 3,4
γραµµές 5,6
γραµµές 3,4
γραµµές 5,6
γραµµές 2,5,6
1
2
3
4
5
6
egrep '(.)(.)\1\2' ab
1 ος char, 2 ος char, & επανάληψη του 1 ου 2 ου
γραµµές 2,5,6
Εναλλακτικές pattern µε την egrep
(|) RE|RE egrep '(This|That)' grape έχουν This ή Τhat Γραµµή 2
Options -v , -i, -y, -c, -l, -r
-v (invert) εµφανίζονται όλες οι γραµµές εκτός από αυτές που ταιριάζουν
-i ,-y (ignore case) αγνόησε κεφαλαία µικρά
-c (count) δίνει µόνο πλήθος γραµµών (που ταίριαξαν)
-l (list) δίνει τα ονόµατα των matching αρχείων (ταίριασµα για περισσότερα από ένα αρχεία)
-r (recursive) ψάχνει σε καταλόγους και υποκαταλόγους
vassik@aetos:~/xunix/lab4$ grep -v student
pass
anchors
Συνοπτικός πίνακας
^ αρχή γραµµής
$ τέλος γραµµής
. ένας οποιοσδήποτε χαρακτήρας 12
\ πριν από ένα metachar ακυρώνει το ειδικό νόηµά του
[ ] χαρακτήρας από το σύνολο µέσα στα []
[-] χαρακτήρας από το διάστηµα µέσα στα[]
[^] χαρακτήρας που δεν ανήκει στο σύνολο µέσα στα []
[^-] χαρακτήρας που δεν ανήκει στο διάστηµα µέσα στα []
* (0..∞) καµία ή περισσότερες 13 εµφανίσεις της προηγούµενης RE
+ (1..∞) µία ή περισσότερες 13 εµφανίσεις της προηγούµενης RE
(0..1) καµία ή µία εµφανίσεις της προηγούµενης RE
{1,3} (n..m) 1 έως 3 εµφανίσεις της προηγούµενης RE
\1 Επανάληψη της 1 ης οµάδας RE (\2 αντίστοιχα της 2 ης ..)
(|) Εναλλακτικές patterns
12 Εκτός από τον χαρακτήρα newline (τέλος γραµµής \n)
13 Περισσότερες σηµαίνει πάρα πολλές (το συµβολίζω µε ∞, χωρίς όµως να έχει την έννοια του άπειρου)
[7]