TP Analyse des flux - Gt-metro

TP Analyse des flux
TP Analyse des flux
Contexte :
Simulation d’un routeur exportant des enregistrements de flux (trames netflow version 5) vers
plusieurs collecteurs :
L’analyse des flux est réalisée avec le logiciel nfdump qui fonctionne en ligne de commande.
Si le temps le permet, nfsen (outil graphique se basant sur nfdump) sera abordé.
Dispositif :
Le PC Intervenant utilise les flowtools afin de rejouer 3Go de données netflow
(enregistrements de flux anonymisés) vers les 10 PCs stagiaires. Après l’installation de
nfdump, les PCs stagiaires collectent les trames netflow en écoutant sur le port 33333, les
stockent dans le répertoire /tmp/netflow puis effectuent des mesures et des statistiques sur les
flux.
Nfdump :
(Cf. Annexe et man pour les options de chacun des outils) - http://nfdump.sourceforge.net
Nfdump est un ensemble d’outils en ligne de commande permettant la collecte, le stockage et
le traitement des enregistrements de flux, compatibles avec netflow v5, v7, v9 et sflow :
nfcapd - Capture des netflow :
1

TP Analyse des flux
Collecte les données netflow envoyées par le(s) routeur(s) et les stocke sous forme de fichiers.
Une rotation automatique sur les fichiers s’effectue (par défaut toutes les 5mn.). La capture
des données sflow (non traitée dans ce TP) est réalisée avec sfcapd.
nfdump – Traitement des enregistrements de flux
Récupère les enregistrements de flux stockés par nfcapd pour effectuer des
mesures/statistiques (top N par IP, ports…). La syntaxe d’utilisation est similaire à celle de
tcpdump (« pcap like ») pour appliquer des filtres (dst net 10.0.0.1/24 and proto tcp or …) et
restreindre les mesures.
nfprofile – Création de profils de mesures
A l’aide d’un filtrage spécifique, nfprofile crée un profil pour lequel nfdump récupère les
enregistrements de flux correspondant et les stocke dans des fichiers dédiés à ce profil.
nfreplay – Rejoue d’enregistrements de flux
Export des enregistrements de flux stockés par nfcapd vers d’autres collecteurs.
Les enregistrements de flux collectés sont stockés, par défaut toutes les 5 mn, dans un
nouveau fichier sous la forme : nfcapd.YYYYMMddhhmm. Par exemple, le fichier
nfcapd.200709181140 contient les données collectées le 18 sept. 2007 de 11h40 à 11h45.
Pour distinguer les enregistrements de flux provenant de routeurs différents, on les réparti
dans des répertoires différents. Pour le TP, un seul routeur exporte des trames netflow qui sont
stockées dans le répertoire /tmp/nfdump.
La collecte est effectuée par nfcpad en écoute sur le port (UDP 33333 pour le TP) à
destination duquel le PC Intervenant exporte ses enregistrements de flux :
nfcapd –w –D –l /tmp/nfdump –p 33333
-D : mode Daemon
-w : permet de faire une rotation des fichiers de manière arrondie. Pour une valeur par défaut
de l'intervalle de rotation qui est de 5mn, la rotation des fichiers s'alignera sur 0, 5,10...
-l /tmp/nfdump : répertoire de stockage des données reçues sous forme de fichier nfcapd.*.
-p en écoute sur le port 33333
L’analyse des données netflow avec nfdump peut être faite sur un simple fichier (option –r)
ou sur un ensemble de fichier (option –R) :
nfdump –r /tmp/netflow/nfcapd.YYYYMMddhhmm
nfdump –R /tmp/netflow/nfcapd.YYYYMMddhh00:nfcapd.YYYYMMddhh55
Le résultat est soit affiché en texte ASCII soit stocké dans un autre fichier nfcapd.*. Dans ce
cas, les fichiers résultant peuvent être retraités ultérieuement avec nfdump.
Le format d’affichage avec l’option –o peut se faire sous plusieurs formes :
-o raw : Affiche la totalité des informations contenues dans un enregistrement de flux pour
chaque flux sous forme de colonnes
-o line : format par défaut en ligne, il affiche un flux par ligne selon le format suivant :
Date flow start/Duration/Proto/Src IP Addr:Port/Dst IP Addr:Port/Packets/Bytes/Flows
-o long : format identique au line avec ajout d’informations comme TCP flags, ToS
-o extended : format étendu ajoutant les informations pps (packet per second) bps (bits per
second), bps (bytes per packet).
2

TP Analyse des flux
-o fmt : format customisé, sélection des informations à afficher. Par exemple, le format
long s’execute par -o “fmt:%ts %td %pr %sap -> %dap %pkt %byt %fl" (Cf.
« man nfdump »).
Pour simplifier le format d’affichage, on peut agréger les flux grâce à l’option –a qui
réunie sur une même ligne les flux ayant les mêmes caractéristiques suivantes : protocole,
adresse IP source et destination, port source et destination. Il est possible de n’agréger qu’en
fonction de certaines caractéristiques avec l’option –A , par exemple n’agréger les
flux qu’en fonction de l’adresse IP src et du port destination s’exécute avec l’option –a -A
srcip,dstport.
En fonction des besoins (Analyse d’incident, détection de scans, pistage d’une machine,
métrologie par port/srcip.../tos), nfdump filtre les flux affichés à l’aide d’une syntaxe (Cf.
Annexe) identique à celle utilisée avec tcpdump (pcap). Le filtre est à positionner à la fin de la
ligne de commande entre ‘..’. Par exemple, si on ne souhaite afficher que le trafic http à
destination du serveur 10.0.2.3 sur une période d’1/2h :
nfdump –R /tmp/netflow/nfcapd.Y…hh00:nfcapd.Y…hh30 ‘dst ip 10.0.2.3
and dst port 80’.
Statistiques Top N : L’option -s type[/orderby] permet de faire des top N sur les
enregistrements de flux (où N est configurable avec l’option –n num, -n 0 affiche tous les
enregistrements) en fonction d’une caractéristique (type : record, ip, proto, dstip, srcip,
srcport…) et de manière ordonnée (orderby : décroissant par nombre de flux, nombre
d’octets, de paquets…).
Figure 1: Schéma général de fonctionnement de nfdump
Excercices :
Le choix des fichiers à analyser est libre, c’est la durée sur laquelle ils sont à analyser qui est
fixe. Il n’y a donc pas de résultats fixés, il s’agit de trouver les bonnes commandes pour les
recherches demandées.
- Télécharger nfdump depuis le serveur FTP local et l’installer dans /tmp :
tar –zxvf nfdump-1.5.5.tar.gz
./configure
3

make
make install
- Créer le répertoire /tmp/nfdump
TP Analyse des flux
- Commencer la collecte en lançant nfcapd en mode daemon, en écoute sur le port
33333. Stocker les enregistrements de flux dans /tmp/netflow avec une rotation de
5mn.
nfcapd –w –D –l /tmp/netflow –p 33333
- Pour un fichier d’enregistrement de flux de 5mn : listing…
o Afficher les statistiques par protocole.
nfdump -r nfcapd.* –s proto/bytes nfcapd.**
o Afficher les 30 premiers flux dans le temps (option –c) au format d’affichage
long
nfdump -r nfcapd.* -c 20 –o long
o Afficher les flux de manière agrégée et repérer le couple srcip, dstip
comportant le plus de flux
nfdump -r nfcapd.* -a
o Afficher les flux de manière agrégée par protocole, comparer aux résultats du
1 er point.
nfdump --r nfcapd.* -a –A proto
- Sur une période de 10mn : filtres…recherche
o Afficher les flux à destination du port tcp 80 puis mesurer la quantité de trafic
correspondante en utilisant un filtre et une agrégation sur le protocole
nfdump -R nfcapd.*:nfcapd.*** -a –A proto ‘dst port 80’
o Trouver l’adresse IP des serveurs DNS, Web et NTP grâce aux options
d’agrégation et de filtres
nfdump -R nfcapd.*:nfcapd.*** -a –A dstip,dstport ‘dst port
80’
nfdump -R nfcapd.*:nfcapd.*** -a –A dstip,dstport ‘dst port
53’
nfdump -R nfcapd.*:nfcapd.*** -a –A dstip,dstport ‘dst port
123’
- Sur une période de 15mn : statistiques top N…
o Afficher le Top 20 par nombre d’octets des flux udp
nfdump -R nfcapd.*:nfcapd.*** -n 20 –s record/bytes ‘proto
UDP’
o Afficher le Top 10 par nombre de flux des AS destination
nfdump -R nfcapd.*:nfcapd.*** -n 10 –s dstas/flows
o Afficher le Top 20 des services par nombre de flux, en quelle position arrive
DNS, Web, NTP et SMTP. Faire la même chose par quantité de trafic, que
constate-t’on quant à la taille moyenne d’un flux pour ces 4 services.
nfdump -R nfcapd.*:nfcapd.*** -n 20 –s port/flows
nfdump -R nfcapd.*:nfcapd.*** -n 20 –s port/bytes
Ces 4 services sont parmis ceux qui sont les plus utilisés mais le rapport entre le nombre de
flux et la quantité de trafic en octet en fait de petits consommateurs de bande passante
puisque la taille moyenne d’un flux pour ces 4 services est faible.
4

TP Analyse des flux
o Afficher le Top 15 des adresses IP les plus consommatrices en débit. Donner la
nature du trafic émit par la station la plus consommatrice.
nfdump -R nfcapd.*:nfcapd.*** -n 20 -s ip/bps
o Afficher le Top 3 des réseaux /24 échangeant le plus de trafic
nfdump -R nfcapd.*:nfcapd.*** -n 3 -A srcip4/24,dstip4/24 -s
record/bytes
- Sur une période de 20mn : recherche de scans…métrologie
o Mesurer la quantité de trafic dans la classe de service Best Effort (DSCP = 0,
ToS = 0). Y’a-t-il du trafic Better than best Effort (DSCP 34, ToS = 136) et du
trafic Premium IP (DSCP 46, ToS = 184).
nfdump -R nfcapd.*:nfcapd.**** ‘tos 0’ –s ip/bytes
nfdump -R nfcapd.*:nfcapd.**** ‘tos 184’ –s ip/bytes
o Rechercher les scans (hauteur ou largeur) de port (trouver une combinaison
entre les options permettant de caractériser du trafic pouvant être du scan de
port).
On peut par exemple reconnaître un scan si le flux :
• n’est pas de l’icmp
• n’excède pas 100 octets
• comporte un nombre de bits par paquets < 100
• n’excède pas 5 paquets
• ne concerne pas les ports 80, 53, 110, 123
En hauteur : Scan effectué par 1 machine vers n machines sur un port.
En largeur : Scan effectué par 1 machine vers 1 machine sur plusieurs
port.
nfdump -R nfcapd.*:nfcapd.**** -a -A srcip,dstport -s
record/packets 'not proto icmp and bytes < 100 and bpp < 100
and packets < 5 and not port 80 and not port 53 and not port
110 and not port 123'
Le premier est : 2.7.29.210
Faisons une recherche complémentaire dessus : pour cette source, afficher les flux agrégés
sur l’adresse ip destination et le port, si le nombre de destination est très élevé et le port
toujours le même ; c’est un scan en hauteur, si le nombre de destination n’est pas élevé et les
ports différents, c’est un scan en largeur.
nfdump -R nfcapd.*:nfcapd.**** -a -A dstip,dstport 'src ip
2.7.29.210'
Annexes :
• Quelques options de nfcapd :
-p portnum
Specifies the port number to listen. Default port is 9995
-l base_directory
Specifies the base directory to store the output files. Default is /var/tmp If a sub hierarchy is
specified with -S the final directory is concatenated to base_directory/sub_hierarchy
-t interval
Specifies the time interval in seconds to rotate files. The default value is 300s ( 5min ).
5

TP Analyse des flux
-w Align file rotation with next n minute ( specified by -t ) interval.
Example: If interval is 5 min, sync at 0,5,10... wall clock minutes
Default: no alignment.
-D Daemon mode : fork to background and detach from terminal. Nfcapd terminates on
signal TERM, INT and HUP.
-h Print help text to stdout with all options and exit.
• Syntaxe des filtres pour le traitement des enregistrements de flux avec nfdump :
expr and expr, expr or expr, not expr, ( expr ).
expr can be one of the following filter primitives:
protocol version
inet or ipv4 for IPv4 and inet6 or ipv6 for IPv6 flows only
protocol
TCP, UDP, ICMP, GRE, ESP, AH, RSVP or PROTO where num is the protocol
number.
IP address
[SourceDestination] IP a.b.c.d or
[SourceDestination] HOST a.b.c.d with a.b.c.d as any valid IP address. SourceDestination
may be omitted.
SourceDestination
defines the IP address to be selected and can be SRC, DST or any combination of SRC
and|or DST. Omitting SourceDestination is equivalent to SRC or DST.
network
[SourceDestination] NET a.b.c.d m.n.r.s
[SourceDestination] NET a.b.c.d / num with a.b.c.d as network number, m.n.r.s as netmask
or num as maskbits respectively. The network may be given as a.b, a.b.c, where a B or Cclass
equivalent netmask is assumed.
Port
[SourceDestination] PORT [comp] num with num as a valid port number. If comp is
omitted, '=' is assumed.
Interface
[inout] IF num with num as an interface number.
inout
defines the interface to be selected and can be IN or OUT.
Flags
flags tcpflags with tcpflags as a combination of:
A ACK.
S SYN.
F FIN.
R Reset.
6

TP Analyse des flux
P Push.
U Urgent.
X All flags on.
The ordering of the flags is not relevant. Flags not mentioned are treated as don't care. In
order to get those flows with only the SYN flag set, use the syntax 'flags S and not flags
AFRPU'.
TOS Type of service: tos value with value 0..255.
Packets
packets [comp] num [scale] to specify the packet count in the netflow record.
Bytes
bytes [comp] num [scale] to specify the byte count in the netflow record.
Packets per second: Calculated value.
pps [comp] num [scale] to specify the pps of the flow.
Duration: Calculated value
duration [comp] num to specify the duration in milliseconds of the flow.
Bits per second: Calculated value.
bps [comp] num [scale] to specify the bps of the flow.
Bytes per packet: Calculated value.
bpp [comp] num [scale] to specify the bpp of the flow.
AS [SourceDestination] AS num with num as a valid AS number.
scale Scaling factor. Maybe k m g. Factor is 1024
comp The following comparators are supported:
=, ==, >,