====== Cyclictest ====== //Cyclictest// startet mehrere Tasks, welche periodisch aufgerufen werden. Die effektive Periodendauer wird gemessen und der Jitter wird angezeigt. * [[https://wiki.linuxfoundation.org/realtime/documentation/howto/tools/cyclictest/start?s[]=cyclictest | Projektwebseite]] Ein Vortrag von der "//Embedded Linux Conference 2013//" bietet einen guten Einstieg für die Benutzung des Cyclictest. Der Vortrag kann auf [[https://www.youtube.com/watch?v=f_u4r6ehZKY | Youtube]] angeschaut werden. Die PPT Folien stehen {{:software:linux:cyclictest:cyclictest_frank_rowand_ppt.pdf | hier}} zum Download bereit. ===== Installation ===== Siehe [[https://wiki.linuxfoundation.org/realtime/documentation/howto/tools/rt-tests#compile-and-install | RT-Tests]] Bei der Compile-Fehlermeldung "src/cyclictest/rt_numa.h:23:18: fatal error: numa.h: No such file or directory" siehe [[https://wiki.linuxfoundation.org/realtime/documentation/howto/tools/rt-tests#compile-and-install | Compile and install]] ==== Crosscompilieren für MPC 5200 ==== - "rt-tests" auschecken git clone git://git.kernel.org/pub/scm/utils/rt-tests/rt-tests.git Oder bereits angepasstes Repository verwenden und anschliessend bei Punkt 7 (Build ausführen) weiterfahren.git clone https://github.com/MarcelGehrig/rt-tests - Ins Verzeichnis wechselncd rt-test - Im Makefile die 2. Zeile "CC?=\$(CROSS_COMPILE)gcc" zu "CC:=$(CROSS_COMPILE)gcc" ändern - Im File "src/cyclictest/cyclictest.c" in der Zeile 66 das Wort "static" entfernen - Im File "src/include/rt-sched.h" nach der Zeile 56 folgende Zeilen hinzufügen:#ifdef __powerpc #define __NR_sched_setattr 355 #define __NR_sched_getattr 356 #endif - Im File "src/lib/rt-utils.c" nach der Zeile 24 folgende Zeilen hinzufügen:#ifndef SCHED_IDLE #define SCHED_IDLE 5 #endif - Build ausführenmake all ARCH=powerpc CROSS_COMPILE=powerpc-buildroot-linux-uclibc- NUMA=0 - "cyclictest" auf das Target kopieren ===== Anwendung ===== IMPORTANT Bei der Messung der RT-Performance müssen diverse Einflüsse beachtet werden. Im Artikel [[software:linux:preempt_rt:hinweise_messung_rt|Hinweise zum Messen eines RT-Systems]] sind die wichtigsten Einflüsse gesammelt. ==== Schnelle Messung ==== sudo ./cyclictest -p 80 -t5 -n Erzeugt 5 Threads mit höchster Priorität von **-**80 (-p) mit der Verwendung von nano_sleep() (-n). Genauere Informationen siehe [[https://wiki.linuxfoundation.org/realtime/documentation/howto/tools/cyclictest/start?s%5b%5d=cyclictest | Projektwebseite]] ==== Histogramm ==== Das Histogramm zeigt auf, welche Latenzen wie oft auftreten. Mit folgendem Befehl speichert der Cycletest die Daten in Form von einem Histogramm ab. sudo ./cyclictest -n -Sp80 -l600000 -i1000 -h1000 -q > histogramm.log [{{ :software:linux:cyclictest:histograme05.jpg?400|Histogramm von einem x86 mit RT Kernel. Messzeit 1h}}] | -n |use clock_nanosleep| | -Sp80 |S = alle Kerne; p = Priorität **-**80 (Realtime)| | -l600000 |600'000 Zyklen| | -i1000 |1000us pro Zyklus| | -h1000 |maximal Latenzen bis 1000us werden im Histogramm gemessen| | -q |quiet: keine Ausgaben während Messung| ^ Messdauer: |l600000*i1000 = 600e6us = 600s = 10min| Alle Messungen die länger dauern als ''-h1000'' erscheinen nicht im Histogramm. Diese Messungen werden gezählt und am Schluss des Logfiles als //Histogram Overflows:// angezeigt. Die Maximale Latenz wird als //Max Latencies:// angezeigt. Um das Histogramm zu plotten kann das Matlab Skript {{:software:linux:cyclictest:plothistogram.zip| plotHistogramm.m}} verwendet werden. ==== Optionen ==== Die vollständige Dokumentation über die Optionen findet sich auf der [[https://wiki.linuxfoundation.org/realtime/documentation/howto/tools/cyclictest/start?s%5b%5d=cyclictest | Webseite]] des Cyclictest. Die wichtigsten Optionen werden in der folgenden Liste beschrieben: | -n |use clock_nanosleep; clock_nanosleep wird von den meisten RT-Anwendungen verwendet| | -p80 |Priorität| | -l600000 |600'000 Zyklen bis der Test sich selbst beendet. Kann auch weg gelassen werden, wenn man den Test manuell mit ''CTL + C'' beendet| | -i1000 |1000us pro Zyklus| | -h1000 |maximal Latenzen bis 1000us werden im Histogramm gemessen| | -q |quiet: keine Ausgaben während Messung. Kann wichtig sein, wenn die SSH Verbindung die Messung stört| | -m |Der Cyclictest reserviert sich den benötigten Speicher zu beginn. Der Speicher muss nicht dynamisch zugewiesen werden.| ===== Messungen ===== ==== MPC 5200 ==== Für einen zyklischen Task mit einem Intervall von 1000us und der Priorität -80 ist ein Jitter von maximal 100-150us zu erwarten. Diese Ergebnisse können schlechter ausfallen, wenn zusätzliche Prozesse mit hoher Priorität (z.B. Interrupt Prozesse) laufen. ./cyclictest -n -p80 -t1 -i1000 In einem [[https://lkml.org/lkml/2008/1/24/77 | Blogpost]] schriebt Wolfgang Grandegger von ähnlichen Ergebnissen. Messungen innerhalb der NTB haben die Resultate bestätigt. Alexander Bauer zeigt in seinem Paper [[https://www.google.ch/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0ahUKEwjuyOeph8_MAhXKJsAKHVF6A_8QFggcMAA&url=http%3A%2F%2Farchive.linuxgizmos.com%2Fldfiles%2Farticle081%2FBauer.pdf&usg=AFQjCNHveQ3bKXarYwvja9iADV_Ub3IIzw&bvm=bv.121421273,d.bGs | Realtime capabilities of low-end PowerPC and ARM boards for embedded systems]] sogar noch bessere Ergebnisse auf. Laut diesem Paper ist der maximale Jitter gerade mal 45us. Allerdings wird nicht genau beschrieben, wie die Messung gemacht wurde. Solche Ergebnisse konnten in der NTB auch nicht reproduziert werden. Die folgenden Messungen werden teilweise mit künstlicher Last wie //CacheCalibrator// oder //dd// durchgeführt. Mehr dazu unter [[software:linux:stresstests:start|Künstliche Belastungen für ein RT-System]]. == Nur Cyclictest, ohne zusätzliche Last == # ./cyclictest -p 80 -t5 -n 15h 45min lange Messung * T: 0 ( 3264) P:80 I:1000 C:56714706 Min: 21 Act: 63 Avg: 49 Max: 106 * T: 1 ( 3265) P:80 I:1500 C:37809807 Min: 22 Act: 52 Avg: 49 Max: 116 * T: 2 ( 3266) P:80 I:2000 C:28357356 Min: 22 Act: 61 Avg: 51 Max: 108 * T: 3 ( 3267) P:80 I:2500 C:22685885 Min: 22 Act: 69 Avg: 47 Max: 103 * T: 4 ( 3268) P:80 I:3000 C:18904904 Min: 24 Act: 54 Avg: 50 Max: 124 == Mit Cache Calibrator als zusätzlicher Last == ./cyclictest -p 80 -t5 -n 3 min lange Messung * T: 0 ( 3135) P:80 I:1000 C: 179806 Min: 21 Act: 58 Avg: 52 Max: 103 * T: 1 ( 3136) P:80 I:1500 C: 119873 Min: 27 Act: 60 Avg: 54 Max: 136 * T: 2 ( 3137) P:80 I:2000 C: 89905 Min: 20 Act: 60 Avg: 53 Max: 102 * T: 3 ( 3138) P:80 I:2500 C: 71924 Min: 29 Act: 60 Avg: 52 Max: 126 * T: 4 ( 3139) P:80 I:3000 C: 59937 Min: 37 Act: 52 Avg: 46 Max: 99 Der //Cache Calibrator// belastet den Cache stark. Trotz dieser Belastung ist die maximale Latenz kaum gestiegen. == 100% Prozessorlast mit ''dd'' == dd if=/dev/zero of=/dev/null ./cyclictest -p 80 -t5 -n 27 min lange Messung T: 0 ( 695) P:80 I:1000 C:1643188 Min: 23 Act: 65 Avg: 49 Max: 120 T: 1 ( 696) P:80 I:1500 C:1095459 Min: 24 Act: 61 Avg: 51 Max: 119 T: 2 ( 697) P:80 I:2000 C: 821594 Min: 33 Act: 47 Avg: 43 Max: 89 T: 3 ( 698) P:80 I:2500 C: 657275 Min: 28 Act: 41 Avg: 51 Max: 99 T: 4 ( 699) P:80 I:3000 C: 547729 Min: 28 Act: 44 Avg: 51 Max: 114 Dank der hohen Priorität des Cyclictest von -80 wird er vom dd-Prozess, der eine Priorität von +20 hat, nicht beeinflusst. ==== x86 ==== Für folgende Tests wurde ein Laptop mit folgenden Kenndaten verwendet: * 4x Intel Core i7-4600U CPU @ 2.1GHz * 16GB RAM * Linux Mint 17.3 Rosa Linux Mint 17.3 Rosa wird mit einem 3.19 Kernel ausgeliefert. Für den 3.19 Kernel existiert aber kein RT-Patch. Für die RT-Tests wurde deshalb ein 3.18 Kernel verwendet. Mit dem 3.18 Kernel funktionierte das System aber nicht mehr einwandfrei. Es konnte zum Beispiel keine Netzwerkverbindung mehr aufgebaut werden. == 3.19.0-32-generic; Idle == ./cyclictest -p 80 -t5 -n 19 min lange Messung * T: 0 (16289) P:80 I:1000 C:1149325 Min: 1 Act: 2 Avg: 1 Max: 1505 * T: 1 (16290) P:80 I:1500 C: 766219 Min: 1 Act: 2 Avg: 1 Max: 1390 * T: 2 (16291) P:80 I:2000 C: 574664 Min: 1 Act: 2 Avg: 2 Max: 1039 * T: 3 (16292) P:80 I:2500 C: 459731 Min: 1 Act: 1 Avg: 2 Max: 741 * T: 4 (16293) P:80 I:3000 C: 383109 Min: 1 Act: 2 Avg: 1 Max: 1320 Die Messung zeigt deutlich, dass ein nicht RT gepatchter Kernel nicht für RT-Anwendungen zu gebrauchen ist. == 3.19.0-32-generic; Normaler Alltagsgebrauch == ./cyclictest -p 80 -t5 -n 83 min lange Messung * T: 0 (17458) P:80 I:1000 C:4999230 Min: 1 Act: 2 Avg: 2 Max: 5269 * T: 1 (17459) P:80 I:1500 C:3332832 Min: 1 Act: 2 Avg: 2 Max: 11175 * T: 2 (17460) P:80 I:2000 C:2499634 Min: 1 Act: 1 Avg: 2 Max: 2435 * T: 3 (17461) P:80 I:2500 C:1999709 Min: 1 Act: 1 Avg: 2 Max: 1933 * T: 4 (17462) P:80 I:3000 C:1666423 Min: 1 Act: 2 Avg: 2 Max: 4224 == 3.18.29-rt30; RT-Kernel; ohne GUI == sudo ./cyclictest -n -p80 -l46800000 -i1000 -h1000 -q > histogramm.log 13h lange Messung [{{ :software:linux:cyclictest:histograme04.jpg?400|3.18.29-rt30; RT-Kernel; ohne GUI; Histogram Overflows: 0}}] Das Histogramm zeigt, dass die meisten Latenzen kleiner als 250us sind. Allerdings hat es auch einige Ausreisser von bis zu 900us zu erkennen. Die Latenzen von 40us bis 250us sind vermutlich auf die // SMIs//, welche typisch für x86 Architekturen sind, zurückzuführen. Um die Ausreisser zu erklären sind weitere Untersuchungen notwendig. ===== Diskussion ===== Neben den ausgeführten Messungen können auch die Messungen von [[https://www.osadl.org | Open Source Automation Development Lab]] als Referenz verwendet werden. Das OSADL hat ein QA Rack, in dem diverse Prozessoren bezüglich Latenz ausgemessen werden. Die [[https://www.osadl.org/Hardware-overview.qa-farm-hardware.0.html | Hardwareübersicht]] zeigt alle Prozessoren, die gerade gemessen werden. Zu beachten ist noch, dass die von OSADL verwendeten Kernel speziell gepatched sind. Die Patches sind aber veröffentlicht. Unsere Messungen der x86 Plattform scheinen nicht auf eine brauchbare RT-Performance schliessen zu lassen. Besonders die sporadisch auftretenden Ausreisser stören. Die Messungen von OSADL zeigen aber, dass auch i7-Prozessoren eine gute RT-Performance haben können. Der {{:software:linux:cyclictest:intel_r_core_tm_i7-3820qm_cpu_2.70ghz_linux_3.18.11-rt7.gif?linkonly | Latency Plot }} von OSADL des [[https://www.osadl.org/Profile-of-system-in-rack-9-slot-2.qa-profile-r9s2.0.html?shadow=0|i7-3615QE]] zeigt zum Beispiel eine viel bessere RT-Performance. Dies liegt vermutlich an den von OSADL verwendeten Patches und Kernelkonfiguration. Der oben gemessene Prozessor hat möglicherweise aber auch eine schlechtere RT-Performance, weil es sich beim i7-4600U um einen //Ultra-low power// Prozessor handelt (siehe [[http://www.intel.com/content/www/us/en/processors/processor-numbers.html|Externer Link]]). Ein //Ultra-low power// Prozessor wurde von OSADL nicht gemessen.