Rigorese Softwaretesten bij RTI: Betrouwbaarheid Garanderen in Connext DDS

RTI software aandrijft talloze missie‑kritieke systemen. Onze klanten eisen de hoogste betrouwbaarheid en kwaliteit, dus bespreken we openlijk onze ontwikkelpraktijken, tooling, en het RTI IIoT lab bij vergaderingen met hen. Een frequente discussie is de softwaretesten die we uitvoeren – een gebied waar we trots op zijn. Deze post schetst de uitgebreide teststrategie achter elke RTI release.

De Connext productfamilie deelt een geünificeerd ontwikkel‑ en testproces. De enige uitzondering is Connext DDS CERT, dat een distinct proces volgt afgestemd op veiligheids‑gecertificeerde applicaties. Voordat nieuwe software wordt vrijgegeven, voeren we een uitgebreide suite tests uit die functionaliteit, prestaties en schaalbaarheid valideren.

Unit Tests

Unit tests bevestigen dat individuele functies zich gedragen zoals verwacht. Ze vormen de ruggengraat van onze regressietesten voor elke productrelease. Naast eenvoudige functiechecks, ondersteunt het framework single‑node feature testing en incorporeert zelfs klant‑geleverde QoS instellingen in recente releases. Ons doel is om realistische operatieve omgevingen na te bootsen waar mogelijk.

Feature Tests

Wanneer een nieuwe feature wordt toegevoegd, creëren we een feature testplan en ontwikkelen end‑to‑end tests. Voor Connext DDS Micro, gebruiken we een gedistribueerd testframework dat meerdere "test runners" op afzonderlijke machines gebruikt, gecoördineerd door een centrale "test manager". Een custom DDS testtaal beschrijft elk scenario, en runners voeren scripts uit, publiceren PASS/FAIL resultaten, en wachten op het volgende commando. Feature tests focussen op:

• Applicatie‑level API's en DDS QoS beleidsregels (deadline, levendigheid, etc.)
• Resource limieten
• Cross‑endianness compatibiliteit
• Ontdekkingsmechanismen
• Prestatiemetricen
• Stabiliteit onder load

Interoperabiliteitstesten

• Binnen RTI producten – Geautomatiseerde tests draaien duizenden configuratiecombinaties, vooral na feature releases zoals Connext 6. Oudere RTI versies worden getest wanneer we potentiële breukrisico's identificeren.
• Taalinteroperabiliteit – Tests worden indirect uitgevoerd door RTI's Java tools (bijv. RTI Admin Console) te combineren met applicaties geschreven in andere talen.
• Met andere DDS leveranciers – Reguliere basistests vinden plaats bij OMG DDS bijeenkomsten, diepere checks op DDS Security, Extensible Types, en het RTPS wire protocol worden gecoördineerd via de OMG community (https://github.com/omg-dds).

Installatie Tests

Installatietesten vangen integratie en interoperabiliteit over meerdere RTI producten. Ze worden handmatig en via een geautomatiseerde suite uitgevoerd die dekt:

• Correcte bestandsinstallatie
• Grafische gebruikersinterface integratie (momenteel handmatig)
• Documentatienauwkeurigheid
• Basisfunctionaliteit met meegeleverde voorbeelden, inclusief de Getting Started Guide, over veel platforms
• Product‑ en taalinteroperabiliteit

Geautomatiseerde installatietesten verifiëren:

• Installatie‑integriteit via bestandschecks
• Utility uitvoering (rtiddsping, rtiddsspy, rtiprototyper)
• rtiddsgen‑gegenereerde voorbeelden in C, C++, C++03, C++11, C++ CLI, C#, en Java (statisch/dynamisch, release/debug)
• Meegeleverde voorbeelden met diverse build configuraties
• Prestatievoorbeelden in C++ en Java
• TCP‑meegleverde voorbeelden in C

Deze tests draaien op 80 distincte architecturen, inclusief Windows, Linux, Solaris, Lynx, QNX, Darwin, en VxWorks.

Prestatie‑ en Geheugenprofilering

Realistische gedistribueerde prestatietesten zijn inherent complex. Onze tools zijn ontworpen om cruciale metrics te meten zoals buffer sizing, doorvoersnelheid, latentie, real‑time levering, stack gebruik, en OS interacties.

• Unit tests vangen functie‑level prestaties en geheugengebruik.
• perfTest profileert Connext DDS's algehele prestaties. Het is uitgebreid getuned voor realistische metingen en kan draaien naast andere producten zoals Routing Service. Publieke latentie‑ en doorvoersnelheidsdata zijn beschikbaar op RTI benchmarks.
• memTest monitort de kern geheugenvoetafdruk van Connext DDS Core. Connext DDS Micro registreert ook gedetailleerd geheugengebruik tijdens unit tests.
• Applicaties zoals RTI Admin Console en RTI Recording Service bevatten ingebouwde prestatiemonitoring.

Continue integratie van perfTest en memTest voorkomt regressies boven een vooraf gedefinieerde drempel naarmate nieuwe features worden toegevoegd.

Uithoudingstesten

Deze tests simuleren langlopende scenario's, en monitoren heap gebruik tijdens dynamische operaties als aanmaken/verwijderen van deelnemers of endpoints. Het uithoudingsframework fuzzt ook RTPS pakketten wanneer draaiend met RTI Security plugins, allemaal uitgevoerd tegen de meest recente Generally Available Release.

Grote‑Schaal en Stress Testen

Grote‑schaaltesten zijn bewust opgebouwd rond nieuwe features. Bijvoorbeeld, het introduceren van Transport Mobility vereist tests die verbinden/ontkoppelen van diverse wireless access points emuleren. Het verbeteren van ontdekking activeerde een dedicated framework dat duizenden endpoints simuleert, automatisch de ontdekkingssucces verifierend. Hoewel deze tests niet met elke release herhaald worden door apparatuur‑ en netwerkbeperkingen, worden ze heruitgevoerd wanneer ontdekkingslogica wijzigt.

Hoewel geen testprogramma elk mogelijke scenario kan dekken, biedt RTI's uitgebreide, multi‑facette benadering klanten vertrouwen in elke nieuwe release.

Over de Auteur

Jan trad RTI in 2006 na meer dan twee decennia technologische en klant‑gerichte rollen bij Sun Microsystems, VLSI Technology, en andere industrieleiders. Met expertise die middleware, grid applicaties, OS ontwerp, en netwerk chip ontwikkeling omspant, hielp Jan een record‑brekende 98% klanttevredenheid bouwen in een nieuwe supportorganisatie. Als VP of Engineering, leidt hij een gedistribueerd team van 60+ ingenieurs, wat R&D, softwareontwikkelprocessen, en productkwaliteit voor RTI Connext begeleidt. Jan houdt een MS‑equivalent graad in Electronica, Digitale Communicatie (Summa Cum Laude) van KIHK, Geel, België.

Meer Informatie:

• Autonome Voertuig Productie
• Wat is DDS?
• Connext DDS Pro