DE112012002998T5 - Virtuelle Netzwerküberlagerungen - Google Patents

Virtuelle Netzwerküberlagerungen Download PDF

Info

Publication number
DE112012002998T5
DE112012002998T5 DE112012002998.4T DE112012002998T DE112012002998T5 DE 112012002998 T5 DE112012002998 T5 DE 112012002998T5 DE 112012002998 T DE112012002998 T DE 112012002998T DE 112012002998 T5 DE112012002998 T5 DE 112012002998T5
Authority
DE
Germany
Prior art keywords
overlay
end station
agent
destination
helper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112012002998.4T
Other languages
English (en)
Other versions
DE112012002998B4 (de
Inventor
Amitabha Biswas
Kidambi Jayakrishna
Vijoy Pandey
Nilanjan Mukherjee
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of DE112012002998T5 publication Critical patent/DE112012002998T5/de
Application granted granted Critical
Publication of DE112012002998B4 publication Critical patent/DE112012002998B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4633—Interconnection of networks using encapsulation techniques, e.g. tunneling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • H04L12/4675—Dynamic sharing of VLAN information amongst network nodes
    • H04L12/4679—Arrangements for the registration or de-registration of VLAN attribute values, e.g. VLAN identifiers, port VLAN membership
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/64—Routing or path finding of packets in data switching networks using an overlay routing layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/35—Switches specially adapted for specific applications
    • H04L49/356—Switches specially adapted for specific applications for storage area networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/70—Virtual switches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Abstract

Systeme und Verfahren werden für ein Aufsetzen eines virtuellen Netzwerks auf ein physisches Netzwerk in einer Rechenzentrumsumgebung bereitgestellt. Ein Überlagerungssystem ist in einem aufgesetzten virtuellen Netzwerk angeordnet und enthält einen Überlagerungs-Agent und ein Überlagerungs-Hilfeprogramm. Der Überlagerungs-Agent wird in einem Zugriffsschalter umgesetzt. Das Überlagerungs-Hilfeprogramm wird in einer Endstation umgesetzt, die mit dem Zugriffsschalter Daten austauschen kann. Überlagerungsparameter werden in Übereinstimmung mit einem Inband-Protokoll zwischen dem Überlagerungs-Agent und dem Überlagerungs-Hilfeprogramm übertragen.

Description

  • GEBIET DER ERFINDUNG
  • Die vorliegende Erfindung betrifft im Allgemeinen Netzwerkvirtualisierung und insbesondere Systeme und Verfahren, um ein virtuelles Netzwerk auf ein physisches Netzwerk aufzusetzen.
  • HINTERGRUND
  • Servervirtualisierung in Rechenzentren oder dazu in Beziehung stehenden Umgebungen ist eine Schlüsseltechnologie für Cloud-Computing. Im Allgemeinen beschreibt Servervirtualisierung eine Software-Abstraktion, die eine physische Ressource und deren Verwendung von der zugrunde liegenden physischen Maschine trennt. Die meisten physischen Ressourcen können abstrahiert und als virtualisierte Entitäten bereitgestellt werden. Dementsprechend kann eine einzige physische Maschine eine Vielzahl von virtuellen Maschinen betreiben, von denen jede ihr eigenes Betriebssystem hat, das als Gastbetriebssystem bezeichnet wird, wodurch es mehreren Benutzern ermöglicht wird, die physische Maschine gemeinsam zu nutzen.
  • Der Wunsch, virtuelle Netzwerke auf physische Netzwerke in einer Rechenzentrumsumgebung aufzusetzen, bietet mehrere Vorteile. Ein bekannter Vorteil ist, dass virtuelle Netzwerke die Netzwerkbereitstellung für den Rechenzentrumskunden in öffentlichen, privaten oder Multi-Tenant-Cloud-Umgebungen vereinfachen.
  • KURZDARSTELLUNG DER ERFINDUNG
  • In einem Aspekt weist die vorliegende Erfindung ein Verfahren zum Aufsetzen eines virtuellen Netzwerks auf ein physisches Netzwerk in einer Datenzentrumsumgebung auf. Das Verfahren weist ein Anordnen eines Überlagerungssystems auf, das in einem aufgesetzten virtuellen Netzwerk angeordnet ist, das einen Überlagerungs-Agent und ein Überlagerungs-Hilfeprogramm (helper) enthält. Der Überlagerungs-Agent wird in einem Zugriffsschalter umgesetzt. Das Überlagerungs-Hilfeprogramm wird in einer Endstation umgesetzt, die mit dem Zugriffsschalter Daten austauschen kann. Überlagerungsparameter werden in Übereinstimmung mit einem Inband-Protokoll zwischen dem Überlagerungs-Agent und dem Überlagerungs-Hilfeprogramm übertragen.
  • In einem weiteren Aspekt weist die vorliegende Erfindung ein Verfahren zur Datenübertragung in einem aufgesetzten virtuellen Netzwerk auf. Ein erstes Überlagerungssystem ist so angeordnet, dass es einen Überlagerungs-Agent enthält, der in einem ersten Zugriffsschalter umgesetzt wird, und ein Überlagerungs-Hilfeprogramm, das in einer ersten Endstation umgesetzt wird, die mit dem ersten Zugriffsschalter Daten austauschen kann. Ein zweites Überlagerungssystem ist so angeordnet, dass es einen Überlagerungs-Agent enthält, der in einem zweiten Zugriffsschalter umgesetzt wird, und ein Überlagerungs-Hilfeprogramm, das in einer zweiten Endstation umgesetzt wird, die mit dem zweiten Zugriffsschalter Daten austauschen kann. Überlagerungsparameter werden von dem Überlagerungs-Agent des ersten Überlagerungssystems zu dem Überlagerungs-Hilfeprogramm des ersten Überlagerungssystems übertragen. Die Überlagerungsparameter enthalten Daten zum Übertragen eines Datenpakets von der ersten Endstation zu der zweiten Endstation.
  • In einem weiteren Aspekt weist die vorliegende Erfindung ein Überlagerungssystem für eine Netzwerkvirtualisierungsumgebung auf. Das Überlagerungssystem enthält einen Überlagerungs-Agent an einem Zugriffsschalter an der Kante eines Netzwerks. Der Überlagerungs-Agent ist so konfiguriert, dass er ein Überlagerungskapselungsfeld erzeugt, das Überlagerungsparameter enthält, die zu einer Zielendstation in Beziehung stehen. Das Überlagerungssystem enthält auch ein Überlagerungs-Hilfeprogramm an einem Host-Computer, der mit dem Zugriffsschalter Daten austauschen kann. Das Überlagerungs-Hilfeprogramm ist so konfiguriert, dass es das Überlagerungskapselungsfeld zu einem ersten Paket hinzufügt und das erste Paket, welches das Überlagerungskapselungsfeld enthält, zu der Zielendstation überträgt.
  • In einem weiteren Aspekt weist die vorliegende Erfindung eine Rechenzentrumsumgebung auf. Die Rechenzentrumsumgebung weist einen Netzwerkkantenschalter, einen Host-Computer und ein Überlagerungssystem auf. Der Host-Computer kann mit dem Zugriffsschalter über eine lokale Netzwerkverbindung Daten austauschen. Das Überlagerungssystem weist einen Überlagerungs-Agent an dem Zugriffsschalter und ein Überlagerungs-Hilfeprogramm an dem Host-Computer auf. Der Überlagerungs-Agent ist so konfiguriert, dass er ein Überlagerungskapselungsfeld erzeugt, das Überlagerungsparameter enthält, die zu einer Zielendstation in Beziehung stehen. Das Überlagerungs-Hilfeprogramm ist so konfiguriert, dass es das Überlagerungskapselungsfeld zu einem Paket hinzufügt und das Paket, welches das Überlagerungskapselungsfeld enthält, zu der Zielendstation überträgt.
  • In einem weiteren Aspekt weist die vorliegende Erfindung ein Computerprogrammprodukt zum Aufsetzen eines virtuellen Netzwerks auf ein physisches Netzwerk in einer Datenzentrumsumgebung auf. Das Computerprogrammprodukt weist ein computerlesbares Speichermedium mit einem darin verkörperten computerlesbaren Programmcode auf. Der computerlesbare Programmcode weist einen computerlesbaren Programmcode auf, der so konfiguriert ist, dass er ein Überlagerungssystem in einem aufgesetzten virtuellen Netzwerk anordnet, das einen Überlagerungs-Agent und ein Überlagerungs-Hilfeprogramm (Hilfeprogramm) enthält. Der computerlesbare Programmcode weist ferner einen computerlesbaren Programmcode auf, der so konfiguriert ist, dass er den Überlagerungs-Agent in einem Zugriffsschalter umsetzt. Der computerlesbare Programmcode weist einen computerlesbaren Programmcode auf, der so konfiguriert ist, dass er das Überlagerungs-Hilfeprogramm in einer Endstation umsetzt, die mit dem Zugriffsschalter austauschen kann. Der computerlesbare Programmcode weist einen computerlesbaren Programmcode auf, der so konfiguriert ist, dass er Überlagerungsparameter in Übereinstimmung mit einem Inband-Protokoll zwischen dem Überlagerungs-Agent und dem Überlagerungs-Hilfeprogramm überträgt.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Im Folgenden werden eine bzw. mehrere Ausführungsformen der Erfindung allein zu Beispielzwecken unter Bezugnahme auf die begleitenden Zeichnungen beschrieben, wobei:
  • 1 ein Blockschaubild einer Rechenzentrumsumgebung ist, in der Ausführungsformen der vorliegenden Erfindung eingesetzt werden können;
  • 2 ein Blockschaubild einer Umgebung ist, in der sich zwei Endstationen gemäß einer Ausführungsform in einem selben aufgesetzten virtuellen Netzwerk befinden;
  • 3 ein Blockschaubild ist, das eine Übersichts-Architekturansicht eines Überlagerungssystems gemäß einer Ausführungsform darstellt;
  • 4 ein schematisches Blockschaubild ist, das einen Prozessablauf zum Austauschen von Daten zwischen den Endstationen und den Überlagerungssystemen von 2 gemäß einer Ausführungsform veranschaulicht;
  • 5 ein Ablaufplan eines Prozesses zum Ausführen einer virtuellen Netzwerküberlagerungsoperation gemäß einer Ausführungsform ist;
  • 6 ein Blockschaubild einer Umgebung ist, die einen Host-Computer und einen Zugriffsschalter enthält, der gemäß einer Ausführungsform mit einer virtuellen Netzwerküberlagerung konfiguriert ist;
  • 7 ein Blockschaubild einer Umgebung ist, die einen Host-Computer und einen Zugriffsschalter enthält, der gemäß einer weiteren Ausführungsform mit einer virtuellen Netzwerküberlagerung konfiguriert ist;
  • 8 ein Blockschaubild einer Umgebung ist, die einen Host-Computer und einen Zugriffsschalter enthält, der gemäß einer weiteren Ausführungsform mit einer virtuellen Netzwerküberlagerung konfiguriert ist;
  • 9A ein schematisches Blockschaubild ist, das einen Prozessablauf zum Initialisieren eines Quellenüberlagerungssystems gemäß einer Ausführungsform veranschaulicht;
  • 9B ein schematisches Blockschaubild ist, das einen Prozessablauf zum Initialisieren eines Zielüberlagerungssystems gemäß einer Ausführungsform veranschaulicht;
  • 10 ein schematisches Blockschaubild ist, das einen Prozessablauf zum Austauschen von Daten mit einem Quellenüberlagerungssystems gemäß einer Ausführungsform veranschaulicht; und
  • 11 ein schematisches Blockschaubild ist, das einen Prozessablauf zum Austauschen von Daten mit einem Zielüberlagerungssystems gemäß einer Ausführungsform veranschaulicht.
  • AUSFÜHRLICHE BESCHREIBUNG
  • In der folgenden Beschreibung werden spezifische Details dargelegt, obwohl einem Fachmann klar sein sollte, dass die Systeme und Verfahren zumindest ohne einige der Details genutzt werden können. In einigen Fällen werden bekannte Merkmale oder Prozesse nicht im Detail beschrieben, um die vorliegende Erfindung nicht zu verundeutlichen.
  • Ein Überlagerungsnetzwerk enthält üblicherweise eine Vielzahl von Überlagerungs-Agents an der Kante eines physischen Netzwerks. Jeder Überlagerungs-Agent ist so konfiguriert, dass er Pakete, die durch eine entsprechende Endstation übertragen werden, zum Beispiel durch Zuordnen von Paketen von einer bestimmten Endstation zu einem virtuellen Netzwerk und umgekehrt klassifiziert. Die Überlagerungs-Agents können auch einen Überlagerungskopf (overlay header) zu den Paketen hinzufügen, die an eine Zielendstation gerichtet sind, die mit Überlagerungsparametern eines virtuellen Netzwerks aufgefüllt werden, die von einer Netzwerkverwaltungsstation oder einem Richtlinienserver bereitgestellt werden. Die Parameter können Informationen zum Identifizieren des virtuellen Netzwerks eines übertragenen Pakets enthalten und um zu gestatten, dass das Paket von einem Überlagerungs-Agent, der mit der Quellenendstation in Daten austauschen kann, über das physische Netzwerk zu einem anderen Überlagerungs-Agent übertragen wird, der mit der Zielendstation, die sich vorzugsweise in demselben virtuellen Netzwerk befindet wie die Quellenendstation, Daten austauschen kann. Der empfangende Überlagerungs-Agent kann die richtige Zielendstation aus dem Überlagerungskopf ermitteln, zum Beispiel aus der Kennung des virtuellen Netzwerks, die in dem Überlagerungskopf bereitgestellt wird.
  • Eine Einschränkung im Zusammenhang mit herkömmlichen Überlagerungskonfigurationen besteht darin, dass übernommene Netzwerkeinheiten, wie beispielsweise Ethernet-Schalter, nicht an einer Überlagerungsoperation teilnehmen können, da zum Beispiel herkömmliche Ethernet-Schalter den Überlagerungskopf nicht erkennen können, der durch einen Quellenüberlagerungs-Agent zu einem Paket hinzugefügt wird, und deshalb die Inhalte des Überlagerungskopfs wie beispielsweise die Kennung des virtuellen Netzwerks nicht verarbeiten können, die zum Ermitteln des richtigen Ziels für das Paket erforderlich sind.
  • Ein herkömmlicher Ansatz besteht darin, eine Servervirtualisierungsumgebung bereitzustellen, die virtuelle Schalter bzw. vSchalter enthält, die Ethernet- oder damit in Beziehung stehende Umschaltdienste zu virtuellen Maschinen hinzufügt. Da virtuelle Schalter in der Host-Server-Software umgesetzt werden und Zugriff auf ausreichende Speichermengen und die CPU haben, können sie so modifiziert werden, dass sie als Überlagerungs-Agents arbeiten. Zu Beispielen von Virtualisierungssoftwareprodukten, die sich zusammen mit virtualisierungsfähigen Netzwerkschaltern verwenden lassen, können XenSourceTM, hergestellt von Citrix Systems, Inc., Hyper-VTM, hergestellt von Microsoft Corp., VMware®, oder Open-Source-Software wie beispielsweise Kernal-Based Virtual Machine (KVM) gehören.
  • In einer herkömmlichen Servervirtualisierungsumgebung können nicht-virtualisierte Endstationen nicht Teile eines Überlagerungsnetzwerks sein. Außerdem bauen Lösungen auf Virtualisierungsgrundlage auf anbieterspezifischer Virtualisierungssoftware auf, um die virtuellen Maschinen auf dem physischen Host-Server umzusetzen, und stützen sich deshalb auf die Verfügbarkeit von proprietären virtuellen Schaltererweiterungen und deren Akzeptanz auf der jeweiligen virtuellen Schalterplattform. Zum Umsetzen und Verwalten einer derartigen Umgebung sind beträchtliche Entwicklungs- und Unterstützungsressourcen erforderlich.
  • In kurzem Überblick enthalten Aspekte der vorliegenden erfinderischen Konzepte ein Überlagerungssystem, das in einem Netzwerkzugriffsschalter und einem Host-Server umgesetzt wird und gestattet, dass virtualisierte und nicht-virtualisierte Netzwerkentitäten gleichermaßen Teil desselben aufgesetzten virtuellen Netzwerks sind. Das Überlagerungssystem enthält einen Überlagerungs-Agent und ein entsprechendes Überlagerungs-Hilfeprogramm. Der Überlagerungs-Agent läuft auf einem Zugriffsschalter oder einer anderen Netzwerkkanteneinheit, mit dem oder mit der eine oder mehrere virtuelle und/oder physische Endstationen verbunden sind. Das Überlagerungs-Hilfeprogramm läuft auf einem Host-Computer, zum Beispiel auf der Ethernet-Schicht eines Einheitentreibers eines Netzwerkschnittstellen-Controllers (NIC), einer Firmware oder Hardware in einem herkömmlichen nicht-virtualisierten Server oder in dem Einheitentreiber an einem Hypervisor eines virtualisierten Servers. Der Überlagerungs-Agent und das Überlagerungs-Hilfeprogramm kommunizieren miteinander durch Austauschen von Virtualisierungsparametern und dergleichen über ein Inband-Protokoll, zum Beispiel ein abschnittsweises (hop-by-hop) Layer-2-Protokoll.
  • Auf diese Weise kann eine in hohem Maße skalierbare virtuelle Netzwerkumgebung bereitgestellt werden durch das Umsetzen des Überlagerungssystems in einer Form eines Programmcodes oder einer Software in einem Zugriffsschalter und einem Endstations-NIC, beispielsweise unter dem Betriebssystem der Endstation, in dem Überlagerungsnetzwerkmerkmale als eine Alternative zu Firmware in Software definiert werden können. Dementsprechend ist es nicht erforderlich, dass sich eine Überlagerungskonfiguration vollständig an der Kante eines physischen Netzwerks befindet oder vollständig in einem Virtualisierungsserver befindet. Solange daher eine Endstation mit einem Überlagerungs-Hilfeprogramm konfiguriert ist, der mit dem Überlagerungs-Agent in dem Zugriffsschalter Daten austauschen kann, können virtualisierte und nicht-virtualisierte Endstationen Teil der virtuellen Netzwerkdomäne sein. Ein Umsetzen des Überlagerungssystems auf diese Weise kann ein Skalieren durch Zusammenschluss (pooling) der Ressourcen des Zugriffsschalters und des Netzwerkadapters verbessern. Wenn andererseits der Zugriffsschalter alleine in einer Überlagerungskonfiguration enthalten ist, müsste der Zugriffsschalter überlagerungsbezogene Datenübertragungen für mehrere Anschlüsse verarbeiten, was zu einer Zunahme von Hardware-Komplexität und Ressourcen führen würde. Da ein in einem Server befindlicher Netzwerkadapter einen untergeordneten Satz der hierfür lokalen Endstationen verarbeitet, sind die Anforderungen an den Adapter weniger intensiv; daher kann ein Zugriffsschalter die Handhabung von gewissen Überlagerungsfunktionen von Datenebenen an einen in einem Server befindlichen Adapter abgeben.
  • 1 ist ein Blockschaubild einer Rechenzentrumsumgebung 100, in der Ausführungsformen der vorliegenden erfinderischen Konzepte eingesetzt werden können. Im Allgemeinen kann die Rechenzentrumsumgebung 100 einen oder mehrere Speicherorte enthalten, die als Datenverarbeitungs-, Speicherungs- und Vernetzungszentrale für eine Organisation dienen. Die Ausrüstung der Rechenzentrumsumgebung 100 kann sich insgesamt lokal an einem einzigen Standort befinden oder kann über zwei oder mehr separate Standorte verteilt sein.
  • Die Rechenzentrumsumgebung 100 kann einen oder mehrere Host-Computer 12 enthalten, die über einen Zugriffsschalter 16 mit einem Netzwerk 14 Daten austauschen können. Zwar ist dies nicht gezeigt, doch kann die Rechenzentrumsumgebung 100 einen oder mehrere Aggregator- und Gateway-Schalter, die zwischen dem Zugriffsschalter 16 und dem Netzwerk 14 zwischengeschaltet sind, und/oder andere bekannte Rechenzentrumsausrüstung enthalten.
  • Der Zugriffsschalter 16 und/oder dazu in Beziehung stehende Rechenzentrumsausrüstungen können als Teil des Netzwerks 14 betrachtet werden. Bei dem Netzwerk 14 kann es sich zum Beispiel um ein Intranet, ein Extranet, das Internet, ein lokales Netzwerk (LAN), ein Weitverkehrsnetz (WAN) oder ein Hochgeschwindigkeitsnetz (MAN) oder eine beliebige Kombination davon handeln. Der Host-Computer 12 kann mit dem Zugriffsschalter 16 über ein anderes Netzwerk 30 Daten austauschen, zum Beispiel ein Ethernet-LAN oder über eine direkte Verbindung. Alternativ kann das Netzwerk 30 Teil des Netzwerks 14 sein, sodass der Host-Computer 12 Daten direkt mit dem Netzwerk 14 austauscht. Der Host-Computer 12 kann eine Ausführungsform einer physischen Datenverarbeitungseinheit sein, wie beispielsweise ein Server oder ein Blade-Computer. Der Host-Computer 12 kann eigenständig sein oder in einen Rahmen zusammen mit anderen Host-Computern eingebaut sein, wie zum Beispiel in einem Rack-Server oder in einem Blade-Server. Der Zugriffsschalter 16 kann eigenständig sein oder in denselben Ausrüstungsrahmen wie der Host-Computer 12 eingebaut sein.
  • Der Host-Computer 12 kann eine oder mehrere Verarbeitungseinheiten 20 enthalten, wie beispielsweise eine CPU, und kann ferner eine Speichereinheit 22 und einen Eingabe/Ausgabe-(E/A)Adapter 24 eines physischen Netzwerks enthalten, der mindestens eine physische Netzwerkschnittstelle (NIC) hat. Die physischen Komponenten des Host-Computers 12, z. B. die CPU 20, die Speichereinheit 22 und der E/A-Adapter 24, können Daten über einen oder mehrere Busse, Anschlüsse, Adapter und dergleichen austauschen, die dem Fachmann bekannt sind. Der Host-Computer 12 kann ein Virtualisierungssystem 18 ausführen, das optional einen Hypervisor oder einen virtuellen Maschinenmanager (VMM) enthalten kann. In weiteren Ausführungsformen kann der Host-Computer 12 ein nicht-virtualisierter Server oder ein Server-Blade sein.
  • Der Speicher 22 kann flüchtigen Speicher enthalten, zum Beispiel RAM und dergleichen, und/oder nicht-flüchtigen Speicher, zum Beispiel ROM, Flash-Speicher und dergleichen. Der Speicher kann austauschbare und/oder nicht austauschbare Speichermedien enthalten, die gemäß Verfahren und Technologien umgesetzt sind, die dem Fachmann im Bereich Datenspeicherung bekannt sind. Im Speicher Gespeichertes kann Programmcode enthalten, wie beispielsweise Programmcode eines Betriebssystems 34, das durch den Prozessor 20 ausgeführt wird, und/oder Programmcode, der einem Virtualisierungssystem 18 entspricht.
  • Der NIC 24 stellt Unterstützung in Hardware, Software oder einer Kombination davon für jede beliebige Form von E/A-Virtualisierung bereit. Zu Beispielen zählen SR-IOV NICs (Einzelstamm-E/A-Virtualisierungs-NICs) und Nicht-SR-IOV NICs, NICs mit mehreren Warteschlangen, Netzwerkschnittstellen-Controller, E/A-Adapter und konvergente Netzwerkadapter. Der NIC 24 kann durch das Server-Betriebssystem 34, einen NIC-Treiber und dergleichen verwaltet werden, sodass der NIC 24 Daten zum Netzwerk 30 senden und von ihm empfangen kann, wie im Folgenden ausführlich beschrieben. Zusätzlich zum Handhaben der Netzwerk-E/A zu und von dem Zugriffsschalter 16 stellt der NIC 24 einen Datenübertragungspfad zwischen virtuellen Maschinen (nicht gezeigt) bereit, die zum Beispiel Pakete mit einem virtuellen NIC (vNIC) einer virtuellen Maschine austauschen.
  • Der Zugriffsschalter 16 enthält eine Vielzahl von physischen Uplink- und Downlink-Anschlüssen 26 (Anschlüsse für aufwärts und abwärts gerichtete Übertragung), die mit dem NIC 24 Daten austauschen können, insbesondere mit einem physischen Anschluss (nicht gezeigt) des NIC 24. Im Allgemeinen ist der Zugriffsschalter 16 ein Netzwerkelement, das zum Beispiel als ein Ethernet-Schalter umgesetzt ist, um Computer zwischen Uplink- und Downlink-Anschlüssen 26 und zwischen virtuellen Maschinen umzuschalten, die auf demselben Host-Computer 12 ausgeführt werden. Eine Beispielumsetzung des physischen Anschlusses zwischen dem Host-Computer 12 und dem Zugriffsschalter 16 ist eine 10-Gigabit-Ethernet-Verbindung. Eine Beispielumsetzung des Zugriffsschalters 16 ist ein Ethernet-Schalter, z. B. ein 10-Gigabit-Ethernet-Schaltermodul mit 24 Anschlüssen, hergestellt von Blade Network Technologies, Inc. in Santa Clara, Kalifornien. In weiteren Ausführungsformen kann das Umschalten an einem Netzwerkadapter erfolgen, der mit Elementen eines Überlagerungssystems konfiguriert ist. Hier kann das Umschalten zwischen virtuellen Maschinen erfolgen, die mit dem Netzwerkadapter und/oder mit einem Zugriffsschalter Daten austauschen können.
  • Der Zugriffsschalter 16 kann mit einem Verwaltungsmodul 28 zum Ausführen einer Intra-Hypervisor-Umschaltung von VM zu VM und dergleichen konfiguriert werden. Eine entfernt angeordnete Verwaltungsstation 32 kann den Zugriffsschalter 16 und/oder den Host-Computer 12 über das Verwaltungsmodul 28 steuern und verwalten. Der Zugriffsschalter 16 kann einen Überlagerungs-Agent 36 enthalten, der über ein Verwaltungsmodul 28 mit einem externen Richtlinienserver und/oder der Verwaltungsstation 32 Daten austauschen kann, um Netzwerktopologie-Informationen bereitzustellen, Pakete zu klassifizieren usw. Der Überlagerungs-Agent 36 ist so konfiguriert, dass er eine virtuelle Netzwerküberlagerungsoperation ausführt, die zum Beispiel zwei oder mehr Endstationen in die Lage versetzt, in dem aufgesetzten virtuellen Netzwerk Daten auszutauschen.
  • 2 ist ein Blockschaubild einer Umgebung 200, in der sich zwei Endstationen 202, 206 gemäß einer Ausführungsform in einem gleichen aufgesetzten virtuellen Netzwerk befinden. Die Endstationen 202, 206 können über einen Router 212 untereinander Datenpakete austauschen. Ein oder mehrere Zugriffsschalter (nicht gezeigt) können zwischen den Endstationen 202, 206 und einem Router 210 positioniert werden. In einer Ausführungsform sind die Endstationen 202, 206 für verschiedene physische Teilnetze konfiguriert und können Mitglieder eines gemeinsamen virtuellen Netzwerks sein. Dementsprechend enthält der Router 212 eine erste Teilnetzschnittstelle R1 zum Bedienen eines ersten Teilnetzes, von dem die Endstation 202 ein Mitglied ist, und eine zweite Teilnetzschnittstelle R2 zum Bedienen eines zweiten Teilnetzes, von dem die Endstation 206 ein Mitglied ist. In weiteren Ausführungsformen sind die Endstationen 202, 206 als Teil eines gleichen physischen Netzwerks, zum Beispiel ein physisches Layer-2-Netzwerk, oder auf einem selben Teilnetz, zum Beispiel ein gleiches Layer-3-Teilnetz, z. B. IP, konfiguriert. Zum Zweck des Beschreibens von Operationen, die in der Umgebung 200 ausgeführt werden, kann das Überlagerungssystem 204 von 2 als ein Quellenüberlagerungssystem bezeichnet werden, und das Überlagerungssystem 208 von 2 kann als ein Zielüberlagerungssystem bezeichnet werden. In einer Ausführungsform wie in 2 gezeigt enthält die Umgebung 200 ein IP-Netzwerk. In weiteren Ausführungsformen enthält die Umgebung 200 ein Layer-2-Netzwerk.
  • Die Endstation 202 kann mit dem Überlagerungssystem A 204 Daten austauschen, und die Endstation 206 kann mit dem Überlagerungssystem B 208 Daten austauschen. Das Überlagerungssystem A 204 und/oder das Überlagerungssystem B 206 können mehrere Endstationen bedienen. Die Überlagerungssysteme 204, 206 können untereinander Daten austauschen, wenn zum Beispiel eine nachstehend beschriebene Überlagerungsoperation ausgeführt wird. Die Endstation 202 und/oder die Endstation 206 können virtualisierte Endstationen sein. Alternativ können die Endstation 202 und/oder die Endstation 206 nicht-virtualisierte Endstationen sein.
  • Die Umgebung 200 kann deshalb eine Kombination von virtualisierten und nicht-virtualisierten Endstationen enthalten.
  • 3 ist ein Blockschaubild, das eine Übersichts-Architekturansicht eines Überlagerungssystems 300 gemäß einer Ausführungsform darstellt. Die unter Bezugnahme auf 3 beschriebene Überlagerungssystemarchitektur kann auf das Überlagerungssystem A 204 und/oder das Überlagerungssystem B 208 angewendet werden, die unter Bezugnahme auf 2 beschrieben wurden. Daher können das Überlagerungssystem A 204 und das Überlagerungssystem B 208 jeweils einige oder alle Elemente des Überlagerungssystems 300 enthalten. In der Beschreibung von 3 kann auf weitere Elemente von 1 und/oder 2 Bezug genommen werden. Das Überlagerungssystem 300 kann für ein IP-Netzwerk, ein Layer-2-Netzwerk oder weitere Netzwerke konfiguriert werden, die Fachleuten bekannt sind.
  • Das Überlagerungssystem 300 enthält einen Überlagerungs-Agent 302 und ein Überlagerungs-Hilfeprogramm 304. Der Überlagerungs-Agent 302 kann sich an dem Zugriffsschalter 16 von 1 oder dem Router 210 oder Kantenschalter (nicht gezeigt) von 2 befinden. Das Überlagerungs-Hilfeprogramm 304 kann sich an dem Host-Computer 12 von 1 oder der Endstation 202 und/oder der Endstation 206 von 2 befinden, zum Beispiel in einem Ethernet-Einheitentreiber.
  • Der Überlagerungs-Agent 302 enthält eine Verwaltungsschnittstelle 306, einen Richtlinien-Agent 308, eine Adressverarbeitungsroutine (address handler) 310 und einen Klassifikator 312A. Die Verwaltungsschnittstelle 306 stellt eine Schnittstelle zu der Verwaltungsstation 32 zum Konfigurieren von Überlagerungsparametern und Bereitstellen von verschiedenen Steuer- und Verwaltungsfunktionen für das aufgesetzte virtuelle Netzwerk bereit, in dem das Überlagerungssystem 300 umgesetzt ist. Zum Beispiel kann die Verwaltungsstation 32 über die Verwaltungsschnittstelle 306 virtuelle Netzwerke und ihre Mitglieder definieren. Die Verwaltungsstation 32 kann auch mit Einheiten und anderen spezialisierten Verwaltungsstationen in einem Rechenzentrum interagieren, wie beispielsweise Netzwerkschaltern, Virtualisierungsmanagern, Servermanagern und dergleichen, um Aufgaben auszuführen, die mit der Verwaltung eines aufgesetzten virtuellen Netzwerks in Beziehung stehen, wie beispielsweise Erstellen von Topologiezuordnungen, Ermitteln von Platzierungskriterien und dergleichen. In einer Ausführungsform ist die Verwaltungsschnittstelle 306 so konfiguriert, dass sie eine globale Ansicht des physischen Netzwerks und/oder des virtuellen Netzwerks für die Verwaltungsstation 32 bereitstellt. Die Verwaltungsschnittstelle 306 kann lokale Parameter, zum Beispiel Paketklassifizierungskriterien, an andere Komponenten des Überlagerungssystems 300 übermitteln. Zum Beispiel kann die Verwaltungsstation 32 eine Kennung konfigurieren, die einem virtuellen Netzwerk zugehörig ist. Der Überlagerungs-Agent 302 kann dann den Klassifikator 312A für eine vordefinierte Verkehrsklassifizierung auf der Grundlage einer physischen oder virtuellen Anschlussnummer, einer MAC-Adresse oder dergleichen konfigurieren.
  • Der Richtlinien-Agent 308 kann mit dem Richtlinien-Server 212, der auch als Richtlinien-Engine bezeichnet wird, Daten austauschen, um einen Richtlinienzwischenspeicher zu erstellen, der die IP-Adresse oder in Beziehung stehende Daten eines Zielüberlagerungs-Agent enthält, der einer Zielendstation in einem bestimmten virtuellen Netzwerk entspricht. Der Richtlinienzwischenspeicher enthält Zuordnungen für Zielendstationen, mit denen lokale Endstationen Daten austauschen möchten. Der Richtlinien-Server 212 kann den Speicherort für eine oder mehrere Endstationen in dem Überlagerungsnetzwerk ermitteln und deren IP-Adressen erhalten, indem er mit verschiedenen Komponenten einer Rechenzentrumsumgebung interagiert wie beispielsweise den Endstationen 202, 206, den Überlagerungssystemen 204, 208 und/oder Kantenschaltern (nicht gezeigt) in 2. In einer weiteren Ausführungsform tauscht die Verwaltungsstation 32 Daten mit dem Richtlinienserver 212 über die Verwaltungsschnittstelle 306 aus, um zur Zuordnung in Beziehung stehende Informationen zum Erstellen von Datenübertragungspfaden für die Endstationen 202, 206 bereitzustellen.
  • Die Adressverarbeitungsroutine 310 empfängt und verarbeitet Anforderungen für ein Adressauflösungsprotokoll (ARP) oder von Layer-2-bezogenen Datenübertragungen von den Endstationen 202, 206. Details des ARP-Protokolls werden hierin der Kürze halber nicht offenbart, da es sich beim ARP um ein bekanntes Protokoll handelt, das verwendet wird, um IP-Adressen zu MAC-Adressen oder anderen Layer-2-Adressen zuzuordnen. Die Adressverarbeitungsroutine 310 kann den Richtlinien-Agent 308 nach einer IP-Adresse des Zielüberlagerungs-Agent zum Austauschen von Daten mit einer Zielendstation abfragen, die sich in dem virtuellen Netzwerk der Quellenendstation befindet, und eine nächste MAC-Hop-Adresse gemäß dem ARP-Protokoll ermitteln, zum Beispiel für die IP-Adresse des Zielüberlagerungs-Agent. Die nächste Hop-Ermittlung kann über normale ARP-Mechanismen erfolgen, zum Beispiel in dem physischen Netzwerk. In Ausführungsformen, in denen ein Layer-2-Netzwerk und ein entsprechender virtueller Layer-2-Netzwerkdienst bereitgestellt werden, ist die Adressverarbeitungsroutine nicht Bestandteil des Überlagerungssystems 300. Hier können Pakete auf der Grundlage einer MAC-Zieladresse statt einer IP-Zieladresse klassifiziert werden. Eine Kennung eines virtuellen Netzwerks kann daher alternativ eine MAC-Adresse statt einer IP-Adresse bezeichnen.
  • Das Überlagerungs-Hilfeprogramm 304 des Überlagerungssystems 300 enthält eine IP-Verarbeitungsroutine (IP handler) 314 und einen Klassifikator 312B, der Teil des Klassifikators 312A des Überlagerungs-Agent 302 ist. Der Klassifikator 312A in dem Überlagerungs-Agent 302 verarbeitet empfangenen Datenverkehr, insbesondere Verkehr, der für eine der lokalen Endstationen bestimmt ist, die durch das Überlagerungssystem bedient werden. Der Klassifikator 312B in dem Überlagerungs-Hilfeprogramm 304 verarbeitet andererseits Pakete zur Übertragung. Zum Beispiel empfängt der Klassifikator 312B IP-Pakete über Layer-2-Daten und dergleichen von der Endstation, zum Beispiel der Endstation 202, und ordnet die Pakete einem virtuellen Netzwerk zu. Diese Zuordnung kann über die Verwaltungsschnittstelle 306 konfiguriert werden. Wie hierin verwendet, können der Klassifikator 312A des Überlagerungs-Agent 302 und der Klassifikator 312B des Überlagerungs-Hilfeprogramms 304 allgemein als ein Klassifikator 312 bezeichnet werden. Kurz gesagt, der Klassifikator 312 ordnet alle Pakete, die von einer lokalen Endstation kommen, zu einem virtuellen Netzwerk zu auf der Grundlage eines vorher konfigurierten virtuellen Anschlusses oder einer Klassifizierung auf MAC-Grundlage, die zum Beispiel durch die Verwaltungsstation 32 konfiguriert wurde. Daher werden alle Pakete, die durch die Endstation übertragen werden, über den Klassifikator 312 übertragen, wobei der Klassifikator 312 die empfangenen Pakete zu einem virtuellen Netzwerk zuordnet.
  • Die IP-Verarbeitungsroutine 314 empfängt IP-Pakete von der Endstation über den Klassifikator 312 und fügt eine Überlagerungskapselung zu jedem empfangenen IP-Paket hinzu. Die Überlagerungskapselung kann einen äußeren MAC-Überlagerungskopf, einen äußeren IP-Überlagerungskopf und einen überlagerungsspezifischen Kopf enthalten. Der äußere MAC-Überlagerungskopf kann eine MAC-Quellenadresse enthalten, die dem Überlagerungssystem A 204 entspricht, und eine MAC-Zieladresse, die der nächsten IP-Hop-Adresse der Zielüberlagerungs-IP-Adresse entspricht. Der äußere IP-Überlagerungskopf kann die IP-Adresse des Quellenüberlagerungssystems 204 und die IP-Adresse des Überlagerungssystems B 208 enthalten. Der überlagerungsspezifische Kopf kann eine eindeutige Kennung enthalten, die das virtuelle Netzwerk identifiziert.
  • Die IP-Verarbeitungsroutine 314 des Zielüberlagerungssystems 208 kann gekapselte IP-Pakete empfangen, die von dem Quellenüberlagerungssystem 204 gesendet wurden, und kann die Zielendstation 206, für die das Paket bestimmt ist, auf der Grundlage des inneren IP-Ziels, d. h. der IP-Adresse der Zielendstation 206, und der Kennung des virtuellen Netzwerks suchen. Die IP-Verarbeitungsroutine 314 des Zielüberlagerungssystems 208 kann mit dem Richtlinien-Agent 308 Daten austauschen, um Zuordnungsinformationen für die Zielendstation 206 abzurufen. Das lokale Ziel kann aus den Paketinhalten abgeleitet werden, und der Zielanschluss kann aus seinen Einstellungen identifiziert werden. Hier ist eine Suche gegebenenfalls nicht erforderlich. Andererseits kann eine Suche trotzdem erforderlich sein, wenn das Ziel geänderte Speicherorte aufweist. Die IP-Verarbeitungsroutine 314 kann den lokalen Richtlinien-Agent 308 abfragen, der wiederum den globalen Richtlinienserver 212 abfragt, wenn die Zuordnung nicht in dem lokalen Zwischenspeicher gefunden wird. Wenn die Endstation identifiziert ist, streift die IP-Verarbeitungsroutine 314 den Überlagerungskopf ab, bevor der Paket-Datenübertragungsblock an die Zielendstation 206 weitergeleitet wird.
  • 4 ist ein schematisches Blockschaubild, das einen Prozessablauf 400 zum Austauschen von Daten zwischen den Endstationen 202, 206 und den Überlagerungssystemen 204, 208 von 2 gemäß einer Ausführungsform veranschaulicht. Beim Beschreiben des Prozessablaufs 400 wird auch auf 1 bis 3 Bezug genommen. Der Prozessablauf 400 kann durch Anweisungen gesteuert werden, die in einer Speichereinheit gespeichert sind und durch einen Prozessor von mindesten einem von Endstation 202, Endstation 206, Router 210, Richtlinienserver 212 und/oder einem oder mehreren Zwischenschaltern (nicht gezeigt) zwischen den Endstationen 202, 206 und dem Router 210 ausgeführt werden. In 4 kann die Endstation 202 als eine Quellenendstation bezeichnet werden, und die Endstation 206 kann als eine Zielendstation bezeichnet werden. Außerdem kann in 4 das Überlagerungssystem A 204 als ein Quellenüberlagerungssystem bezeichnet werden, und das Überlagerungssystem B 208 kann als ein Zielüberlagerungssystem bezeichnet werden. Obwohl hierin auf die Überlagerungssysteme 204, 208 verwiesen wird, trifft dies auch auf das Überlagerungssystem 300 zu, das in 3 beschrieben wurde.
  • Eine Zielanforderungsnachricht wird von der Endstation 202 an das Überlagerungssystem A 204 zum Beispiel als eine Rundsendung ausgegeben (402). Die Rundsendungsnachricht kann auf eine bekannte Weise ausgegeben werden, zum Beispiel einem Ausgeben gemäß dem ARP zur Adressauflösung. Alternativ kann die Zielanforderungsnachricht in einem Layer-2-Format ausgegeben werden. Hier kann der Richtlinienzwischenspeicher aktualisiert werden, wenn eine Unicast-Nachricht an den Zielendpunkt von dem Überlagerungssystem 300 empfangen wird.
  • Das Quellenüberlagerungssystem 204 kann die Zielanforderungsnachricht empfangen, wobei die Adressverarbeitungsroutine 310 des Überlagerungs-Agent 302 des Quellenüberlagerungssystems 204 den Richtlinien-Agent 308 nach der IP-Adresse des Zielüberlagerungssystems 208 abfragen kann, das mit der Zielendstation 206 in einem vordefinierten virtuellen Netzwerk in Beziehung steht. Der Richtlinien-Agent 308 des Quellenüberlagerungssystems 204 kann zuerst auf seinen Richtlinienzwischenspeicher (nicht gezeigt) zugreifen, der Zuordnungsinformationen speichern kann, die zu dem Zielüberlagerungssystem 208 der Zielendstation 206 in Beziehung stehen, mit dem die Quellenendstation 202 Daten austauschen möchte. Wenn in dem Richtlinienzwischenspeicher keine derartigen Zuordnungsinformationen gefunden werden, kann die Adressverarbeitungsroutine 310 eine Nachricht, zum Beispiel eine Unicast-Nachricht, an den Richtlinienserver 212 ausgeben (404), um die Zuordnungsinformationen zu erhalten. Insbesondere fragt das Überlagerungssystem 300 den Richtlinienserver 212 nach dem Speicherort des Zielüberlagerungssystems ab, mit dem der Zielendpunkt 206 in demselben virtuellen Netzwerk wie der Quellenendpunkt 202 verbunden ist. Der Richtlinienserver 212 kann den physischen Speicherort der Zielendstation 206 ermitteln, indem er mit Elementen des Rechenzentrums und mit dem Quellenüberlagerungssystem 204 interagiert.
  • Wenn angenommen wird, dass der Richtlinien-Server 212 den Speicherort der Zielendstation 206 ermittelt und die angeforderten Zuordnungsinformationen bereitstellen kann, kann der Richtlinienserver 212 die angeforderten Zuordnungsinformationen für das Zielüberlagerungssystem 208 bereitstellen (406), insbesondere eine Zuordnung der IP-Adresse der Zielendstation 206. Zum Beispiel kann die Adressverarbeitungsroutine 310 den Richtlinienzwischenspeicher abfragen, und wenn dort nichts gefunden wird, nimmt der Richtlinien-Agent 308 mit dem Richtlinienserver 212 Verbindung auf, um die Zuordnungsinformationen abzurufen und sie an die Adressverarbeitungsroutine 310 zurückzugeben. Die Adressverarbeitungsroutine 310 kann dann die ARP-Anforderung erfüllen, die von der lokalen Endstation stammt, d. h. dem Quellenendpunkt 202. Außerdem kann der Richtlinien-Agent 308 mit dem Richtlinienserver 212 Daten austauschen, um den Speicherort der Zielendstation 206 zu ermitteln und den Richtlinienzwischenspeicher mit den Zuordnungsinformationen zu aktualisieren.
  • Die Adressverarbeitungsroutine 310 des Quellenüberlagerungssystems 204 kann die IP-Adresse der Zielendstation 206 und eine entsprechende nächste MAC-Hop-Adresse ausgeben (408), die in Reaktion auf die ursprüngliche ARP-Anforderung an die Endstation 202 erzeugt wurde. Nach der Adressauflösung kann die Quellenendstation 202 ein Paket ausgeben (410), das einen Layer-2-Kopf, z. B. Ethernet-Kopf 411, einen IP-Kopf 412 und Nutzdaten (PL) 413 enthält. Der Layer-2-Kopf 411 kann die nächste MAC-Hop-Adresse (R1-MAC-Adr.) und die Ziel-IP-Adresse (ES2-IP-Adr.) enthalten, die von dem Richtlinienserver 212 und/oder dem Richtlinien-Agent 308 empfangen werden.
  • Das Überlagerungssystem A 204, insbesondere die IP-Verarbeitungsroutine 314, empfängt das Paket von der Endstation 202. Die IP-Verarbeitungsroutine 314 fügt eine Überlagerungskapselung 418 zum dem Paket hinzu und gibt das gekapselte Paket aus (414). Die Überlagerungskapselung 418 enthält einen äußeren MAC-Überlagerungskopf 415, einen äußere IP-Überlagerungskopf 416 und einen Überlagerungskopf 417. Ein optionaler Layer-4-Kopf (nicht gezeigt), zum Beispiel ein UDP-Kopf, kann zwischen dem IP-Kopf 416 und dem Überlagerungskopf 417 positioniert werden. Der äußere MAC-Überlagerungskopf 413 enthält eine MAC-Quellenadresse (omac1), die dem Quellenüberlagerungssystem 204 entspricht, und eine MAC-Zieladresse, z. B. die nächste MAC-Hop-Adresse (rmac1). Wenn das Ziel in einer Ausführungsform in demselben Teilnetz liegt wie die Quelle, ist die MAC-Zieladresse diejenige des Zielüberlagerungssystems 208. In einer weiteren Ausführungsform, wie in 2 gezeigt, ist die MAC-Zieladresse diejenige einer Gateway-Schnittstelle (R1), die Pakete jeweils zwischen den Teilnetzen der Endstationen 202, 206 weiterleitet.
  • Der äußere IP-Überlagerungskopf 416 kann die IP-Adresse des Quellenüberlagerungssystems 204 und die IP-Adresse des Zielüberlagerungssystems 208 enthalten. Der Überlagerungskopf 417 kann eine eindeutige Kennung enthalten, die das virtuelle Netzwerk identifiziert. Wenn die Überlagerungskapselung 418 zu dem Paket hinzugefügt wird, das von der Quellenendstation 202 empfangen wird, werden die Inhalte des ursprünglichen Pakets 411, 412, 413 kombiniert, um neue Nutzdaten PL1 419 zu bilden, die mit der Überlagerungskapselung 418 an den Router 210 oder alternativ an einen Kantenschalter oder einen in Beziehung stehenden Netzwerkschalter ausgegeben werden (414).
  • Der Router 210, insbesondere eine erste Teilnetzschnittstelle R1 des Routers 210, die aus der nächsten MAC-Hop-Adresse identifiziert wird, empfängt das Paket mit den Nutzdaten PL1 419 und gibt die Nutzdaten PL1 419 sowie Inhalte des Überlagerungskopfs 417 und des äußeren IP-Überlagerungskopfs 416 von einer zweiten Schnittstelle R2 aus (420), die ein zweites Teilnetz bedient, von dem die Zielendstation 206 und/oder das Zielüberlagerungssystem 208 ein Mitglied sind. Ein MAC-Adresskopf 421 wird hinzugefügt, der die MAC-Quellenadresse, d. h. die MAC-Adresse der zweiten Router-Schnittstelle R2, und die MAC-Adresse des Zielüberlagerungs-Agent 208 enthält, die der IP-Adresse des Zielüberlagerungssystems 208 in dem äußeren IP-Überlagerungskopf 416 entspricht.
  • Das Überlagerungssystem B 208 kann den Überlagerungskopf 417 aus dem Paket entfernen, das von dem Router 210 empfangen wird, und die ursprünglichen Nutzdaten 413 an die Zielendstation 206 ausgeben. Die IP-Verarbeitungsroutine 314 des Zielüberlagerungssystems 208 kann die beabsichtigte Zielendstation zum Empfangen des Pakets auf der Grundlage der inneren IP-Ziels (esip2), das in dem IP-Zieladressfeld 412 bereitgestellt wird, und aus virtuellen Netzwerkinformationen in dem Überlagerungskopf 417 ermitteln, zum Beispiel einer eindeutigen Kennung des virtuellen Netzwerks. Das Überlagerungssystem B 208 kann diese Informationen verwenden, um die Zielendstation 206 zu ermitteln und ein Datenpaket, das die ursprünglichen Nutzdaten 413 enthält, an die Zielendstation 206 auszugeben (422).
  • 5 ist ein Ablaufplan eines Verfahrens 500 zum Ausführen einer Überlagerungsoperation gemäß einer Ausführungsform. Beim Beschreiben des Verfahrens 500 wird auch auf Elemente von 1 bis 4 Bezug genommen.
  • Im Block 502 kann der Überlagerungs-Agent 302 des Überlagerungssystems 300 in dem Zugriffsschalter 16 oder einer in Beziehung stehenden Netzwerkkanteneinheit umgesetzt werden. Wie oben beschrieben, kann der Überlagerungs-Agent 302 eine Verwaltungsschnittstelle 306, einen Richtlinien-Agent 308, eine Adressverarbeitungsroutine 310 und einen Klassifikator 312A enthalten.
  • Im Block 504 wird das Überlagerungs-Hilfeprogramm 304 in dem Host-Computer 12 umgesetzt. Wie oben beschrieben, kann das Überlagerungs-Hilfeprogramm 304 eine IP-Verarbeitungsroutine 314 und einen Klassifikator 312 enthalten. In einer Ausführungsform wird das Überlagerungs-Hilfeprogramm 304 in einem Hypervisor-NIC-Treiber umgesetzt. In einer weiteren Ausführungsform wird das Überlagerungs-Hilfeprogramm 304 in einem SR IOV NIC umgesetzt. In einer weiteren Ausführungsform wird das Überlagerungs-Hilfeprogramm 304 in einem übernommenen NIC, einem OS-NIC-Treiber und/oder NIC-Firmware oder Hardware umgesetzt.
  • Im Block 506 können Überlagerungsparameter über ein Inband-Protokoll von dem Überlagerungs-Agent 302 zu dem Überlagerungs-Hilfeprogramm 304 übertragen werden. Klassifizierungskriterien auf der Grundlage von physischen oder virtuellen Anschlussnummern, MAC-Adressen und dergleichen können vor dem Start eines Verkehrsflusses zwischen den beiden Endstationen ausgetauscht werden. Einträge des Richtlinienzwischenspeichers und dergleichen können beim Start des Verkehrsflusses ausgetauscht werden. Eine Kapselung kann durch Hinzufügen eines Überlagerungskopfs zu einem empfangenen Paket erfolgen, der IP- und/oder MAC-Adressinformationen, virtuelle Netzwerkinformationen und/oder in Beziehung stehende Informationen enthält, um die Zielendstation des Pakets in dem aufgesetzten virtuellen Netzwerk zu ermitteln. Dementsprechend kann durch Umsetzen eines Überlagerungssystems 300 sowohl in einem Zugriffsschalter als auch einer Endstation ein virtuelles Netzwerk so skaliert werden, dass es neben virtualisierten Einheiten auch übernommene Einheiten enthält, wodurch eine Abhängigkeit von Hypervisor-Plattformen und dergleichen verringert wird. Damit kann die Funktionalität des aufgesetzten virtuellen Netzwerks von dem Betriebssystem oder Hypervisor getrennt werden. Ferner können Hinzufügungs-, Lösch- oder Modifikationsvorgänge für den Überlagerungskopf, die durch das Überlagerungs-Hilfeprogramm ausgeführt werden, in einer Hardware-, Firmware- oder Softwareschicht unter dem Betriebssystem des Host-Computers erfolgen. Somit können Überlagerungsfunktionen ohne die Notwendigkeit erfolgen, das Betriebssystem zu modifizieren.
  • 6 ist ein Blockschaubild einer Umgebung 600, die einen Host-Computer 612 und einen Zugriffsschalter 616 enthält, der gemäß einer Ausführungsform mit dem virtuellen Netzwerküberlagerungssystem 300 konfiguriert ist.
  • Der Host-Computer 612 enthält einen Hypervisor 606 zum Abstrahieren der Hardware des Host-Computers 12 in virtuelle Maschinen 602-1 bis 602-N (allgemein 602). Die virtuellen Maschinen 602 nutzen gemeinsam einen physischen Netzwerkschnittstellen-Controller (NIC) 614 zum Ausführen von externen Netzwerk-E/A-Operationen. Der Hypervisor 606 kann einen virtuellen Schalter 608 oder vSchalter auf Software-Grundlage enthalten, der eine hohe Vernetzungsfähigkeit zwischen den virtuellen Maschinen 602 bereitstellt. Der virtuelle Schalter 608 bildet eine Schnittstelle zwischen dem physischen NIC 614 und einer Vielzahl von virtuellen NICs 604 oder vNICs der virtuellen Maschinen 602 zum Weiterleiten von Paketen zwischen den virtuellen Maschinen 602 und dem physischen NIC 614.
  • Jeder virtuellen Maschine 602 können eine oder mehrere vNICs 604 zugehörig sein. Jede virtuelle Maschine kann auch einen VM-Netzwerkstapel 620 und einen VM-vNIC-Treiber 622 enthalten, der einen entsprechenden vNIC 604 steuert. Im Allgemeinen arbeitet jeder vNIC 604 wie eine physische Netzwerkschnittstelle. Zum Beispiel kann jedem vNIC 604 eine eindeutige MAC-(Media Access Control)Adresse zugewiesen werden.
  • Die vNICs 604 sind mit dem physischen NIC 614 über den Hypervisor-NIC-Treiber 610 und den virtuellen Schalter 608 logisch verbunden. In einer Ausführungsform wird das Überlagerungs-Hilfeprogramm 304 des Überlagerungssystems 300 in dem Hypervisor-NIC-Treiber 610 oder alternativ in der NIC-Firmware oder Hardware umgesetzt. Der Überlagerungs-Agent 302 des Überlagerungssystems 300 kann in dem Zugriffsschalter 616 umgesetzt werden. In einer weiteren Ausführungsform wird das Überlagerungs-Hilfeprogramm 304 in dem VM-Netzwerkstapel 620 umgesetzt. In einer weiteren Ausführungsform wird das Überlagerungs-Hilfeprogramm 304 in dem VM-vNIC-Treiber 622 umgesetzt. In einer weiteren Ausführungsform wird das Überlagerungs-Hilfeprogramm 304 in einer Kombination aus dem VM-Netzwerkstapel 620, dem VM-vNIC-Treiber 622 und Hypervisor-NIC-Treiber 610 umgesetzt. Der Überlagerungs-Agent 302 und das Überlagerungs-Hilfeprogramm 304 tauschen über ein Inband-Protokoll miteinander Daten aus, um Überlagerungsparameter, zum Beispiel Klassifizierungskriterien und Daten des Richtlinienzwischenspeichers wie beispielsweise virtuelle Netzwerkzuordnungsinformationen, zwischen dem Überlagerungs-Agent 302 und dem Überlagerungs-Hilfeprogramm 304 zu übertragen.
  • 7 ist ein Blockschaubild einer Umgebung 700, die einen Host-Computer 712 und einen Zugriffsschalter 716 enthält, der gemäß einer weiteren Ausführungsform mit dem virtuellen Netzwerküberlagerungssystem 300 konfiguriert ist. Die Umgebung 700 ähnelt der Umgebung 600, die in 6 beschrieben wurde, mit Ausnahme dessen, dass die Umgebung 700 einen SR-IOV NIC 714 enthält. Hier kann ein vNIC 704 mit dem physischen NIC 714 über eine virtuelle Funktions-(VF)Engine 730 logisch verbunden werden, die eine virtualisierte Instanz des NIC 714 enthalten kann. Ein Hypervisor-NIC-Treiber 710 kann eine physische Funktions-(PF)Engine steuern, ähnlich der Konfiguration von 6, sodass der Hypervisor 706 auf die PF 732 zugreifen kann, bei der es sich um die Schnittstelle zu der physischen Karte handelt. Die VF-Engines 730 gestatten ein Umschalten von Verkehrsleistung, die durch ein Umschalten des Verkehrs zwischen den virtuellen Maschinen 702 verbessert werden soll, indem der vSchalter 708 umgangen wird. Daher können die VMs 702A, 702D über die virtuellen Funktionen direkt auf den physischen NIC 714 zugreifen, ohne auf den Hypervisor 706 für Steuerungs- oder Datenoperationen zurückgreifen zu müssen.
  • In einer Ausführungsform wird das Überlagerungs-Hilfeprogramm 304 des Überlagerungssystems 300 in dem NIC-Treiber 710, der die PF 732 steuert, oder in der NIC-Firmware oder Hardware umgesetzt. Der Überlagerungs-Agent 302 des Überlagerungssystems 300 kann in dem Zugriffsschalter 616 umgesetzt werden. In einer weiteren Ausführungsform wird das Überlagerungs-Hilfeprogramm 304 in einem VM-Netzwerkstapel 720 umgesetzt. In einer weiteren Ausführungsform wird das Überlagerungs-Hilfeprogramm 304 in dem VM-vNIC-Treiber 722 umgesetzt. In einer weiteren Ausführungsform wird das Überlagerungs-Hilfeprogramm 304 in einer Kombination aus dem VM-Netzwerkstapel 720, dem VM-vNIC-Treiber 722 und dem NIC-Treiber 710 umgesetzt.
  • 8 ist ein Blockschaubild einer Umgebung 800, die einen Host-Computer 812 und einen Zugriffsschalter 816 enthält, der gemäß einer weiteren Ausführungsform mit dem virtuellen Netzwerküberlagerungssystem 300 konfiguriert ist. Der Host-Computer 812 kann ein herkömmliches Betriebssystem enthalten und erfordert keinen Hypervisor oder VMM.
  • Der Host-Computer 812 kann einen NIC 804 enthalten, der zum Beispiel für Netzwerkvirtualisierung konfiguriert ist und Warteschlangen enthält, die jeweils einer virtualisierten oder nicht-virtualisierten Entität auf dem physischen Host-Computer 12 fest zugeordnet sind. Hier kann jeder Warteschlange eine eindeutige MAC-Adresse zugewiesen werden, um die Entitäten voneinander zu unterscheiden. Das Überlagerungs-Hilfeprogramm 304 des Überlagerungs-Systems 300 kann in einem OS-NIC-Treiber 806, der den NIC 804 steuert, oder in der Firmware oder Hardware des NIC 804 umgesetzt werden. Der Überlagerungs-Agent 302 des Überlagerungssystems 300 kann in dem Zugriffsschalter 816 umgesetzt werden. Der Überlagerungs-Agent 302 und das Überlagerungs-Hilfeprogramm 304 tauschen Daten über ein Inband-Protokoll miteinander aus, das so konfiguriert werden kann, dass Überlagerungsparameter und dergleichen ausgetauscht werden. Daher können virtualisierte Endstationen und/oder nicht-virtualisierte Endstationen Teil eines skalierbaren aufgesetzten virtuellen Netzwerks sein.
  • 9A ist ein schematisches Blockschaubild, das einen Prozessablauf 900 zum Initialisieren eines Quellenüberlagerungssystems gemäß einer Ausführungsform veranschaulicht. 9B ist ein schematisches Blockschaubild, das einen Prozessablauf 920 zum Initialisieren eines Zielüberlagerungssystems gemäß einer Ausführungsform veranschaulicht. Beim Beschreiben der Prozessabläufe 900 und 920 wird auch auf 1 bis 8 Bezug genommen. In 9A und 9B werden zwei Überlagerungssysteme initialisiert, die jeweils einer Quellenendstation (ES1) und einer Zielendstation entsprechen, um zu gestatten, dass eine Datenübertragung zwischen den beiden Endstationen in demselben aufgesetzten virtuellen Netzwerk erfolgt. Jedes der beiden Überlagerungssysteme kann auf das Überlagerungssystem 300 von 3 und/oder jeweils die Überlagerungssysteme 204, 208 von 2 verweisen.
  • In 9A erfolgt der Prozessablauf 900 zwischen dem Quellenüberlagerungs-Hilfeprogramm 304, das in der Quellenendstation 202 umgesetzt wird (allgemein 902), dem Quellenüberlagerungs-Agent 302, der in einem Quellenzugriffsschalter umgesetzt wird (allgemein 904), einer Verwaltungsstation, die mit dem Quellenzugriffsschalter Daten austauschen kann (allgemein 906), und einer Topologiezuordnungsfunktion (topology mapper), die für den Richtlinienserver 212 konfiguriert ist (allgemein 908).
  • Die Verwaltungsstation 906 kann eine Anforderung zum Aktivieren einer Überlagerung an den Quellenzugriffsschalter 904 ausgeben (910). Die Verwaltungsstation 906 kann mit der Verwaltungsschnittstelle 306 des Quellenüberlagerungs-Agent 904 Daten austauschen, um das Quellenüberlagerungssystem 300 in die Lage zu versetzen, Pakete zu klassifizieren, einen Überlagerungskopf zu einem empfangenen Paket hinzuzufügen, mit dem Quellenüberlagerungs-Hilfeprogramm 902 über ein Inband-Protokoll Daten auszutauschen und/oder andere Funktionen des Überlagerungssystems 300 auszuführen, wie diejenigen, die hierin beschrieben werden. Die Verwaltungsstation 906 kann die Anforderung zum Aktivieren eines vordefinierten Anschlusses des Quellenzugriffsschalters konfigurieren, um Pakete zu verarbeiten, die zu dem aufgesetzten virtuellen Netzwerk in Beziehung stehen, zu dem die Quellenendstation 202 gehört. Der Anschluss kann so gekennzeichnet werden, dass er in dem benutzerdefinieren virtuellen Netzwerk liegt. Daher werden Pakete, die aus diesem Anschluss ausgegeben werden, automatisch als zu dem gekennzeichneten virtuellen Netzwerk zugehörig klassifiziert. Das Quellenüberlagerungssystem 300 kann die erforderliche Kapselung wie hierin beschrieben ausführen, um das Paket durch das physische Netzwerk zu dem Zielüberlagerungssystem zu übertragen.
  • Der Überlagerungs-Agent 904 kann in Reaktion darauf, dass er für eine virtuelle Überlagerungsoperation aktiviert wird, Adressinformationen, zum Beispiel die MAC-Adresse und/oder die IP-Adresse des Quellenüberlagerungs-Agent 904, an das Quellenüberlagerungs-Hilfeprogramm 902 ausgeben (912).
  • Die Verwaltungsstation 906 kann über die Verwaltungsschnittstelle 306 eine Anforderung an die Topologiezuordnungsfunktion 908 für physische Speicherorte der Endstationen senden (914), um eine Topologiezuordnung zu erstellen oder Platzierungskriterien zu ermitteln, die mit dem aufgesetzten virtuellen Netzwerk (OVNX) in Beziehung stehen, dem die Quellenendstation 202 zugehörig ist, d. h., die Quellenendstation 902 kann ein Mitglied von OVNX sein.
  • Die Verwaltungsstation 906 kann Topologiezuordnungsinformationen, die von der Topologiezuordnungsfunktion 908 empfangen wurden, an den Quellenüberlagerungs-Agent 904, insbesondere an den Richtlinien-Agent 308 ausgeben (916). Diese Informationen können von anderen Überlagerungs-Agents in einer virtuellen Netzwerkoperation verwendet werden, wobei Datenübertragungen erfolgen können, wenn zum Beispiel die Endstation 902 ein Paket von einer anderen Endstation empfängt, d. h., die Endstation 902 ist eine Zielendstation. Die Topologiezuordnungsinformationen können eine MAC-Adresse einer Quellenendstation, Zugriffsschalter-Anschlussinformationen, eine Kennung eines virtuellen Netzwerks und dergleichen enthalten.
  • Einige oder alle Elemente der Topologiezuordnungsdaten, zum Beispiel MAC-Adresse der Quellenendstation und Kennung des virtuellen Netzwerks, können an das Überlagerungs-Hilfeprogramm 902 ausgegeben werden (918), um einen Speicherort der Quellenendstation 202 zu erstellen.
  • In 9B erfolgt ein Prozessablauf 920 zwischen dem Überlagerungs-Hilfeprogramm 304, das in der Zielendstation 206 umgesetzt wird (allgemein 922), dem Überlagerungs-Agent 302, der in einem Zielzugriffsschalter umgesetzt wird (allgemein 924), einer Verwaltungsstation, die mit dem Zielzugriffsschalter Daten austauschen kann (allgemein 926), und der Topologiezuordnungsfunktion, die für den Richtlinienserver 212 konfiguriert ist (allgemein 928). Der Zielzugriffsschalter 924 kann derselbe Schalter oder ein ähnlicher Schalter wie der Quellenzugriffsschalter 904 von 9A sein. Die Verwaltungsstation 926 kann dieselbe oder ähnlich der Verwaltungsstation 906 von 9A sein. Die Topologiezuordnungsfunktion 928 kann dieselbe wie die Topologiezuordnungsfunktion 908 von 9A sein.
  • Die Verwaltungsstation 926 kann eine Anforderung zum Aktivieren einer Überlagerung an den Zielzugriffsschalter 924 ausgeben (930). Die Verwaltungsstation 926 kann mit der Verwaltungsschnittstelle 306 des Zielüberlagerungs-Agent 924 Daten austauschen, um das Überlagerungssystem 300 in die Lage zu versetzen, Pakete zu klassifizieren, einen Überlagerungskopf zu einem empfangenen Paket hinzuzufügen, mit dem Zielüberlagerungs-Hilfeprogramm 922 über ein Inband-Protokoll Daten auszutauschen und/oder andere Funktionen des Überlagerungssystems 300 auszuführen, wie diejenigen, die hierin beschrieben werden. Die Verwaltungsstation 926 kann die Anforderung zum Aktivieren eines vordefinierten Anschlusses Q des Zielzugriffsschalters konfigurieren, um Pakete zu verarbeiten, die zu dem aufgesetzten virtuellen Netzwerk in Beziehung stehen, zu dem die Zielendstation 222 gehört.
  • In Reaktion darauf, dass er für eine virtuelle Überlagerungsoperation aktiviert wird, kann der Überlagerungs-Agent 924 Adressinformationen, zum Beispiel die MAC-Adresse und/oder die IP-Adresse des Zielüberlagerungs-Agent 924, an das Zielüberlagerungs-Hilfeprogramm 922 ausgeben (932).
  • Die Verwaltungsstation 926 kann über die Verwaltungsschnittstelle 306 eine Anforderung an die Topologiezuordnungsfunktion 928 für Endstations-Speicherplatzinformationen senden (934), um eine Topologiezuordnung zu erstellen, Platzierungskriterien zu ermitteln usw., die mit dem aufgesetzten virtuellen Netzwerk (OVNX) in Beziehung stehen, dem die Zielendstation 206 zugehörig ist, d. h., die Zielendstation 922 kann ein Mitglied von OVNX sein. Die Verwaltungsstation 926 kann Topologiezuordnungsinformationen an den Richtlinienserver 928 ausgeben (936), der von dem Überlagerungs-Agent 924 abgefragt wird, um einen Übertragungspfad zu erstellen. Diese Informationen können von anderen Überlagerungs-Agents in einer virtuellen Netzwerkoperation verwendet werden, wenn zum Beispiel die Endstation eine Zielendstation ist. Die Topologiezuordnungsinformationen können eine MAC-Adresse einer Zielendstation, Zugriffsschalter-Anschlussinformationen, eine Kennung eines virtuellen Netzwerks und dergleichen enthalten.
  • Einige oder alle Elemente der Topologiezuordnungsdaten, zum Beispiel MAC-Adresse der Zielendstation und Kennung des virtuellen Netzwerks, können an das Überlagerungs-Hilfeprogramm 922 ausgegeben werden (938), um einen Speicherort der Zielendstation 206 zu erstellen.
  • 10 ist ein schematisches Blockschaubild, das einen Prozessablauf 1000 zum Austauschen von Daten mit einem Quellenüberlagerungssystems gemäß einer Ausführungsform veranschaulicht. Beim Beschreiben des Prozessablaufs 1000 wird auch auf Elemente von 1 bis 9 Bezug genommen. Insbesondere wird der Prozessablauf 1000 so beschrieben, dass er zwischen der ersten Endstation 202, dem Router 210 und dem Richtlinienserver 212 von 2 und dem Quellenüberlagerungs-Hilfeprogramm 304, der in der Quellenendstation 202 umgesetzt wird (allgemein 902), und dem Quellenüberlagerungs-Agent 302 erfolgt, der in dem Quellenzugriffsschalter von 9 umgesetzt wird (allgemein 904). Der Prozessablauf 1000 kann jedoch ebenfalls zwischen Endstationen und den Zugriffsschaltern erfolgen, auf die in 6 bis 8 oder in anderen hierin beschriebenen Figuren Bezug genommen wird.
  • Eine Zielanforderungsnachricht wird von der Endstation 202 an den Quellenüberlagerungs-Agent 904 zum Beispiel als eine Rundsendungsnachricht ausgegeben (1002). Die Rundsendungsnachricht kann auf eine bekannte Weise ausgegeben werden, zum Beispiel einem Ausgeben gemäß dem ARP zur Adressauflösung.
  • Die Adressverarbeitungsroutine 310 des Quellenüberlagerungs-Agent 904 kann die Anforderung über den Klassifikator 312 empfangen und den Richtlinien-Agent 308 nach der IP-Adresse der Zielendstation 206 abfragen, zum Beispiel das virtuelle Netzwerk (OVNX) der Quellenendstation 202. Der Richtlinien-Agent 308 des Quellenüberlagerungs-Agent 904 kann zuerst auf seinen Richtlinienzwischenspeicher (nicht gezeigt) zugreifen, der Zuordnungsinformationen speichern kann, die zu der Zielendstation 206 in Beziehung stehen, mit der die Quellenendstation 202 Daten austauschen möchte. Die Adressverarbeitungsroutine 310 kann mit dem Richtlinien-Agent 308 Daten austauschen, der einen lokalen Zwischenspeicher überprüfen kann. Wenn die Zuordnungsinformationen nicht gefunden werden, kann der Richtlinienserver 212 die Zuordnungsinformationen bereitstellen. Eine Unicast-Nachricht kann an den Richtlinienserver 212 ausgegeben werden (1004), um die Zuordnungsinformationen zu erhalten.
  • Der Richtlinienserver 212 kann den physischen Speicherort der Zielendstation 206 gemäß Ansätzen ermitteln, die denjenigen ähnlich sind, die oben unter Bezugnahme auf 4 beschrieben wurden. Derartige Ansätze werden der Kürze halber hier nicht wiederholt. Der Richtlinienserver 212 kann die angeforderten Zuordnungsinformationen, insbesondere eine Zuordnung der IP-Adresse der Zielendstation 206 an das Zielüberlagerungssystem ausgeben (1006). Außerdem kann der Richtlinien-Agent 308 mit dem Richtlinienserver 212 Daten austauschen, um den Speicherort der Zielendstation 206 zu ermitteln und den Richtlinienzwischenspeicher mit den Zuordnungsinformationen zu aktualisieren. Der Quellenüberlagerungs-Agent 904 kann Überlagerungsparameter wie Klassifizierungsdaten und Daten des Richtlinienzwischenspeichers an das Quellenüberlagerungs-Hilfeprogramm 902 senden (1008). Zum Beispiel kann der Quellenüberlagerungs-Agent 904 beispielsweise nächste MAC- und IP-Hop-Adressdaten sowie in Beziehung stehende Überlagerungskapselungsinformationen senden, die hierin beschrieben werden. Der Quellenüberlagerungs-Agent 904 kann mit dem Quellenüberlagerungs-Hilfeprogramm 902 über ein Inband-Protokoll Daten austauschen. Der Quellenüberlagerungs-Agent 904 kann die IP-Adresse der Zielendstation 206 und eine entsprechende nächste MAC-Hop-Adresse an die Endstation 202 ausgeben (1010).
  • Die Endstation 202 kann ein Paket ausgeben (1012). Das Paket kann ein Netzwerkpaket enthalten, zum Beispiel einen Datenübertragungsblock oder ein IP-Paket. Das Paket kann eine MAC-Zieladresse 1013 und eine IP-Zieladresse 1014 enthalten, die von dem Quellenüberlagerungs-Hilfeprogramm 902 empfangen werden. Das Paket kann auch Nutzdaten (PL) 1015 und/oder weitere Felder mit Inhalten enthalten, die einem Fachmann bekannt sind.
  • Die IP-Verarbeitungsroutine 314 des Quellenüberlagerungs-Hilfeprogramms 902 empfängt das Paket von der Endstation 202. Die IP-Verarbeitungsroutine 314 fügt eine Überlagerungskapselung 1020 zu dem Paket hinzu und gibt das gekapselte Paket an den Quellenzugriffsschalter aus (904). Die Überlagerungskapselung 1020 enthält einen äußeren MAC-Überlagerungskopf 1017, einen äußeren IP-Überlagerungskopf 1018 und einen Überlagerungskopf 1019. Der äußere MAC-Überlagerungskopf 1017 enthält eine MAC-Quellenadresse (omac1), die dem Anschluss des Quellenzugriffsschalters entspricht, und eine nächste MAC-Hop-Adresse (rmac1). Wenn das Ziel in einer Ausführungsform in demselben Teilnetz liegt wie die Quelle, ist die MAC-Zieladresse diejenige des Zielüberlagerungssystems 208. In einer weiteren Ausführungsform, wie in 2 gezeigt, ist die MAC-Zieladresse diejenige eines Routers oder einer Gateway-Schnittstelle (R1), die Pakete jeweils zwischen den Teilnetzen der Endstationen 202, 206 weiterleitet. Der äußere IP-Überlagerungskopf 1018 kann die IP-Adresse des Quellenüberlagerungs-Agent 904 und die IP-Adresse des Zielüberlagerungs-Agent enthalten. Der Überlagerungskopf 1019 kann eine eindeutige Kennung enthalten, die das virtuelle Netzwerk identifiziert. Wenn die Überlagerungskapselung 1020 zu dem Paket hinzugefügt wird, das von der Quellenendstation 202 empfangen wird, werden die Inhalte des ursprünglichen Pakets 1013, 1014, 1015 kombiniert, um neue Nutzdaten PL1 1021 zu bilden, die mit der Überlagerungskapselung 1020 von dem Überlagerungs-Hilfeprogramm 902 an den Quellenzugriffsschalter mit dem Quellenüberlagerungs-Agent 904 ausgegeben werden (1016), der wiederum das Paket 1020, 1021 an den Router 210 oder an einen Netzwerkschalter oder eine in Beziehung stehende Netzwerkeinheit ausgibt (1022).
  • 11 ist ein schematisches Blockschaubild, das einen Prozessablauf 1100 zum Austauschen von Daten mit einem Zielüberlagerungssystem gemäß einer Ausführungsform veranschaulicht. Beim Beschreiben des Prozessablaufs 1100 wird auch auf Elemente von 1 bis 10 Bezug genommen. Insbesondere wird der Prozessablauf 1100 so beschrieben, dass er zwischen der zweiten Endstation 206, dem Router 210 und dem Richtlinienserver von 2 und dem Zielüberlagerungs-Hilfeprogramm 304, das in der Zielendstation 206 umgesetzt wird (allgemein 922), und dem Zielüberlagerungs-Agent 302 erfolgt, der in dem Zielzugriffsschalter von 9 umgesetzt wird (allgemein 924). Der Prozessablauf 1100 kann jedoch ebenfalls zwischen Endstationen und den Zugriffsschaltern erfolgen, auf die in 6 bis 8 oder in anderen hierin beschriebenen Figuren Bezug genommen wird.
  • Der Prozessablauf 1100 beginnt damit, dass der Router 210 die Paketnutzdaten PL1 1021, den Überlagerungskopf 1019 und den äußeren IP-Überlagerungskopf 1018, die in dem Prozessablauf 1000 bereitgestellt werden, an den Zielzugriffsschalter mit dem Überlagerungs-Agent 924 ausgibt (1102), der wiederum diese Paketdaten an den Zielüberlagerungskopf 922 ausgibt (1104). Ein MAC-Adresskopf 1103 wird hinzugefügt, der die MAC-Quellenadresse enthalten kann, d. h. die MAC-Adresse der Router-Schnittstelle oder des Zugriffsschalteranschlusses, die bzw. der die Paketnutzdaten PL1 1021 ausgibt (1102). Der MAC-Adresskopf 1103 enthält auch die MAC-Adresse des Zielüberlagerungs-Agent 924.
  • Das Zielüberlagerungs-Hilfeprogramm 304 kann den Überlagerungskopf 1019 aus dem empfangenen Datenübertragungsblock entfernen und ermittelt die Zielendstation 206 aus dem inneren IP-Ziel, d. h. der ES2-IP-Adresse 1014 in den Paketnutzdaten PL1 1021 und oder der Kennung des virtuellen Netzwerks in dem Kopf 1019. Ein MAC-Kopf 1107 wird hinzugefügt, der die MAC-Adresse der Zielendstation enthält, die dem Überlagerungs-Hilfeprogramm 302 während des in 9 beschriebenen Initialisierungsprozesses bereitgestellt werden kann.
  • Dementsprechend können die ursprünglichen Nutzdaten PL 1015 zu der beabsichtigten Zielendstation 206 geleitet werden.
  • Wie einem Fachmann klar sein wird, können Aspekte der vorliegenden Erfindung als ein System, Verfahren oder Computerprogrammprodukt verkörpert werden. Dementsprechend können Aspekte der vorliegenden Erfindung in der Form einer vollständigen Hardware-Ausführungsform, einer vollständigen Software-Ausführungsform (einschließlich Firmware, residente Software, Mikrocode usw.) oder einer Ausführungsform vorliegen, die Software- und Hardware-Aspekte kombiniert, auf die alle hierin allgemein als „Schaltung”, „Modul” oder „System” Bezug genommen werden kann. Des Weiteren können Aspekte der vorliegenden Erfindung die Form eines Computerprogrammprodukts annehmen, das in einem oder mehreren computerlesbaren Medien mit einem darin ausgeführten computerlesbaren Programmcode verkörpert ist.
  • Jede Kombination von einem oder mehreren computerlesbaren Medien kann verwendet werden. Das computerlesbare Medium kann ein computerlesbares Signalmedium oder ein computerlesbares Speichermedium sein. Ein computerlesbares Speichermedium kann zum Beispiel ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, eine derartige Vorrichtung oder Einheit oder jede geeignete Kombination aus dem Vorgenannten sein, es ist aber nicht darauf beschränkt. Zu spezielleren Beispielen (eine nicht erschöpfende Liste) für das computerlesbare Speichermedium würde Folgendes zählen: eine elektrische Verbindung mit einer oder mehreren Drahtleitungen, eine tragbare Computerdiskette, eine Festplatte, ein Direktzugriffspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM oder Flash-Speicher), ein Lichtwellenleiter, ein tragbarer CD-ROM, eine optische Speichereinheit, eine Magnetspeichereinheit oder jede geeignete Kombination des Vorgenannten. In dem Kontext dieses Dokuments kann ein computerlesbares Speichermedium jedes konkrete Medium sein, das ein Programm zur Verwendung durch oder in Verbindung mit einem System, einer Vorrichtung oder einer Einheit zur Anweisungsausführung enthalten oder speichern kann.
  • Ein computerlesbares Signalmedium kann ein verbreitetes Datensignal mit einem darin verkörperten computerlesbaren Programmcode enthalten, zum Beispiel im Basisband oder als Teil einer Trägerwelle. Ein derartiges verbreitetes Signal kann jede einer Vielfalt von Formen annehmen, einschließlich elektromagnetisch, optisch oder jede geeignete Kombination davon, es ist aber nicht darauf beschränkt. Ein computerlesbares Signalmedium kann jedes computerlesbare Medium sein, das kein computerlesbares Speichermedium ist und das ein Programm zur Verwendung durch oder in Verbindung mit einem System, einer Vorrichtung oder einer Einheit zur Anweisungsausführung übertragen, verbreiten oder transportieren kann. In einem computerlesbaren Medium verkörperter Programmcode kann unter Verwendung jedes geeigneten Mediums übertragen werden, einschließlich drahtlos, drahtgebunden, über ein Lichtwellenleiterkabel, HF usw. oder eine geeignete Kombination des Vorgenannten, er ist aber nicht darauf beschränkt.
  • Computerprogrammcode zum Ausführen von Operationen für Aspekte der vorliegenden Erfindung kann in jeder Kombination von einer oder mehreren Programmiersprachen geschrieben werden, einschließlich einer objektorientierten Programmiersprache wie Java, Smalltalk, C++ oder dergleichen und herkömmlichen prozeduralen Programmiersprachen wie der Programmiersprache „C” oder ähnlichen Programmiersprachen. Der Programmcode kann vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. In dem letzteren Szenario kann der entfernt angeordnete Computer mit dem Computer des Benutzers über jeden Typ von Netzwerk verbunden sein, einschließlich ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetz (WAN), oder die Verbindung kann zu einem externen Computer hergestellt werden (zum Beispiel über das Internet unter Nutzung eines Internet-Dienstanbieters).
  • Aspekte der vorliegenden Erfindung werden im hierin unter Bezugnahme auf Veranschaulichungen des Ablaufplans und/oder der Blockschaubilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es versteht sich, dass jeder Block in den Ablaufplan-Veranschaulichungen und/oder Blockschaubildern und Kombinationen von Blöcken in den Ablaufplan-Veranschaulichungen und/oder Blockschaubildern durch Computerprogrammanweisungen umgesetzt werden können. Diese Computerprogrammanweisungen können für einen Prozessor eines Mehrzweckcomputers, eines Spezialcomputers oder andere Vorrichtungen, die programmierbare Daten verarbeiten, bereitgestellt werden, um eine Maschine zu erzeugen, sodass die Anweisungen, die über den Prozessor des Computers oder andere Vorrichtungen, die programmierbare Daten verarbeiten, ausgeführt werden, Mittel zum Umsetzen der Funktionen/Handlungen erstellen, die in dem Ablaufplan und/oder dem Block oder den Blöcken des Blockschaubilds angegeben sind.
  • Diese Computerprogrammanweisungen können auch in einem computerlesbaren Medium gespeichert werden, das einen Computer, eine andere Vorrichtung, die programmierbare Daten verarbeitet, oder andere Einheiten so steuern kann, dass sie auf eine bestimmte Weise funktionieren, sodass die in dem computerlesbaren Medium gespeicherten Anweisungen einen Fertigungsartikel erzeugen, einschließlich Anweisungen, die die in dem Ablaufplan und/oder dem Block oder den Blöcken des Blockschaubilds angegebene Funktion/Handlung umsetzen. Die Computerprogrammanweisungen können auch auf einen Computer, eine andere Vorrichtung, die programmierbare Daten verarbeitet, oder andere Einheiten geladen werden, um die Ausführung einer Serie von Arbeitsschritten auf dem Computer, einer anderen Vorrichtung, die programmierbare Daten ausführt, oder anderen Einheiten zu veranlassen, um einen über den Computer umgesetzten Prozess zu erzeugen, sodass die Anweisungen, die auf dem Computer oder einer anderen programmierbaren Vorrichtung ausgeführt werden, Prozesse zum Umsetzen der Funktionen/Handlungen bereitstellen, die in dem Ablaufplan und/oder dem Block oder den Blöcken des Blockschaubilds angegeben sind.
  • Der Ablaufplan und die Blockschaubilder in den Figuren veranschaulichen die Architektur, die Funktionalität und den Betrieb von möglichen Umsetzungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. Diesbezüglich kann jeder Block in dem Ablaufplan oder in den Blockschaubildern ein Modul, ein Segment oder einen Codeabschnitt darstellen, der eine oder mehrere ausführbare Anweisungen zum Umsetzen der angegebenen logischen Funktion(en) aufweist. Es ist ebenfalls anzumerken, dass in einigen alternativen Umsetzungen die in dem Block angegebenen Funktionen in einer anderen Reihenfolge auftreten können als in den Figuren angegeben. Zum Beispiel können zwei nacheinander gezeigte Blöcke tatsächlich im Wesentlichen parallel ausgeführt werden, oder die Blöcke können manchmal in der umgekehrten Reihenfolge ausgeführt werden, was von der beteiligten Funktionalität abhängt. Es wird ebenfalls angemerkt, dass jeder Block in den Blockschaubildern und/oder in der Ablaufplan-Veranschaulichung und Kombinationen von Blöcken in den Blockschaubildern und/oder der Ablaufplan-Veranschaulichung durch spezielle Systeme auf der Grundlage von Hardware, die die angegebenen Funktionen oder Handlungen ausführen, oder Kombinationen von spezieller Hardware und Computeranweisungen umgesetzt werden können.
  • Die Erfindung wurde zwar unter Bezugnahme auf spezifische Ausführungsformen gezeigt und beschrieben, doch sollte einem Fachmann klar sein, dass verschiedene Änderungen in Form und Detail daran vorgenommen werden können, ohne von dem Umfang der Erfindung abzuweichen.

Claims (25)

  1. Verfahren zum Aufsetzen eines virtuellen Netzwerks auf ein physisches Netzwerk in einer Rechenzentrumsumgebung, wobei das Verfahren aufweist: Anordnen eines Überlagerungssystems in einem aufgesetzten virtuellen Netzwerk, das einen Überlagerungs-Agent und ein Überlagerungs-Hilfeprogramm enthält; Umsetzen des Überlagerungs-Agent in einem Zugriffsschalter; Umsetzen des Überlagerungs-Hilfeprogramms in einer Endstation, die mit dem Zugriffsschalter Daten austauschen kann; und Übertragen von Überlagerungsparametern in Übereinstimmung mit einem Inband-Protokoll zwischen dem Überlagerungs-Agent und dem Überlagerungs-Hilfeprogramm.
  2. Verfahren nach Anspruch 1, das des Weiteren aufweist: Ausgeben eines Datenpakets aus der Endstation; und Anweisen des Überlagerungs-Hilfeprogramms, ein Überlagerungskapselungsfeld zu einem Datenpaket hinzuzufügen, das durch das Überlagerungs-Hilfeprogramm von der Endstation empfangen wurde.
  3. Verfahren nach Anspruch 2, wobei das Überlagerungskapselungsfeld in Übereinstimmung mit dem Inband-Protokoll von dem Überlagerungs-Hilfeprogramm zu dem Überlagerungs-Agent übertragen wird.
  4. Verfahren nach Anspruch 2, wobei das Überlagerungskapselungsfeld Überlagerungsparameter enthält, die zu Paketklassifizierungskriterien und virtuellen Netzwerktopologiedaten in Beziehung stehen.
  5. Verfahren nach Anspruch 1, das des Weiteren aufweist: Empfangen, durch den Überlagerungs-Agent, eines Datenpakets, das ein Überlagerungskapselungsfeld enthält; Ausgeben des Datenpakets von dem Überlagerungs-Agent an das Überlagerungs-Hilfeprogramm; und Ermitteln, durch das Überlagerungs-Hilfeprogramm, einer Zielendstation aus mindestens einem von einer Kennung eines virtuellen Netzwerks und Zieladressdaten in dem Überlagerungskapselungsfeld.
  6. Verfahren nach Anspruch 5, wobei die Zielendstation mindestens eines von einer physischen Endstation und einer virtuellen Endstation ist.
  7. Verfahren nach Anspruch 1, wobei die Endstation einen Hypervisor enthält, und wobei das Überlagerungs-Hilfeprogramm in einem Hypervisor-Netzwerkschnittstellen-(NIC)Treiber oder Firmware der Endstation umgesetzt wird.
  8. Verfahren nach Anspruch 1, wobei das Überlagerungs-Hilfeprogramm in einem Einzelstamm-E/A-Virtualisierungs-NIC (Single-Root I/O Virtualization (SR IOV) NIC) der Endstation umgesetzt wird.
  9. Verfahren nach Anspruch 1, wobei das Überlagerungs-Hilfeprogramm in einem Betriebssystem-NIC-Treiber oder Firmware der Endstation umgesetzt wird.
  10. Verfahren zur Datenübertragung in einem aufgesetzten virtuellen Netzwerk, wobei das Verfahren aufweist: Anordnen eines ersten Überlagerungssystems, das einen Überlagerungs-Agent enthält, der in einem ersten Zugriffsschalter umgesetzt wird, und ein Überlagerungs-Hilfeprogramm, das in einer ersten Endstation umgesetzt wird, die mit dem ersten Zugriffsschalter Daten austauschen kann; Anordnen eines zweiten Überlagerungssystems, das einen Überlagerungs-Agent enthält, der in einem zweiten Zugriffsschalter umgesetzt wird, und ein Überlagerungs-Hilfeprogramm, das in einer zweiten Endstation umgesetzt wird, die mit dem zweiten Zugriffsschalter Daten austauschen kann; und Übertragen von Überlagerungsparametern von dem Überlagerungs-Agent des ersten Überlagerungssystems zu dem Überlagerungs-Hilfeprogramm des ersten Überlagerungssystems, wobei die Überlagerungsparameter Daten zum Übertragen eines Datenpakets von der ersten Endstation zu der zweiten Endstation enthalten.
  11. Verfahren nach Anspruch 10, das des Weiteren aufweist: Übertragen des Datenpakets von der ersten Endstation zu dem zweiten Zugriffsschalter; Übertragen des Datenpakets von dem Überlagerungs-Agent, der in dem zweiten Zugriffsschalter umgesetzt wird, zu dem Überlagerungs-Hilfeprogramm, das in der zweiten Endstation umgesetzt wird; und Ermitteln, durch das Überlagerungs-Hilfeprogramm der zweiten Endstation, einer Zielendstation aus den Überlagerungsparametern.
  12. Verfahren nach Anspruch 10, das des Weiteren aufweist: Anweisen des Überlagerungs-Hilfeprogramms der ersten Endstation, ein Überlagerungskapselungsfeld zu dem Datenpaket hinzuzufügen.
  13. Verfahren nach Anspruch 12, wobei das Überlagerungskapselungsfeld in Übereinstimmung mit einem Inband-Protokoll von dem Überlagerungs-Hilfeprogramm der ersten Endstation zu dem Überlagerungs-Agent der ersten Endstation übertragen wird.
  14. Verfahren nach Anspruch 12, wobei das Überlagerungskapselungsfeld Überlagerungsparameter enthält, die zu Paketklassifizierungskriterien und virtuellen Netzwerktopologiedaten in Beziehung stehen.
  15. Verfahren nach Anspruch 10, das des Weiteren aufweist: Empfangen, durch das Überlagerungs-Hilfeprogramm der zweiten Endstation, des Überlagerungskapselungsfelds; und Ermitteln, durch das Überlagerungs-Hilfeprogramm, einer Zielendstation aus mindestens einem von einer Kennung eines virtuellen Netzwerks und Zieladressdaten in dem Überlagerungskapselungsfeld.
  16. Verfahren nach Anspruch 10, wobei mindestens eine der ersten und zweiten Endstationen einen Hypervisor enthält, und wobei das Überlagerungs-Hilfeprogramm in einem Hypervisor-Netzwerkschnittstellen-(NIC)Treiber oder Firmware von der mindestens einen der ersten und zweiten Endstationen umgesetzt wird.
  17. Verfahren nach Anspruch 10, wobei mindestens eines von dem Überlagerungs-Hilfeprogramm der ersten Endstation und dem Überlagerungs-Hilfeprogramm der zweiten Endstation in einem Einzelstamm-E/A-Virtualisierungs-(SR IOV)NIC umgesetzt wird.
  18. Verfahren nach Anspruch 10, wobei mindestens eines von dem Überlagerungs-Hilfeprogramm der ersten Endstation und dem Überlagerungs-Hilfeprogramm der zweiten Endstation in mindestens einem von einem Betriebssystem-NIC-Treiber und Firmware umgesetzt wird.
  19. Überlagerungssystem für eine Netzwerkvirtualisierungsumgebung, wobei das Überlagerungssystem aufweist: einen Überlagerungs-Agent an einem Zugriffsschalter an der Kante eines Netzwerks, wobei der Überlagerungs-Agent so konfiguriert ist, dass er ein Überlagerungskapselungsfeld erzeugt, das Überlagerungsparameter enthält, die zu einer Zielendstation in Beziehung stehen; und ein Überlagerungs-Hilfeprogramm an einem Host-Computer, der mit dem Zugriffsschalter in Verbindung steht, wobei das Überlagerungs-Hilfeprogramm so konfiguriert ist, dass es das Überlagerungskapselungsfeld zu einem ersten Paket hinzufügt und das erste Paket, welches das Überlagerungskapselungsfeld enthält, zu der Zielendstation überträgt.
  20. Überlagerungssystem nach Anspruch 19, wobei das Überlagerungs-Hilfeprogramm ferner ein zweites Paket zu einer richtigen Zielendstation überträgt, wenn das zweite Paket von dem Überlagerungs-Agent empfangen wird.
  21. Überlagerungssystem nach Anspruch 19, wobei der Überlagerungs-Agent aufweist: eine Verwaltungsschnittstelle, die durch eine Verwaltungsstation zum Konfigurieren der Überlagerungsparameter aufgerufen wird; und einen Richtlinien-Agent, der mit einem Richtlinienserver Daten austauscht, um Daten zum Zuordnen der Zielendstation zu dem Überlagerungs-Agent am Zugriffsschalter zu erhalten.
  22. Überlagerungssystem nach Anspruch 19, wobei das Überlagerungs-Hilfeprogramm aufweist: eine IP-Verarbeitungsroutine, die ein Überlagerungskapselungsfeld zu einem Paket hinzufügt, das von dem Host-Computer empfangen wurde, und das Paket, welches das Überlagerungskapselungsfeld enthält, zu der Zielendstation überträgt; und einen Klassifikator, der das Paket zu einem virtuellen Netzwerk hinzufügt.
  23. Überlagerungssystem nach Anspruch 19, wobei das Überlagerungs-Hilfeprogramm in mindestens einem von einem Hypervisor-Netzwerkschnittstellen-(NIC)Treiber, einem Einzelstamm-E/A-Virtualsierungs-(SR IOV)NIC, einem Betriebssystem-NIC-Treiber und NIC-Firmware umgesetzt wird.
  24. Rechenzentrumsumgebung, das aufweist: einen Netzwerkkantenschalter; einen Host-Computer, der mit dem Zugriffsschalter über eine lokale Netzwerkverbindung Daten austauschen kann; und ein Überlagerungssystem, wobei das Überlagerungssystem einen Überlagerungs-Agent an dem Zugriffsschalter und ein Überlagerungs-Hilfeprogramm an dem Host-Computer aufweist, wobei der Überlagerungs-Agent so konfiguriert ist, dass er ein Überlagerungskapselungsfeld erzeugt, das Überlagerungsparameter enthält, die zu einer Zielendstation in Beziehung stehen, wobei das Überlagerungs-Hilfeprogramm so konfiguriert ist, dass es das Überlagerungskapselungsfeld zu einem Paket hinzufügt und das Paket, welches das Überlagerungskapselungsfeld enthält, zu der Zielendstation überträgt.
  25. Computerprogrammprodukt zum Aufsetzen eines virtuellen Netzwerks auf ein physisches Netzwerk in einer Rechenzentrumsumgebung, wobei das Computerprogrammprodukt aufweist: ein computerlesbares Speichermedium, das einen darin ausgeführten computerlesbaren Programmcode hat, wobei der computerlesbare Programmcode, wenn er durch einen Computer ausgeführt wird, den Computer veranlasst, die Schritte nach einem der Ansprüche 1 bis 9 auszuführen.
DE112012002998.4T 2011-08-18 2012-07-19 Virtuelle Netzwerküberlagerungen Active DE112012002998B4 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
USUS-13/212,790 2011-08-18
US13/212,790 2011-08-18
US13/212,790 US8867403B2 (en) 2011-08-18 2011-08-18 Virtual network overlays
PCT/IB2012/053679 WO2013024377A1 (en) 2011-08-18 2012-07-19 Virtual network overlays

Publications (2)

Publication Number Publication Date
DE112012002998T5 true DE112012002998T5 (de) 2014-04-30
DE112012002998B4 DE112012002998B4 (de) 2023-07-06

Family

ID=47712581

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112012002998.4T Active DE112012002998B4 (de) 2011-08-18 2012-07-19 Virtuelle Netzwerküberlagerungen

Country Status (6)

Country Link
US (3) US8867403B2 (de)
JP (1) JP5946532B2 (de)
CN (1) CN103748558B (de)
DE (1) DE112012002998B4 (de)
GB (1) GB2511435B (de)
WO (1) WO2013024377A1 (de)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9270486B2 (en) 2010-06-07 2016-02-23 Brocade Communications Systems, Inc. Name services for virtual cluster switching
US9716672B2 (en) 2010-05-28 2017-07-25 Brocade Communications Systems, Inc. Distributed configuration management for virtual cluster switching
US8867552B2 (en) 2010-05-03 2014-10-21 Brocade Communications Systems, Inc. Virtual cluster switching
US9769016B2 (en) 2010-06-07 2017-09-19 Brocade Communications Systems, Inc. Advanced link tracking for virtual cluster switching
US9807031B2 (en) 2010-07-16 2017-10-31 Brocade Communications Systems, Inc. System and method for network configuration
US8867403B2 (en) * 2011-08-18 2014-10-21 International Business Machines Corporation Virtual network overlays
US9450870B2 (en) 2011-11-10 2016-09-20 Brocade Communications Systems, Inc. System and method for flow management in software-defined networks
US10050839B2 (en) * 2011-12-23 2018-08-14 Appbyyou Gmbh Method for setting up a star-shaped communication network consisting of a central node and peripheral nodes via a web application provided by the central node on the basis of hardware identifiers
US9154416B2 (en) * 2012-03-22 2015-10-06 Brocade Communications Systems, Inc. Overlay tunnel in a fabric switch
CN103379185B (zh) * 2012-04-26 2016-08-03 华为技术有限公司 一种网络地址转换的方法、设备和系统
US9374301B2 (en) 2012-05-18 2016-06-21 Brocade Communications Systems, Inc. Network feedback in software-defined networks
US10601653B2 (en) 2012-07-06 2020-03-24 Cradlepoint, Inc. Implicit traffic engineering
US10110417B1 (en) * 2012-07-06 2018-10-23 Cradlepoint, Inc. Private networks overlaid on cloud infrastructure
US10560343B1 (en) 2012-07-06 2020-02-11 Cradlepoint, Inc. People centric management of cloud networks via GUI
US9992062B1 (en) 2012-07-06 2018-06-05 Cradlepoint, Inc. Implicit traffic engineering
US10177957B1 (en) 2012-07-06 2019-01-08 Cradlepoint, Inc. Connecting a cloud network to the internet
US10880162B1 (en) 2012-07-06 2020-12-29 Cradlepoint, Inc. Linking logical broadcast domains
US10135677B1 (en) * 2012-07-06 2018-11-20 Cradlepoint, Inc. Deployment of network-related features over cloud network
US9008085B2 (en) 2012-08-15 2015-04-14 International Business Machines Corporation Network interface card having overlay gateway functionality
US8931046B2 (en) 2012-10-30 2015-01-06 Stateless Networks, Inc. System and method for securing virtualized networks
US9401872B2 (en) 2012-11-16 2016-07-26 Brocade Communications Systems, Inc. Virtual link aggregations across multiple fabric switches
US9049115B2 (en) 2012-12-13 2015-06-02 Cisco Technology, Inc. Enabling virtual workloads using overlay technologies to interoperate with physical network services
US9203699B2 (en) * 2014-02-11 2015-12-01 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Constructing and verifying switch fabric cabling schemes
US9565099B2 (en) 2013-03-01 2017-02-07 Brocade Communications Systems, Inc. Spanning tree in fabric switches
JP6036445B2 (ja) * 2013-03-21 2016-11-30 富士通株式会社 通信システム、中継装置、通信方法、及びプログラム
US9197553B2 (en) * 2013-03-29 2015-11-24 Cisco Technology, Inc. Using a virtual internet protocol address to represent dually connected hosts in an internet protocol overlay network
US9130775B2 (en) * 2013-07-10 2015-09-08 Cisco Technology, Inc. Support for virtual extensible local area network segments across multiple data center sites
US9806949B2 (en) * 2013-09-06 2017-10-31 Brocade Communications Systems, Inc. Transparent interconnection of Ethernet fabric switches
US10291472B2 (en) 2015-07-29 2019-05-14 AppFormix, Inc. Assessment of operational states of a computing environment
US10355997B2 (en) 2013-09-26 2019-07-16 Appformix Inc. System and method for improving TCP performance in virtualized environments
US10581687B2 (en) 2013-09-26 2020-03-03 Appformix Inc. Real-time cloud-infrastructure policy implementation and management
US9385959B2 (en) * 2013-09-26 2016-07-05 Acelio, Inc. System and method for improving TCP performance in virtualized environments
CA2924469A1 (en) * 2013-10-10 2015-04-16 AdaptiveApps, Inc. Adaptive overlay networking
US9575782B2 (en) 2013-10-13 2017-02-21 Nicira, Inc. ARP for logical router
CN104579889B (zh) * 2013-10-16 2018-03-09 华为技术有限公司 一种用于调用网络功能的方法及装置
CN104579695B (zh) 2013-10-23 2018-07-20 新华三技术有限公司 一种数据转发装置和方法
US9912612B2 (en) * 2013-10-28 2018-03-06 Brocade Communications Systems LLC Extended ethernet fabric switches
KR102160252B1 (ko) 2013-12-18 2020-09-25 삼성전자주식회사 가상 스위칭 방법 및 장치
DK3087696T3 (da) * 2013-12-23 2019-12-09 Netlinkz Tech Pty Ltd System og fremgangsmåde til flere samtidige virtuelle netværk
US9794128B2 (en) 2013-12-30 2017-10-17 International Business Machines Corporation Overlay network movement operations
US10135687B2 (en) 2014-01-06 2018-11-20 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Virtual group policy based filtering within an overlay network
US9548873B2 (en) 2014-02-10 2017-01-17 Brocade Communications Systems, Inc. Virtual extensible LAN tunnel keepalives
US10581758B2 (en) 2014-03-19 2020-03-03 Avago Technologies International Sales Pte. Limited Distributed hot standby links for vLAG
US10476698B2 (en) 2014-03-20 2019-11-12 Avago Technologies International Sales Pte. Limited Redundent virtual link aggregation group
US9893988B2 (en) 2014-03-27 2018-02-13 Nicira, Inc. Address resolution using multiple designated instances of a logical router
US10063473B2 (en) 2014-04-30 2018-08-28 Brocade Communications Systems LLC Method and system for facilitating switch virtualization in a network of interconnected switches
US9800471B2 (en) 2014-05-13 2017-10-24 Brocade Communications Systems, Inc. Network extension groups of global VLANs in a fabric switch
US9515933B2 (en) * 2014-05-30 2016-12-06 International Business Machines Corporation Virtual network data control with network interface card
US9515931B2 (en) 2014-05-30 2016-12-06 International Business Machines Corporation Virtual network data control with network interface card
US9729512B2 (en) * 2014-06-04 2017-08-08 Nicira, Inc. Use of stateless marking to speed up stateful firewall rule processing
US9825913B2 (en) 2014-06-04 2017-11-21 Nicira, Inc. Use of stateless marking to speed up stateful firewall rule processing
US10616108B2 (en) 2014-07-29 2020-04-07 Avago Technologies International Sales Pte. Limited Scalable MAC address virtualization
US9807007B2 (en) 2014-08-11 2017-10-31 Brocade Communications Systems, Inc. Progressive MAC address learning
US9906454B2 (en) 2014-09-17 2018-02-27 AppFormix, Inc. System and method for providing quality of service to data center applications by controlling the rate at which data packets are transmitted
US10020960B2 (en) 2014-09-30 2018-07-10 Nicira, Inc. Virtual distributed bridging
US10250443B2 (en) 2014-09-30 2019-04-02 Nicira, Inc. Using physical location to modify behavior of a distributed virtual network element
US10511458B2 (en) 2014-09-30 2019-12-17 Nicira, Inc. Virtual distributed bridging
US9768980B2 (en) 2014-09-30 2017-09-19 Nicira, Inc. Virtual distributed bridging
US9747249B2 (en) * 2014-12-29 2017-08-29 Nicira, Inc. Methods and systems to achieve multi-tenancy in RDMA over converged Ethernet
US10003552B2 (en) 2015-01-05 2018-06-19 Brocade Communications Systems, Llc. Distributed bidirectional forwarding detection protocol (D-BFD) for cluster of interconnected switches
US9942097B2 (en) 2015-01-05 2018-04-10 Brocade Communications Systems LLC Power management in a network of interconnected switches
US10038592B2 (en) 2015-03-17 2018-07-31 Brocade Communications Systems LLC Identifier assignment to a new switch in a switch group
US9967231B2 (en) * 2015-03-18 2018-05-08 Cisco Technology, Inc. Inter-pod traffic redirection and handling in a multi-pod network environment
US10579406B2 (en) 2015-04-08 2020-03-03 Avago Technologies International Sales Pte. Limited Dynamic orchestration of overlay tunnels
US10225184B2 (en) 2015-06-30 2019-03-05 Nicira, Inc. Redirecting traffic in a virtual distributed router environment
US10439929B2 (en) 2015-07-31 2019-10-08 Avago Technologies International Sales Pte. Limited Graceful recovery of a multicast-enabled switch
US10171303B2 (en) 2015-09-16 2019-01-01 Avago Technologies International Sales Pte. Limited IP-based interconnection of switches with a logical chassis
US9912614B2 (en) 2015-12-07 2018-03-06 Brocade Communications Systems LLC Interconnection of switches based on hierarchical overlay tunneling
EP3208972B1 (de) * 2016-02-16 2019-12-18 Deutsche Telekom AG Verfahren zur verbesserten verfolgung und/oder überwachung des netzknoten eines kommunikationsnetzwerks, kommunikationsnetzwerk, mehrere virtuelle maschinen, virtualisierte netzwerkfunktionsmanagerfunktionalität, programm und computerprogrammprodukt
US10110483B2 (en) * 2016-03-18 2018-10-23 Cisco Technology, Inc. Method and apparatus for creation of global network overlay with global parameters defining an end-to-end network
US10237090B2 (en) 2016-10-28 2019-03-19 Avago Technologies International Sales Pte. Limited Rule-based network identifier mapping
JP6605713B2 (ja) 2016-11-09 2019-11-13 華為技術有限公司 クラウドコンピューティングシステムにおけるパケット処理方法、ホスト及びシステム
ES2787450T3 (es) * 2017-01-20 2020-10-16 Huawei Tech Co Ltd Procedimiento de reenvío de paquetes de datos, adaptador de red, dispositivo host y sistema informático
US11068314B2 (en) 2017-03-29 2021-07-20 Juniper Networks, Inc. Micro-level monitoring, visibility and control of shared resources internal to a processor of a host machine for a virtual environment
US10868742B2 (en) 2017-03-29 2020-12-15 Juniper Networks, Inc. Multi-cluster dashboard for distributed virtualization infrastructure element monitoring and policy control
US11323327B1 (en) 2017-04-19 2022-05-03 Juniper Networks, Inc. Virtualization infrastructure element monitoring and policy control in a cloud environment using profiles
US10819675B2 (en) * 2017-08-14 2020-10-27 Nicira, Inc. Managing network connectivity between cloud computing service endpoints and virtual machines
US10511459B2 (en) 2017-11-14 2019-12-17 Nicira, Inc. Selection of managed forwarding element for bridge spanning multiple datacenters
US10374827B2 (en) 2017-11-14 2019-08-06 Nicira, Inc. Identifier that maps to different networks at different datacenters
US10541842B2 (en) 2018-01-10 2020-01-21 Viasat, Inc. Methods and apparatus for enhancing virtual switch capabilities in a direct-access configured network interface card
WO2020221458A1 (en) * 2019-05-02 2020-11-05 Huawei Technologies Co., Ltd. Virtual network topology
CN110806921B (zh) * 2019-09-30 2023-02-07 烽火通信科技股份有限公司 一种ovs异常告警监控系统及方法
US11546208B2 (en) * 2019-12-31 2023-01-03 Vmware, Inc. Multi-site hybrid networks across cloud environments
US11689455B2 (en) 2020-05-28 2023-06-27 Oracle International Corporation Loop prevention in virtual layer 2 networks
JP2023535149A (ja) 2020-07-14 2023-08-16 オラクル・インターナショナル・コーポレイション Ｖｌａｎスイッチングおよびルーティングサービスのためのシステムおよび方法
US11829793B2 (en) 2020-09-28 2023-11-28 Vmware, Inc. Unified management of virtual machines and bare metal computers
CN112181606A (zh) * 2020-11-04 2021-01-05 石化盈科信息技术有限责任公司 一种容器配置更新方法、装置、系统、存储介质及电子设备
US20220210063A1 (en) 2020-12-30 2022-06-30 Oracle International Corporation Layer-2 networking information in a virtualized cloud environment
US11671355B2 (en) 2021-02-05 2023-06-06 Oracle International Corporation Packet flow control in a header of a packet
US11777897B2 (en) 2021-02-13 2023-10-03 Oracle International Corporation Cloud infrastructure resources for connecting a service provider private network to a customer private network
JP2023061144A (ja) * 2021-10-19 2023-05-01 横河電機株式会社 制御システム、制御方法、およびプログラム
US11928062B2 (en) 2022-06-21 2024-03-12 VMware LLC Accelerating data message classification with smart NICs
US11899594B2 (en) 2022-06-21 2024-02-13 VMware LLC Maintenance of data message classification cache on smart NIC

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003024007A1 (en) * 2001-09-10 2003-03-20 Cenus Technologies, Inc. System and method for information object routing in computer networks
US7912065B2 (en) * 2002-12-31 2011-03-22 Alcatel-Lucent Usa Inc. Automated voice over IP device VLAN-association setup
GB2419703A (en) 2004-10-29 2006-05-03 Hewlett Packard Development Co Isolated virtual overlay infrastructures each having an interface to control interaction with others
CN101326771B (zh) * 2005-12-13 2010-09-15 国际商业机器公司 操作虚拟网络的方法和设备以及数据网络系统
US8166205B2 (en) 2007-07-31 2012-04-24 Cisco Technology, Inc. Overlay transport virtualization
US8429739B2 (en) 2008-03-31 2013-04-23 Amazon Technologies, Inc. Authorizing communications between computing nodes
EP3002684A1 (de) * 2008-03-31 2016-04-06 Amazon Technologies, Inc. Konfiguration der kommunikation zwischen virtuellen maschinen
US20110035494A1 (en) 2008-04-15 2011-02-10 Blade Network Technologies Network virtualization for a virtualized server data center environment
JP2009278317A (ja) * 2008-05-14 2009-11-26 Chuden Cti Co Ltd ネットワークドライバ、該ネットワークドライバが組み込まれたコンピュータ及びサーバ
US8155146B1 (en) * 2009-09-09 2012-04-10 Amazon Technologies, Inc. Stateless packet segmentation and processing
JP5241665B2 (ja) * 2009-09-28 2013-07-17 三菱電機株式会社 通信装置、通信システムおよび通信方法
US8369333B2 (en) 2009-10-21 2013-02-05 Alcatel Lucent Method and apparatus for transparent cloud computing with a virtualized network infrastructure
US8537860B2 (en) 2009-11-03 2013-09-17 International Business Machines Corporation Apparatus for switching traffic between virtual machines
US20110110377A1 (en) 2009-11-06 2011-05-12 Microsoft Corporation Employing Overlays for Securing Connections Across Networks
EP2489172B1 (de) * 2010-05-28 2020-03-25 Huawei Technologies Co., Ltd. Virtuelle schicht 2 und mechanismus zu ihrer skalierung
US8374183B2 (en) 2010-06-22 2013-02-12 Microsoft Corporation Distributed virtual network gateways
US8688994B2 (en) 2010-06-25 2014-04-01 Microsoft Corporation Federation among services for supporting virtual-network overlays
US8774213B2 (en) * 2011-03-30 2014-07-08 Amazon Technologies, Inc. Frameworks and interfaces for offload device-based packet processing
US20130034094A1 (en) 2011-08-05 2013-02-07 International Business Machines Corporation Virtual Switch Data Control In A Distributed Overlay Network
US8867403B2 (en) * 2011-08-18 2014-10-21 International Business Machines Corporation Virtual network overlays
US8908691B2 (en) * 2012-06-05 2014-12-09 International Business Machines Corporation Virtual ethernet port aggregation (VEPA)-enabled multi-tenant overlay network

Also Published As

Publication number Publication date
JP5946532B2 (ja) 2016-07-06
WO2013024377A1 (en) 2013-02-21
US20130044629A1 (en) 2013-02-21
US20130044631A1 (en) 2013-02-21
US8964600B2 (en) 2015-02-24
US9413554B2 (en) 2016-08-09
CN103748558B (zh) 2017-05-31
GB2511435B (en) 2019-10-23
JP2014526216A (ja) 2014-10-02
CN103748558A (zh) 2014-04-23
GB2511435A (en) 2014-09-03
GB201404580D0 (en) 2014-04-30
DE112012002998B4 (de) 2023-07-06
US20150131669A1 (en) 2015-05-14
US8867403B2 (en) 2014-10-21

Similar Documents

Publication Publication Date Title
DE112012002998T5 (de) Virtuelle Netzwerküberlagerungen
DE102015108145B4 (de) Lokale Dienstverkettung mit virtuellen Maschinen und virtualisierten Behältern in software-definierter Vernetzung
DE112008002550B4 (de) Verfahren und System für virtuelle Schnittstellenkommunikation
DE112014000415B4 (de) Quantisierte Überlastbenachrichtigung in einem virtuellen Netzwerksystem
DE112012001198B4 (de) Verfahren zum Bereitstellen ortsunabhängigen Anschlussspiegelns auf verteilten virtuellen Switches
DE112011103082B4 (de) Mehrere virtuelle Maschinen mit gemeinsamer Nutzung einer einzigen IP-Adresse
US20170192815A1 (en) Location-aware virtual service provisioning in a hybrid cloud environment
DE112012003336B4 (de) Optimiertes Cachespeichern von Umsetzungseinträgen für virtuelle Funktionen
DE112013004187B4 (de) Technologie für Netzwerk-Datenübertragung durch ein Computersystem unter Verwendung von mindestens zwei Datenübertragungsprotokollen
DE112008003966T5 (de) Selektives Um-Abbilden einer Netzwerktopologie
US20110299537A1 (en) Method and system of scaling a cloud computing network
DE202016107377U1 (de) Systeme zur Auslagerung von Netzwerkfunktionen über Paket-Trunking
DE112012004957B4 (de) Flexibles und skalierbares Enhanced-Transmission-Selection-Verfahren für Netzwerkstrukturen
DE112013004828T5 (de) Bereitstellen von Diensten für virtuellen Overlay-Netzwerkverkehr
DE112012002404B4 (de) Konfiguration und Management virtueller Netzwerke
DE112013000775T5 (de) Verbinden von Rechenzentren für die Migration von virtuellen Maschinen
DE102020201834A1 (de) Technologien für netzvorrichtungslastausgleichseinrichtungen für beschleunigte funktionen-als-dienst
DE112012003342T5 (de) Dynamisches Anpassen und Begrenzen der Größe des Netzwerkadapterspeichers zur Speicherung von Umsetzungseinträgen für virtuelle Funktionen
DE102014117460A1 (de) Programmierbares verteiltes Networking
DE112013001904T5 (de) Paketvermittlung auf der Ebene 2 ohne Nachschlagetabelle für Ethernet-Switches
US11916698B2 (en) Dynamic cellular connectivity between the hypervisors and virtual machines
DE112020002787T5 (de) Verbindungsschichtverfahren zum konfigurieren eines bare-metal-servers in einem virtuellen netzwerk
DE102018206835A1 (de) Flussbasierte Ratengrenze
DE102013210336B4 (de) Mechanismen für verteiltes Routing in einem virtuellen Switch, ermöglicht über eine auf TRILL beruhende Struktur
DE102022206442A1 (de) Speichereffiziente Implementierung von Downstream-VXLAN-Kennungen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: RICHARDT PATENTANWAELTE PART GMBB, DE

Representative=s name: RICHARDT PATENTANWAELTE PARTG MBB, DE

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R084 Declaration of willingness to licence