Erweiterter Schnitt: NVIDIA erweitert Maxine für Videobearbeitung und präsentiert Forschung zu virtuellen 3D-Konferenzen

Profis, Teams, Entwickler und andere können die Leistungsfähigkeit der KI nutzen, um mithilfe von NVIDIA Maxine hochwertige Audio- und Videoeffekte zu erstellen – sogar mit Standardmikrofonen und Webcams.

Mit der Suite aus GPU-beschleunigten Softwareentwicklungskits und Cloud-nativen Mikrodiensten können Benutzer KI-Funktionen bereitstellen, die Audio-, Video- und Augmented-Reality-Effekte für Echtzeit-Kommunikationsdienste und -plattformen verbessern. Maxine wird außerdem die Funktionen für die Videobearbeitung erweitern, sodass Teams neue Höhen in der Videokommunikation erreichen können.

Darüber hinaus zeigt eine NVIDIA Research-Demo auf der SIGGRAPH-Konferenz dieser Woche, wie KI Videokonferenzen mit 3D-Funktionen auf die nächste Stufe heben kann.

Durch die drahtlose Konnektivität können Menschen von mehr Standorten als je zuvor an virtuellen Meetings teilnehmen. Typischerweise wird die Audio- und Videoqualität stark beeinträchtigt, wenn ein Anrufer unterwegs oder an einem Ort mit schlechter Konnektivität ist.

Erweiterte Maxine-Funktionen in Echtzeit – wie Hintergrundgeräuschunterdrückung, Superauflösung und Augenkontakt – ermöglichen es Remote-Benutzern, die zwischenmenschliche Kommunikationserfahrung zu verbessern.

Darüber hinaus kann Maxine jetzt auch für die Videobearbeitung verwendet werden. NVIDIA-Partner transformieren diesen professionellen Workflow mit denselben Maxine-Funktionen, die Videokonferenzen verbessern. Das Ziel bei der Bearbeitung eines Videos, sei es ein Verkaufsgespräch oder ein Webinar, besteht darin, ein möglichst breites Publikum anzusprechen. Mit Maxine können Profis KI-Funktionen nutzen, die Audio- und Videosignale verbessern.

Mit Maxine kann ein Sprecher den Blick vom Bildschirm abwenden und auf Notizen oder ein Skript verweisen, während sein Blick so bleibt, als würde er direkt in die Kamera blicken. Nutzer können Videos auch in niedriger Auflösung filmen und die Qualität später verbessern. Außerdem können Benutzer mit Maxine Videos in mehreren verschiedenen Sprachen aufnehmen und das Video auf Englisch exportieren.

Zu den Maxine-Funktionen, die dieses Jahr im Early Access veröffentlicht werden, gehören:

Maxine kann in der Cloud, vor Ort oder am Edge bereitgestellt werden, sodass hochwertige Kommunikation von fast überall aus zugänglich ist.

Viele Partner und Kunden erleben mit Maxine hochwertige Videokonferenzen und -bearbeitung. Zwei Funktionen von Maxine – Augenkontakt und Live-Porträt – sind jetzt in Produktionsversionen auf der NVIDIA AI Enterprise-Softwareplattform verfügbar. Augenkontakt simuliert direkten Augenkontakt mit der Kamera, indem der Blick des Benutzers geschätzt und auf die Kamera ausgerichtet wird. Und Live Portrait animiert das Porträtfoto einer Person über deren Live-Video-Feed.

Das Softwareunternehmen Descript möchte Videos neben Dokumenten und Folien zu einem festen Bestandteil des Werkzeugkastens jedes Kommunikators machen. Mit NVIDIA Maxine können Profis und Einsteiger, die Descript verwenden, auf KI-Funktionen zugreifen, die ihre Arbeitsabläufe bei Videoinhalten verbessern.

„Mit der NVIDIA Maxine Eye Contact-Funktion müssen sich Benutzer keine Gedanken mehr über das Auswendiglernen von Skripten oder mühsame Videowiederholungen machen“, sagte Jay LeBoeuf, Leiter für Geschäfts- und Unternehmensentwicklung bei Descript. „Sie können eine perfekte Bildschirmpräsenz aufrechterhalten und gleichzeitig ihr Drehbuch jedes Mal auf den Punkt bringen.“

Die Camo-App von Reincubate zielt darauf ab, den Zugang zu großartigen Videos zu erweitern, indem sie die Hardware und Geräte nutzt, die die Menschen bereits besitzen. Dies wird dadurch erreicht, dass Benutzer mehr Kontrolle über ihr Bild haben und eine leistungsstarke, effiziente Verarbeitungspipeline für Videoeffekte und -transformationen implementiert wird. Mithilfe der von NVIDIA Maxine unterstützten Technologien kann Camo Benutzern eine einfachere Möglichkeit bieten, unglaubliche Videoerstellung zu erzielen.

„Die Integration von NVIDIA Maxine in Camo hätte nicht einfacher sein können und ermöglicht es uns, sofort eine hohe Leistung aus den RTX-GPUs der Benutzer herauszuholen“, sagte Aidan Fitzpatrick, Gründer und CEO von Reincubate. „Mit Maxine konnte das Team schneller und selbstbewusster agieren.“

Cre8 von Quicklink ist eine leistungsstarke Videoproduktionsplattform für die Erstellung professioneller, markengerechter Produktionen sowie virtueller und hybrider Live-Events. Die benutzerfreundliche Oberfläche kombiniert ein intuitives Design mit allen Tools, die zum Erstellen, Bearbeiten und Anpassen einer professionell aussehenden Produktion erforderlich sind. Cre8 ist mit der NVIDIA Maxine-Technologie ausgestattet, um die Produktivität und Qualität von Videoproduktionen zu maximieren und dem Bediener vollständige Kontrolle zu bieten.

„Quicklink Cre8 bietet jetzt die fortschrittlichste Videoproduktionsplattform der Welt“, sagte Richard Rees, CEO von Quicklink. „Mit NVIDIA Maxine konnten wir erweiterte Funktionen hinzufügen, darunter Auto Framing, Video-Rauschunterdrückung, Rausch- und Echounterdrückung sowie Augenkontaktsimulation.“

Das in Los Angeles ansässige Unternehmen gemelo.ai bietet eine Plattform zur Erstellung von KI-Zwillingen, die die Stimme, Inhalte und Interaktionen eines Benutzers skalieren können. Mithilfe der Live-Portrait-Funktion von Maxine kann das Team von gemelo.ai neue Möglichkeiten für skalierte, personalisierte Inhalte und Einzelinteraktionen erschließen.

„Der Realismus von Live Portrait hat das Spiel verändert und neue Potenziale für unsere KI-Zwillinge eröffnet“, sagte Paul Jaski, CEO von gemelo.ai. „Unsere Kunden können jetzt unglaublich realistische digitale Zwillinge entwerfen und bereitstellen, mit den Superkräften der unbegrenzten Skalierbarkeit bei der Inhaltsproduktion und Interaktion über Apps, Websites und Mixed-Reality-Erlebnisse hinweg.“

NVIDIA AI unterstützt nicht nur die erweiterten Funktionen von Maxine, sondern verbessert auch die Videokommunikation mit 3D. NVIDIA Research hat kürzlich einen Artikel veröffentlicht, der zeigt, wie KI ein 3D-Videokonferenzsystem mit minimaler Aufnahmeausrüstung betreiben kann.

3D-Telepräsenzsysteme sind in der Regel teuer, erfordern einen großen Raum oder ein großes Produktionsstudio und nutzen volumetrisches Videostreaming mit hoher Bandbreite – was die Zugänglichkeit der Technologie einschränkt. NVIDIA Research hat eine neue Methode vorgestellt, die auf einem neuartigen VisionTransformer-basierten Encoder läuft, der 2D-Videoeingaben von einer Standard-Webcam aufnimmt und in eine 3D-Videodarstellung umwandelt. Anstatt zu erfordern, dass 3D-Daten zwischen den Teilnehmern einer Konferenz hin- und hergereicht werden, ermöglicht KI, dass die Bandbreitenanforderungen für den Anruf dieselben bleiben wie für eine 2D-Konferenz.

Die Technologie nimmt das 2D-Video eines Benutzers auf und erstellt mithilfe volumetrischer Darstellung automatisch eine 3D-Darstellung, ein sogenanntes Neural Radiance Field (NeRF). Dadurch können Teilnehmer wie bei herkömmlichen Videokonferenzen 2D-Videos streamen und gleichzeitig hochwertige 3D-Darstellungen dekodieren, die in Echtzeit gerendert werden können. Und mit Maxines Live Portrait können Benutzer ihre Porträts in 3D zum Leben erwecken.

KI-vermittelte 3D-Videokonferenzen könnten die Kosten für die 3D-Erfassung erheblich senken, eine hochauflösende 3D-Darstellung bieten, fotorealistische oder stilisierte Avatare ermöglichen und gegenseitigen Blickkontakt bei Videokonferenzen ermöglichen. Verwandte Forschungsprojekte zeigen, wie KI dazu beitragen kann, die Kommunikation und virtuelle Interaktion zu verbessern und zukünftige NVIDIA-Technologien für Videokonferenzen zu beeinflussen.

Sehen Sie sich das System unten in Aktion an. SIGGRAPH-Besucher können den Stand von Emerging Technologies besuchen, wo Gruppen gleichzeitig die Live-Demo auf einem 3D-Display sehen können, das vom New Yorker Unternehmen Looking Glass entworfen wurde.

Erfahren Sie mehr über NVIDIA Maxine, das jetzt auf NVIDIA AI Enterprise verfügbar ist.

Und erfahren Sie mehr über die Forschung hinter dem 3D-Videokonferenzprojekt.

Ausgewähltes Bild mit freundlicher Genehmigung von NVIDIA Research.

NVIDIA macht Extended-Reality-Streaming skalierbarer und anpassbarer für Unternehmen und Entwickler

DENZA arbeitet mit WPP zusammen, um fortschrittliche Fahrzeugkonfiguratoren in der NVIDIA Omniverse Cloud zu entwickeln und bereitzustellen

NVIDIA H100 Tensor Core GPU wird in der neuen Microsoft Azure Virtual Machine-Serie verwendet und ist jetzt allgemein verfügbar

Jensen Huang, CEO von NVIDIA, kehrt zu SIGGRAPH zurück

Lernen Sie den Hersteller kennen: Entwickler nutzt NVIDIA Jetson als treibende Kraft hinter dem KI-gestützten Pit Droid