Smart Glasses: Der Assistent auf unserer Nase

00:00:04: Das ist Quantensprung.

00:00:06: Ein Podcast über Forschung, die bewegt.

00:00:18: Meine Kollegin Astrid hat einen Termin.

00:00:21: Sie geht eine Brille anprobieren.

00:00:27: Die Brille, die Astrid aufsetzt, ist schwarz recht kantig mit kräftigen Brillenrendern.

00:00:34: Ich find sie ziemlich schick!

00:00:38: Außerdem kriegt Astrid noch ein dunkelgraues Armband.

00:00:42: Das aussieht wie eine Armbanduhr ohne Ziffernblatt.

00:00:50: Marie Astrid Langer ist unsere Tech-Korrespondentin für die NCZ in den USA, sie lebt in San Francisco im Silicon Valley da wo die neusten und verrücktesten Technologieideen unserer Zeit herkommen Wie diese Brille Die Astrid gerade ausprobiert, die Meta-Display-Glasses.

00:01:12: Oh ja!

00:01:12: It's like a little...like I'm scrolling with my thumb.

00:01:16: Upcoming games, reminders….

00:01:19: Die Meta Display Glasses sind zum einen Spickzettel in deinem rechten Brillenglas.

00:01:23: Sie spielen dir Weganweisungen dort rein, zeigen dir das Video von jemanden der grade anruft oder blenden dir einfach Gesprächsnotizen ein, du dir auf normalerweise auf dem Zettel schreiben würdest?

00:01:35: Aber sie sind auch noch mehr, wie ein Musikspieler auf deinen Ohren ohne dass du Kopfhörer brauchst.

00:01:41: Sie sind ein Fotoapparat und Videokamera die du per Stimme steuern kannst.

00:01:46: Sie ist ein KI-Agent mit dem du plaudern kannst Und sie sind ein Simultarenübersetzer.

00:01:53: Diese Brillen von Meta sind die meistverkauften Smartglasses auf dem Markt.

00:01:58: In Europa kann man sie nicht kaufen Aber in der amerikanischen Tech-Szene sind solche intelligenten Brillen gerade das neue Ding.

00:02:06: Und die Firmen behaupten, bald schauen wir alle durch so eine Brille in die Welt!

00:02:13: Das ist Quantensprung

00:02:14: –

00:02:14: ein Podcast aus der Wissenschaftsredaktion der NZZ.

00:02:18: Jede Woche prüfen wir Ideen, die unser Leben verändern und wie Ausforschung Realität wird.

00:02:24: Heute sind smarte Brillen das Gadget der Zukunft?

00:02:28: Ich bin Anna Weber Willkommen.

00:02:53: Es war bei der Brille was echt so auf einschlag, dass ich mir dachte ach cool.

00:02:56: Ich habe irgendwie so direkt den Mehrwert gesehen dem ihr das bringen würde weil ich persönlich hasse es total dass man immer auf dieses Handy guckt Und das fand ich wirklich cool bei der Brille, dass man da reingucken konnte.

00:03:07: Und bald sollen die Brillen ja noch viel mehr können!

00:03:09: Das hat Astrid gelernt als sie die Teleprompterfunktion der Brilla getestet hat.

00:03:30: Eine persönliche Superintelligenz für jeden, direkt auf unserer Nase.

00:03:35: Das verspricht Meta CEO Mark Zuckerberg gerade bei jedem öffentlichen Auftritt.

00:03:41: Über die Brille soll eine künstliche Intelligenz sehen was wir sehen hören was wir hören und wissen was wir vielleicht grade nicht wissen zum Beispiel wie noch mal dieser Nachbar heißt der uns im Hausflur immer so überschwänglich begrüßt oder wie man sich auf einer Bühne nicht zum Deppen

00:04:01: macht.

00:04:08: Zuckerberg trägt auf Bühnen mittlerweile immer eine Brille und benutzt dabei höchstwahrscheinlich seinen Teleprompter, wie bei diesem Podiumsgespräch bei der Bezahlfirma Stripe.

00:04:21: Die Brille soll der ultimative digitale Helfer werden, der unser digitales Leben und die echte Welt miteinander verschmelzen lässt.

00:04:40: Statt ständig auf irgendwelche Bildschirme zu starren, könnte uns die Brille irgendwann hologramme direkt in die echte Welt setzen.

00:04:47: Und immer mehr Menschen interessieren sich dafür!

00:04:55: Der Verkäufer im Brillenladen San Francisco hat auch gemeint, dass die Nachfrage speziell nach diesen Display-Glasses also den mit eingebautem Bildschirm sehr groß sei.

00:05:06: Er hat das jetzt nicht quantifiziert aber er meinte, dass es viele Leute gäbe, die eben genau diese Übersetzungsfunktion gerne hätten.

00:05:13: Oder das fand ich auch interessant, dass er Kunden hat die Hörbehinderung haben und sich einfach wirklich die Bildunterschriften – also Captions nennt man das ja einblenden lassen.

00:05:24: zu dem was die andere Person gerade gesagt hat.

00:05:39: Manchmal beworben von Stars wie Kylie Jenner oder von Sportlernen und Hollywood-Regisseuren.

00:05:45: Meta ist zurzeit der Marktführer, aber auch Google will im Herbst eine Brille rausbringen – und Apple dann angeblich nächstes Jahr.

00:05:52: Smarte Brillen sind der Trend!

00:05:57: Für Mark Poliface ist das alles nur das neueste Kapitel in einer Geschichte die schon viele Jahre zurückgeht….

00:06:04: …und an der er fleißig mitgeschrieben hat.

00:06:06: Am Anfang, ich war interessiert in alles was mit Bildern zu machen.

00:06:11: Pauli Faes kommt aus Belgien.

00:06:12: Er ist Professor an der ETH Zürich und leitet gleichzeitig bei Microsoft die Forschung zur Mixed Reality.

00:06:20: Und das hat dann Anwendungen in autonomes Fahren, in Drones

00:06:25: usw.,

00:06:26: auch in Brillen...

00:06:28: Er beschäftigt sich also seit Jahren damit, wie man virtuelle Inhalte in die echte Welt bringen kann.

00:06:34: Und er hat mich im Podcaststudio besucht um genau zu erklären, wie Smart Classes das möglich machen?

00:06:46: Die erste Technologie, die es braucht ist ein Display in der Brille und das kann natürlich kein gewöhnliches Display sein!

00:06:53: Das Problem ist... Man muss beides die echten Welt sehen aber man muss dann auch die Hologrammen oder die virtuellen Elementen sehen.

00:07:03: Es braucht also einen Bildschirm, durch den man durchgucken kann.

00:07:07: Der Bildschirm in der Brille das ist ein sogenanntes Waveguide-Display.

00:07:12: Das musst du dir so vorstellen dass da so ein winzig kleiner Projektor in deinem Brillenbügel sitzt und der schickt über sogenannte Wellenleiter Licht in dein rechtes Brillenglas.

00:07:23: es ist auch immer das Rechte.

00:07:24: Du kannst das nicht konfigurieren Und im Glas selbst leiten dann halbtransparente Spiegelschichten Genau dorthin, wo du als Träger es siehst.

00:07:37: Und wo du das siehst?

00:07:38: Das ist eben interessant!

00:07:39: Denn du darfst nicht vergessen diese Brille sitzt ja nur ein bis zwei Zentimeter vor deinen Augen.

00:07:45: also wenn das Bild genau dorthinn projiziert werden würde müsstest du schielen oder ich meine du könntest im Endeffekt gar nichts erkennen.

00:07:53: Also muss das Licht so verändert werden, dass es für uns aussieht als wäre das Bild etwa ein Meter von uns entfernt.

00:08:00: Das ist so ein bequemer Abstand.

00:08:02: D.h.,

00:08:02: man muss es weiter wegprojektieren.

00:08:05: Optisch ist sehr kompliziert!

00:08:07: Und dann muss man die Brille auch noch steuern können – am besten ohne dabei wie ein Idiot auszusehen.

00:08:13: Das sind dann die mit Kameras die Finger sehen und so weiter.

00:08:16: aber dann muss relativ viel bewegen.

00:08:19: Das ist in vielen Kontexten nicht so interessant.

00:08:21: Dann sieht man auch ein bisschen bizarr aus, wenn man das mit den Handeln so rund bewegt, um einfach die Brille zu

00:08:28: kommunizieren.".

00:08:29: Wild mit den Händen rumfuchteln ist irgendwie blöd – aber jedes Mal hey Metta.

00:08:34: sagen zu müssen?

00:08:35: Um irgendwas anzuklicken?

00:08:36: Auch peinlich!

00:08:38: Aber bei den neuesten Brillen hat Metta jetzt eine ziemlich gute Lösung gefunden….

00:08:42: Also das wirklich Interessante bei diesen Display Glaces ist, dass du die nicht nur mit der Stimme steuern kannst sondern eben auch mit Handbewegungen und das ist ziemlich futuristisch aner.

00:08:53: Du musst dir es so vorstellen, du kriegst so ein Armband angezogen.

00:08:56: Das sieht aus wie so'n Fitness Tracker Ist relativ eng an deiner dominanten Hand.

00:09:00: Bei mir ist das rechts Und dieses Band, das ist aber wirklich High-Tech.

00:09:05: Denn das nutzt Elektromyografie – EMG wird aus abgekürzten Fachkreisen und das ist eine Methode mit der man die elektrische Aktivität deiner Muskeln messen kann.

00:09:17: also musst dir vorstellen wenn du deine Finger bewegst auch nur ganz kleine Bewegungen dann sendet dein Gehirn elektrischer Signale an die Muskeln im Unterarm.

00:09:26: Du bekommst davor natürlich nichts mit Aber das Meta-Band misst diese Signale an der Haut und das übersetzt ihr dann in Befehle.

00:09:35: Dank diesem Band kann man die Brille mit winzigen Handbewegungen steuern.

00:09:39: Wenn du zum Beispiel in diesem Menü, dass du da in deinem rechten Brillenglas siehst was auswählen willst Dann tippst du deinen Zeigefinger und deinen Daumen zusammen.

00:09:48: Das ist so wie der rechte Mausklick bei einer haptischen Maus wenn Du zurückgehen willst machst die gleiche Bewegung aber mit dem Mittelfinger.

00:09:55: Und ich gebe dir noch ein Beispiel, das find' ich ziemlich cool.

00:09:58: Wenn du dir jetzt mal vorstellst, du hast so einen Lautstärke-Regler vor dir und willst an dem drehen, dann machst Du mit den Fingern genau diese Bewegung nur dass es gar kein Lautstärkerknopf gibt!

00:10:10: Das wird dann quasi lautstärke lauter oder leise oder Bildschirmhelligkeit hoch und runter

00:10:16: Und alles, was die Brille braucht um das möglich zu machen muss jetzt auch noch in Miniatur gebaut werden.

00:10:22: Die Kameras, Mikrofone der Projektor Rechenships und natürlich eine Batterie – alles so klein und leicht dass es in einer Brille passt!

00:10:30: Für mich klingt es nach einer ziemlichen Herausforderung aber Mark Poleface ist da gar nicht so beeindruckt.

00:10:36: Die Komponenten bestehen so.

00:10:37: man kann das zusammenbauen.

00:10:39: mit vielen kleinen Teams kann man das selbst bauen.

00:10:41: Das ist nicht mehr so schwierig.

00:10:44: Er glaubt sogar, dass jetzt immer mehr kleinere Firmen die Technologie weiterentwickeln werden.

00:10:49: Ich bin sehr gespannt um zu sehen was alles kommt.

00:10:59: Technisch steht den smarten Brillen also vielleicht gar nicht mehr so viel im Weg.

00:11:03: aber damit sich die Brille durchsetzt muss die Technologie akzeptiert werden und dafür müssen es die Hersteller heute schlauer anstellen als Google vor drei zehn Jahren.

00:11:15: Die sah aus wie aus einem Star Trek Film in Sprungen.

00:11:25: Das war die erste Brille mit eingebauter Kamera und so futuristisch und modern das Klinge mochte, die Gesellschaft war einfach nicht bereit dafür.

00:11:36: Also die Idee dass man überall gefilmt werden könnte hat für enorme Empörung in der Gesellschaft

00:11:43: gesorgt.".

00:11:47: Und auch die Meta-Glasses werden heftig kritisiert, teilweise sogar verboten in Gerichtssälen oder Fitnessstudios und Schulen.

00:11:55: Aber die Brillen einfach im öffentlichen Raum überall zu verbieten – das bringt uns ja nicht weiter!

00:12:01: Deshalb arbeiten Forscher wie Polyphase daran, wie man es besser machen könnte.

00:12:05: Wenn jemand mit einem Brille mit Kameras rundläuft, dann muss man irgendwo Vertrauen haben, dass es richtig gemacht wird.

00:12:13: Und man kann es richtig machen….

00:12:16: Wir sind gleich zurück.

00:12:22: Liebe Hörerinnen und Hörern, ich bin Lena Waldle, Host des Quantensprung-Podcasts – und ich lade Sie ein mit mir für ein Abenteuer zu kommen!

00:12:30: Vor achtzig Jahren verirrt sich ein amerikanisches Militärflugzeug und crashed auf einem Gletscher.

00:12:35: Für die Crewen der Passagiere beginnt ein Wettlauf gegen die Zeit.

00:12:39: Gemeinsam mit den Luftfördjournalisten Andreas Spät und Jürgen Schelling begleiten wir eine spektakuläre Rettungsaktion, Und wir finden heraus, welche Innovationen in Zukunft so ein Meilenstein sein werden wie damals die Gletscherrettung in den Berne Alpen.

00:12:57: Seien Sie mit dabei!

00:12:58: Am sechsohnzwanzigsten Oktober findet der nächste Quantensprung Live-Podcast im Kaufleuten in Zürich statt.

00:13:04: Tickets und all Infos finden sie in der Folgenbeschreibung.

00:13:24: Also da gibt's auch schon heutzutage Brillen ohne Kameras drin, zum Beispiel von Even Realities oder vom chinesischen X-Real.

00:13:32: Die hab ich auch mal getestet.

00:13:34: Da musst du dir vorstellen das sind eben vor allen Dingen Arbeitsinstrumente.

00:13:37: also die sind dann entweder wie ein diskreter Assistent, der dir eben Fragen zuruft oder Informationen einblende, die du vielleicht sonst vergessen würdest oder die sind eben auch wie ein externer Monitor.

00:13:50: Aber zugegeben ganz ohne Kameras kann die Brille natürlich weniger, also zweiter Lösungsansatz.

00:13:57: Die Brille hat zwar Kameras aber man kann nicht einfach auf die Bilder zugreifen.

00:14:02: um diesen Creep Faktor Um den auszuschalten wäre es natürlich auch denkbar, dass es eine Brille gibt die zwar die Umgebung aufzeichnet.

00:14:11: Also Metta hat da zum Beispiel auch Patente für ne Funktion das in ganz eng getakteten Abständen dauern Fotos gemacht werden aber dass diese Fotos dann gar nicht mir als Brillendräger zur Verfügung stehen sondern nur dem KI-Agenten.

00:14:26: Der KI-Agent kann mir dann trotzdem sagen wo ich meine Schlüssel verlegt habe Aber die Bilder Bleiben für immer auf der Brille und landen nicht im Internet oder auf meinem Computer.

00:14:36: Das bedeutet aber, alle Auswertungen der Bilder müssen direkt auf die Brille gerechnet werden.

00:14:42: Mark Polleface nennt das Privacy by Design.

00:14:45: Es ist viel komplizierte, viel mehr Engineering usw.

00:14:48: Und vielmehr beschränkt was man dann machen kann.

00:14:51: Aber dann kann man Privacy haben.

00:14:52: Noch gibt es keine Brillen auf dem Markt, die das so machen Aber Apple hat vor kurzem bekannt gegeben, dass sie bei Tonaufnahmen schon genau so ein System entwickelt haben.

00:15:02: Sie tüfteln also an Brillen die die Privatsphäre unbeteiligter Dritter schützen.

00:15:06: Wenn sie das schaffen könnte es der Technologie einen richtigen Durchbruch verschaffen – auch in Europa!

00:15:12: Und die nächste Generation von Brillen kann dann vielleicht nicht nur ein zweidimensionales Bild anzeigen sondern mir Dinge sogar dreidimensional in die Welt projizieren mit Hologrammen.

00:15:29: Ein Hologramm, das ist ein durch Interferenz also durch Überlagerung von Lichtwellen erzeugtes Bild.

00:15:36: Konkret kann es zum Beispiel jedes drei D-Objekt sein, dass ich im Raum sehe, dass du aber nicht siehst weil's in Wirklichkeit es nämlich gar nicht gibt, weil es mir eben nur in meine Brille projiziert wird durch diese Interferenzen.

00:15:48: Genau solche Holograme sind das eigentliche Hauptforschungsgebiet von Polyphase.

00:15:53: Er hat bei Microsoft die HoloLens entwickelt eine Brille, die uns Holograrme sehen lässt.

00:15:59: Die HoloLens ist ziemlich groß und klobig, eher wie eine klassische Virtual Reality-Brille.

00:16:05: Und Microsoft hat ihre Entwicklung mittlerweile eingestellt – aber das Prinzip, wie man hologramme schafft kann Polyface an ihr gut erklären!

00:16:13: So wenn ich dem Eindruck geben will dass etwas in die Welt

00:16:17: ist

00:16:18: dann muss sich exakt und sehr schnell wissen wie ich bewege?

00:16:23: Wie mein Kopf bewegt so wie mein Perspektiv wechselt.

00:16:28: Wenn meine Brille eine virtuelle Blumenvase direkt vor mir einblendet und ich dann leicht meinen Kopf nach links drehe, dann muss die Brille die Vase jetzt an einer anderen Stelle anzeigen.

00:16:38: Damit es für mich so aussieht als wäre sie immer noch am gleichen Ort Und dafür muss in der Brille so einiges passieren.

00:16:46: Erstens muss die Kamera aufnehmen wie sich meine Perspektive verändert hat.

00:16:51: Dann zweitens bekommt sie Input von Beschleunigungssensoren und diese beiden Infos muss die Brille dann verrechnen, um überhaupt zu wissen wie ich meinen Kopf bewegt habe.

00:17:01: Und aus diesen Informationen wenn Sie dann weiß wohin ich gerade jetzt schaue, muss sie dann ein neues Bild erstellen und dieses dann ins Display projizieren.

00:17:11: Und all das muss in zehn Millisekunden passieren!

00:17:15: Das muss so schnell berechnet werden dass nicht sehe, das ist alles ein bisschen zu spät.

00:17:23: So dass es so eine Lage hat, sodass er ein bisschen too spät ist.

00:17:27: und zehn Millisekunden also eben Null Komma Null Eine Sekunde.

00:17:31: ich habe mal nachgeschaut wie man das veranschaulichen kann Wie kurz das eigentlich ist?

00:17:35: Eine Stubenfliege schlägt in zehn Millissekunden zweimal mit den Flügeln.

00:17:40: Es ist wirklich nicht viel Zeit.

00:17:42: Und all das dieser enorm kurzen Zeitspanne möglich zu machen Das ist eigentlich unmöglich.

00:17:48: Also musst du ja auch nochmal überlegen, eine normale Videokamera nimmt nur alle drei dreißig Millisekunden überhaupt ein Bild auf!

00:17:56: Aber wenn man das eben nicht machen würde in zehn Milliseken dieses neue Bild in dein Displayglas projizieren dann würdet ihr das auffallen?

00:18:03: Dann würde dein Gehirn dir irgendwie signalisieren dass was gerade nicht stimmt.

00:18:07: Eigentlich ist es unmöglich.

00:18:09: aber

00:18:10: Forscher haben da eine schlaue Lösung gefunden

00:18:12: Was man bei Hollensdut und bei viele von dieser Systeme die heutige Position berechnen.

00:18:19: Aber man messt die Bewegung, die ganze Bewegung und man projiziert das auch in die

00:18:24: Zukunft.".

00:18:25: Sie berechnend vorab wie ich mich vermutlich bewegen werde und berechnet schon mal vorsorglich genau das Bild dass sie dann ein paar Millisekunden vermutlich brauchen werden.

00:18:38: Und dieses Bild korrigieren Sie dann nur noch um die wenigen Daten hinzu, wie ich mich tatsächlich bewegt habe.

00:18:43: Also sie machen quasi eine Voraussage über meine Bewegung und sind mir damit ein Schritt

00:18:48: voraus.".

00:18:49: Das funktioniert bei der HoloLens schon ziemlich gut – aber geht das wirklich auch in klein und leicht?

00:19:11: Die Technologie für Hologramme in Brillenformat, die gibt es also bei Meta schon.

00:19:15: Sie ist bisher nur viel zu teuer um sie auf den Markt zu

00:19:18: bringen.".

00:19:30: Noch sind die smarten Brillen eher ein Nischenprodukt – aber sie haben das Potenzial eine ganz neue Form von Technologie in unseren Alltag zu bringen und unsere Realität zu erweitern.

00:19:41: Augmented Reality eben.

00:19:43: Augmental Reality lasst zu, eigentlich ein Mensch die richtige Information am richtigen Moment visuell zu kommunizieren

00:19:51: Und das womöglich schon ziemlich bald.

00:19:54: Also ganz ehrlich ich schreibe jetzt ja schon seit einigen Jahren über Virtual Reality Brillen und KI-Brillen und Ich finde es wirklich Wahnsinn wie schnell die besser billiger und kleiner geworden sind.

00:20:08: Und jetzt dank KI werden die auch noch verdammt viel klüger, aber ein Problem bleibt danach wie vor fehlt noch der bestechende Use Case warum ich sie tragen muss.

00:20:18: Aber Ich bin wirklich überzeugt dass der Moment kommen wird an denen wir alle nicht mehr einfach nur eine Brille oder eine Sonnenbrille tragen, die nichts weiter ist als das sondern in dem die Erwartungshaltung ist, dass diese Sonnenbrille mehr kann indem sie wirklich smart ist.

00:20:37: In dem die mit uns redet und Zusatzinformationen zeigt.

00:20:40: aber ob das jetzt in fünf Jahren der Fall ist oder in zehn Jahren?

00:20:44: Das ist wirklich enorm schwer zu sagen!

00:20:47: Und da habe ich auch nochmal an diesen einen Witz gedacht den es unter Virtual Reality Forschern gibt nämlich dass der große Durchbruch von virtual reality nur noch fünf Jahre entfernt ist sagen sie jetzt leider schon seit drei Jahrzehnten.

00:21:00: Und das erinnern mir auch Leute, die schon seit Jahrzehnten in dem Bereich arbeiten, erinnere mich auch immer wieder daran dass sie sagen hey wir dachten schon so häufig jetzt kommt ja Massenmarkt Durchbruch und der kam nicht.

00:21:12: aber eben auch diese sind jetzt voller Hoffnung weil Google wird jetzt eine Brille rausbringen Apple wahrscheinlich nächstes Jahr auch und ich bin überzeugt dann kann sich wirklich was bewegen in dem Segment.

00:21:27: Wenn ihr noch mehr über die smarten Brillen wissen wollt, dann habe ich euch im Newsletter noch einen Artikel verlinkt.

00:21:33: Darin hat meine Kollegin Astrid verschiedene Brillen miteinander verglichen!

00:21:37: Den Link zur Anmeldung findet ihr in den Show-Notes.

00:21:40: Das war Quantensprung – ein Podcast über Forschungen, die bewegt.

00:21:44: Ich bin Anna Weber Wir hören uns.