What could a Virtual Reality System be like in the future? Forget cumbersome hi-tech specs and imagine a film made with two high-resolution cameras wired straight to your brain, creating a vivid optical 3D illusion. Add a soundtrack from cutting-edge microphones to simulate audio surroundings. To complete the show, other electric signals provide sensations of smell, taste, and touch. Fancy a test-run?

No problem. Thankfully, you are already the proud owner of this very system – it came free with your head. Just pay attention to your surroundings for a second to experience the quality of the simulation. Convincing, isn’t it? Welcome to (near) Perfect Virtual Reality, courtesy of YourBrain Studios Inc.!

To enhance the experience of your state-of-the-art headset, please pour over the instruction manual’s small print below.

From Matteo Farinella and Hana Ros’  “Neurocomic”

What’s really out there?

Take a moment to consider what you “see” right now. The wide-screen projection you take for granted as the outside world is nothing more than a film inside your head. It is your brain’s interpretation of electrical signals received from so called photoreceptor cells in your eyes, enlivened by a soundtrack made from impulses from your ears. Our immersive reality experience only comes to live thanks to YourBrain Studios Inc.

Don’t get me wrong – I’m not proposing that our brains exist in vats, wired up to a virtual reality show a la Matrix. But, when it boils down to it, our conscious experience is not that different. Our brains have no direct contact whatsoever with reality out there. It simply builds its model of the outside world, based on electric signals fed by our senses.

What we perceive as our colourful bustling reality is in fact a real-time simulation running inside our brains – in utter darkness. It is a show based on reality – and one that we generally mistake for reality itself. But it doesn’t take long to start doubting that our perceptions are the same as what’s really out there.

Is my red the same as your red?

Colours is a good place to start. What you would describe as “red” is simply how the brain conjures up the perception of light with a wavelength of around 700 nanometres – it’s an illusion. It’s impossible to say what red really looks like. In fact, the question doesn’t even make sense because colour as we know it only appears in the eye – or rather, the brain – of the beholder. “Red” as we experience it doesn’t happen “out there”, it is only in our brain.

“Colour doesn’t occur in the world, but in the mind,” writes poet Diane Ackerman. “If no human eye is around to view it, is an apple really red? The answer is no, not red in the way we mean red…We think of our eyes as wise seers, but all the eye does is gather light.”

“Seeing, as we think of it, doesn’t happen in the eyes but in the brain. In one way, to see flamboyantly, in detail, we don’t need the eyes at all. We often remember scenes from days or even years earlier, viewing them in our mind’s eye, and can even picture completely imaginary events, if we wish. We see in surprising detail when we dream.”

Our eyes use a chemical reaction to register only the amount of “red”, “green”, and “blue” entering them. The photoreceptors send this information, like morse code, along nerve cells to the brain. Not unlike a television, the brain mixes only these three colours to compose the entirety of our rich visual experience.

But it is impossible to tell whether the experience of seeing red is the same for us all. Do you see my red? Surely, we can agree that red is the colour of blood and the traffic light’s stop signal. But that doesn’t mean that your red is the same as mine – it may well differ. The fact is, you will never know what it’s like to see that apple through my eyes – or anyone else’s. This fact might help explain some of the world’s more curious taste aberrations.

The doors of perception

For all its technical wizardry, our inbuilt virtual reality headset has plenty of glitches.

First, it can only display a tiny slice of the world, ignoring the bigger picture. It’s as if an orchestra is blasting out a symphony but we only hear the string section, blissfully unaware of brass, woodwind or percussion. Note to self: Our mindset limits us to a fairly shallow perception of reality – even if the strings sound great.

This is because of our hardware: Our eyes can only perceive a tiny fraction of all the “light” that’s out there. What we usually call “light” is only a tiny part of all the electromagnetic radiation nature has on offer. What we see are the wavelengths squeezed between infrared and ultraviolet, a humble slice of a spectrum ranging from radio waves to gamma rays.

But what on earth would the world look like if we could perceive different types of light? Let’s zoom in on the night sky as an example.

The following pictures all show our Milky Way coloured to represent types of light we cannot see, such as microwave and x-ray radiation. The photo on the right, second from the bottom, is what it looks like to us.

Of course, the frequency range of light we can see is not coincidental. Rather, it is the result of evolution making sure we can see the main light emitted by our world’s most important lamp, the Sun. And our visual toolset serves us well, mostly, at least during daylight. “Darkness” is simply our word for the absence of a narrow range of light frequencies. But a quick comparison with other members of the animal kingdom holds a mirror to our limits. Some snakes can see infrared, which means they can “see” the warmth of their prey’s bodies in darkness during night hunts. Many insects and birds, on the other hand, can see ultraviolet light. In many bird species, the feathers of males and females look different in ultraviolet, but our eyes can’t distinguish the two.

The same limits apply to the rest of our senses. The soundtrack to our internal cinema is just how the brain presents certain air vibrations picked up by your ears. Bats find their way with ultrasound, which we can’t hear. It’s well possible that bats “see” with their ears, but we simply can’t tell, since it’s impossible to know what it’s like to be a bat.

Similarly, the taste of sugar and the smell of roses are the brain’s reaction to some molecules that our tongues or noses are equipped to detect – for many others, we lack the receptors. There are countless “sights”, “sounds”, “smells”, and “tastes” out there which we can’t register because our senses aren’t up to the job.

And that’s not all – there are entirely different sets of signals available that some animals can use. Birds navigate by perceiving the earth’s magnetic field, and sharks detect tiny electric impulses in their prey’s body, for example.

So, hard to imagine though it is, the film in our heads is just one of an infinite number of ways to represent the reality around us. Our Virtual Reality System can only register a tiny fraction of the signals it’s exposed to.

And that’s before it starts its heavy editing.

The Final Cut

We should rid ourselves of the illusion that our Virtual Reality System presents its tiny slice of reality in any sort of objective or reliable way. Neuroscientist Michael O’Shea, underscores this point, saying that sensory information flowing into the brain fuels our perceptions, but it is just one contributing factor: “It is possible to perceive what is not sensed, not to perceive what is sensed, and to construct more than one perception from the same sensations…perceptions are the brain’s educated guesses about what the combined senses are telling it.”

So our brain constantly filters, interprets and contorts reality, to make it more convincing, make more sense of it, and to shelter us from what otherwise be a total information overload. If you still doubt that we experience a heavily edited version of reality, try out these mind-boggling optical illusions.

If you look very closely, it’s only the orange stripes that change.

And, most mind boggling of all, treat yourself to the following test, which only takes a minute and a half. But you must really concentrate on counting the passes to make it worthwhile. Around half of all people get it totally wrong. Ready? Go!

How did you do?

“How the brain might achieve such a feat of image manipulation is beyond our current understanding…the gorilla was in effect airbrushed out of the visual perception,” writes O’ Shea.

Artificial Virtual Reality – coming soon to a shop near you

Major IT giants like Google, Facebook, Sony, Microsoft and Samsung are pouring huge sums into developing Virtual Reality headsets – the technology is poised to go mainstream. Philosopher Thomas Metzinger believes this will have the profound effect that people will “gradually acquire a new and intuitive understanding of what their very own conscious experience really is and what it always has been…conscious experience exactly is a virtual model of the world, a dynamic internal simulation, which in standard situations cannot be experienced as a virtual model because it is phenomenally transparent—we ‘look through it’ as if we were in direct and immediate contact with reality.”

According to Ackerman, “one of the most profound paradoxes of being human is that the thick spread of sensation we relish isn’t perceived directly by the brain. The brain is silent, the brain is dark, the brain tastes nothing, the brain hears nothing. All it receives are electrical impulses — not the sumptuous chocolate melting sweetly, not the oboe solo like the flight of a bird, not the tingling caress, not the pastels of peach and lavender at sunset over a coral reef — just impulses. The brain is blind, deaf, dumb, unfeeling…reality is an agreed-upon fiction.”

Enough said – YourBrain Studios Inc. hopes you continue to enjoy your Perfect Virtual Reality System.

Bibliography:

Diane Ackerman (1990): “A Natural History of the Senses”

Matteo Farinella, Hana Ros (2013): “Neurocomic”

Thomas Metzinger (2016): “Virtual Reality Goes Mainstream: A Complex Convolution”

Thomas Nagel (1974): “What is it like to be a bat?”

Michael O’Shea (2005) “The Brain: A very short introduction”

Herzlich willkommen in der (fast) perfekten Virtual Reality Show!

Wie könnte ein Virtual Reality System in der Zukunft aussehen? Vergiss klobige “Hi-Tech” Brillen. Stell dir stattdessen vor, ein mit hochauflösenden Kameras aufgenommener Film könnte per Kabel direkt in dein Gehirn eingespeist werden, um dort eine lebhafte 3D Illusion zu erzeugen. Ein mit Top-Mikrofonen aufgenommener Soundtrack simuliert die Umgebungsgeräusche. Weitere elektrische Signale für die Wahrnehmung von Geruch, Geschmack und Tastsinn vervollständigen die Show. Lust auf eine Kostprobe?

Kein Problem. Zum Glück bist du ja bereits der stolze Besitzer genau dieses Systems – es war gratis bei deinem Kopf dabei. Du brauchst dich nur kurz auf deine Umgebung zu konzentrieren, um die Leistungsfähigkeit des Simulators zu erleben. Ganz schön überzeugend, oder? Herzlich willkommen in der (fast) perfekten Virtual Reality Show, mit freundlicher Genehmigung von YourBrain Filmstudios Inc.!

Um das Erlebnis deines eingebauten High-End-Headsets weiter zu steigern, ist es jetzt an der Zeit, endlich einmal den Beipackzettel zu lesen.

Aus Matteo Farinella und Hana Ros’ “Neurocomic”

Was ist da draußen wirklich? 

Mache dir einen Moment bewusst, was du gerade “siehst”. Die Großleinwand-Projektion, die du für die Welt da draußen hältst, ist nichts weiter als Kopfkino. Dein Gehirn interpretiert Signale von den sogenannten Fotorezeptor-Zellen in deinen Augen sowie Impulse von den Ohren – und komponiert daraus einen Film samt Soundtrack. Unsere eindringliche Erfahrung der Realität ist ein täuschend echtes Qualitätsprodukt von YourBrain Filmstudios Inc.

Versteh mich nicht falsch – ich behaupte keineswegs, dass dein Gehirn in Wirklichkeit in einem Gefäß lagert und mit einer Virtual Reality Show a la Matrix verkabelt ist. Aber wenn man etwas darüber nachdenkt, ist die Realität gar nicht so weit davon entfernt. Dein Gehirn hat keinerlei direkten Kontakt mit der Realität da draußen. Stattdessen wird es von unseren Sinnesorganen mit elektrischen Impulsen gefüttert und kreiert daraus ein internes Modell der Umgebung.

Was wir für die kunterbunte und lebhafte Realität halten, ist lediglich eine Simulation, die unser Gehirn in Echtzeit abspielt – in völliger Dunkelheit. Diese Show basiert zwar auf Signalen aus der Realität, aber wir sollten sie nicht mit ihr verwechseln. Denn unser Erlebnis ist in keinster Weise das gleiche wie die Wirklichkeit da draußen.

Sieht mein Rot genauso wie dein Rot aus? 

Farben sind ein hervorragendes Beispiel. Was wir als “Rot” bezeichnen, ist die Darstellung unseres Gehirns von Licht mit einer Wellenlänge von rund 700 Nanometern – Es ist eine Illusion. Wir können keine Aussage darüber treffen, wie “Rot” in Wirklichkeit aussieht. Die Frage an sich ergibt keinen Sinn, denn Farbe – so wie wir sie wahrnehmen – erscheint lediglich im Auge des Betrachters – oder vielmehr in seinem Hirn. “Rot” existiert da draußen gar nicht, sondern einzig vor unserem inneren Auge.

“Farbe kommt nicht in der Welt vor, sondern nur im Geiste”, schreibt die Dichterin Diane Ackerman. “Ist ein Apfel wirklich rot, wenn kein menschliches Auge zugegen ist, um ihn zu betrachten? Die Antwort lautet Nein – zumindest nicht in dem Sinne, den wir mit ‘Rot’ meinen…Wir halten unsere Augen für weise Seher, dabei tun sie nichts weiter, als Licht einzusammeln.”

“Was wir als Sehen bezeichnen, passiert gar nicht in den Augen, sondern im Gehirn. Um in ganzer Farbenpracht und bis ins letzte Detail zu sehen, haben wir noch nicht einmal Augen nötig. Wir erinnern uns oft an Situationen, die Tage oder gar Jahre zurückliegen, und sehen sie dabei vor unserem geistigen Auge. Wir können uns sogar frei erfundene Ereignisse vorstellen, wenn wir wollen. Wenn wir träumen, sehen wir in überraschender Detailtreue.”

Unsere Augen nutzen chemische Reaktionen, um einzig und allein die Menge von “rotem”, “grünem” und “blauem” Licht zu registrieren, das in sie hineinfällt. Die Fotorezeptoren senden diese Information, Morsezeichen gleich, durch Nervenzellen ins Gehirn. Ähnlich wie ein Fernseher mischt das Gehirn aus diesen drei Signalen die ganze Farbenpracht unseres Kopfkinos zusammen.

Dabei ist es unmöglich zu sagen, ob die Wahrnehmung von “Rot” für uns beide das gleiche Erlebnis ist. Sieht mein Rot genauso aus wie dein Rot? Wir können uns natürlich leicht darauf einigen, dass Rot die Farbe von Blut oder dem Stop-Signal einer Ampel ist. Aber das bedeutet noch lange nicht, dass dein Rot das gleiche ist wie meins – es könnte völlig anders aussehen. Du wirst nie wissen, wie ein Apfel durch meine Augen aussieht – oder die irgendeines anderen Menschen. Eine erstaunliche Tatsache, die vielleicht einige der spektakulären Geschmacksverirrungen dieser Welt erklären kann.

Die Pforten der Wahrnehmung

So technisch ausgereift unsere eingebauten Virtual-Reality-Gerätschaften auch sein mögen – wir sollten ihre Möglichkeiten keinesfalls überschätzen.

Zunächst einmal kann unser System nur ein winziges Scheibchen der Welt darstellen und ignoriert dabei dabei das große Ganze. Wenn wir uns die Realität wie die Aufführung eines Symphonieorchesters vorstellen, so können wir davon lediglich die Streicher wahrnehmen. Die mögen sich zwar toll anhören – aber wir bekommen von Bläsern, Perkussion und Chor absolut nichts mit. Wir müssen uns mit einer seichten Version der Realität begnügen.

“Die Welt ist so oberflächlich!”

Diese Beschränkung ist ein Hardware-Problem: Unsere Augen können nur einen winzigen Teil des Lichtes wahrnehmen, das da draußen umherschwirrt. Was wir als “Licht” bezeichnen, ist nur ein Bruchteil des gesamten elektromagnetischen Spektrums, in dem die Natur erstrahlt. Was wir sehen können sind die Wellenlängen zwischen Infrarot und Ultraviolet – eine ziemlich dünne Scheibe einer Spanne, die von Radio- über Mikrowellen bis hin zu Röntgen- und Gammastrahlen reicht

.

Wie würde die Welt aussehen, wenn wir andere Arten von Licht wahrnehmen könnten? Schauen wir uns den Nachthimmel als ein Beispiel an.

Die folgenden Aufnahmen zeigen alle den gleichen Ausschnitt der Milchstraße. Sie sind jedoch so eingefärbt, dass sie Wellenlängen zeigen, die wir nicht sehen können – wie etwa Mikrowellen und Röntgenstrahlen. Das zweite Bild von unten auf der rechten Seite zeigt den uns vertrauten Anblick.

Natürlich sind die von uns wahrnehmbaren Wellenlängen des Lichts kein Zufall. Die Evolution hat unsere Augen genau auf die wichtigste Lampe unserer Umgebung getrimmt – die Hauptfrequenzen des Sonnenlichts. Deshalb ist die optische Apparatur in unserem Kopf auch meist ziemlich praktisch – zumindest bei Tageslicht. “Dunkelheit” ist unser Wort für die Abwesenheit bestimmter Lichtsorten. Ein kurzer Blick ins Tierreich macht einem jedoch schnell klar, wo die Grenzen unserer Wahrnehmung liegen.

So können beispielsweise einige Schlangen Infrarot-Licht wahrnehmen. Das bedeutet, dass sie auch bei völliger “Dunkelheit” die Körperwärme ihrer Beutetiere sehen können, während sie nachts jagen. Bei vielen Vogelarten erkennen sich Männlein und Weiblein an den verschiedenen “Farben” ihrer Gefieder im Ultraviolett-Bereich – für unsere Augen sehen Sie dagegen völlig identisch aus.

Die gleichen Beschränkungen gelten für unsere übrigen Sinne. Der Soundtrack unseres Kopfkinos wird vom Gehirn erschaffen, indem es Informationen von unseren Ohren über bestimmte Luft-Vibrationen in “Töne” verwandelt. Fledermäuse finden mit Ultraschall ihren Weg, den wir nicht hören können. Es ist gut möglich, dass sie mit ihren Ohren “sehen” können. Aber wir werden wohl nie herausfinden können, wie es ist, eine Fledermaus zu sein.

Der Geschmack von Zucker und der Duft einer Rose sind die Reaktionen unseres Gehirns auf bestimmte Moleküle, für die unsere Zungen und Nasen die passenden Detektoren haben. Viele Substanzen jedoch bleiben für uns völlig geruch- und geschmacklos, weil wir nicht über die passenden Rezeptoren verfügen. Es gibt eine unendliche Anzahl von “Anblicken”, “Geräuschen”, “Gerüchen” und “Geschmäckern” da draußen, deren Erlebnis uns für immer verschlossen bleiben wird – unsere Sinne schlagen ganz einfach nicht darauf an.

Außerdem gibt es noch völlig andere Möglichkeiten jenseits der menschlichen Sinne: Haie nehmen beispielsweise kleinste elektrische Impulse in den Körpern ihrer Beutefische wahr, während Vögel mithilfe des irdischen Magnetfelds navigieren.

So schwierig die Vorstellung auch sein mag – das Erlebnis in unserem Kopf ist nichts weiter als eine einzige von unendlich vielen Möglichkeiten, die Realität wahrzunehmen. Unser Virtual-Reality-Headset kann nur einen winzigen Ausschnitt der Signale aufnehmen, die die Welt parat hält.

Soweit zur Auswahl des Rohmaterials. Jetzt folgen noch eine gründliche Nachbearbeitung und der Schnitt.

Die Endfassung

Wir sollten uns umgehend von der Illusion befreien, dass unser Virtual Reality System wenigstens seine dünne Scheibe der Realität objektiv oder verlässlich darstellt. In den Worten des Hirnforschers Michael O’Shea befeuern die von den Sinnesorganen ins Gehirn gesendeten Signale zwar unsere Wahrnehmung – sie sind dabei jedoch nur einer von mehreren entscheidenden Faktoren.  “Wir können empfinden, was wir nicht wahrnehmen; wahrnehmen, was wir nicht empfinden; und mehr als eine Empfindung aus den gleichen Wahrnehmungen konstruieren…unser Erlebnis der Welt ist nicht mehr als eine wohlbegründete Vermutung des Gehirns darüber, was ihm die Sinnesorgane melden.”

Unser Gehirn filtert, interpretiert und verzerrt die Realität, um sie überzeugender und sinnvoller erscheinen zu lassen, und um uns vor einer totalen Informationsflut zu schützen. Hast du Zweifel daran, dass du in einer kräftig redigierten Fassung der Realität lebst? Dann versuche es doch einfach mal mit den folgenden Experimenten.

Die mit A und B markierten Flächen haben exakt die gleiche Farbe. Du glaubst es nicht? Dann verdecke einfach den Zwischenraum und so viel wie möglich rundherum mit deinen Fingern, bis du nur noch die beiden markierten Flächen sehen kannst.

Oder wie wäre es hiermit?

:

Wenn du ganz genau hinschaust, wirst du bemerken, dass sich lediglich die orangefarbenen Streifen unterscheiden.

Gönne dir zu guter letzt das folgende Video – es dauert nur anderthalb Minuten. Du musst dich dabei aber wirklich unbedingt genau darauf konzentrieren, nur die Pässe der Teilnehmer in Weiß zu zählen! Rund die Hälfte aller Testpersonen liegt völlig falsch – Wie schneidest du ab?

“Wie dem Gehirn ein solcher Kraftakt der Bildmanipulation gelingen kann, entzieht sich derzeit unserem Verständnis…Es hat tatsächlich den Gorilla aus der optischen Wahrnehmung wegretuschiert”, schreibt O’ Shea.

Artificial Virtual Reality – bald ganz in Ihrer Nähe

IT-Giganten wie Google, Facebook, Sony, Microsoft und Samsung stecken riesige Summen in die Entwicklung von Virtual-Reality-Brillen. Viel spricht dafür, dass die Technologie bald wirklich ein Massenphänomen wird. In den Worten des Bewusstseinsphilosophen Thomas Metzinger wird das die gravierende Folge haben, dass die Menschen “langsam ein neues und intuitives Verständnis dafür entwickeln werden, was ihre eigene bewusste Erfahrung wirklich ist und was sie schon immer gewesen ist…bewusste Erfahrung ist genau das: ein virtuelles Modell der Welt, eine dynamische interne Simulation, die man in Standardsituationen gar nicht als solche bemerkt, weil sie sagenhaft transparent ist – wir schauen ‘durch sie hindurch’, als ob wir in direktem und unmittelbarem Kontakt mit der Realität stünden.”

Diane Ackerman bezeichnet es als “eine der größten Paradoxe des menschlichen Daseins, dass die satte Schicht von Empfindungen, die wir so sehr schätzen, gar nicht direkt vom Gehirn wahrgenommen wird. Das Gehirn ist still, das Gehirn ist dunkel, das Gehirn schmeckt nichts, das Gehirn hört nichts. Es empfängt nur elektrische Impulse – aber weder das opulente Süß schmelzender Schokolade, noch das federleicht schwebende Solo der Oboe oder das Kribbeln einer Liebkosung, und auch nicht den in pastellenen Lavender- und Pfirsich-Farben erstrahlenden Sonnenuntergang über einen Korallenriff – sondern nichts als Impulse. Das Gehirn ist blind, taub, stumm und gefühllos…Realität ist eine Fiktion, auf die wir uns geeinigt haben.”

Jetzt aber genug der Vorrede. YourBrain Filmstudios Inc. wünscht dir noch viel Vergnügen mit deinem Perfect Virtual Reality System.

Literatur:

Diane Ackerman (1990): “A Natural History of the Senses”

Matteo Farinella, Hana Ros (2013): “Neurocomic”

Thomas Metzinger (2016): “Virtual Reality Goes Mainstream: A Complex Convolution”

Thomas Nagel (1974): “What is it like to be a bat?”

Michael O’Shea (2005) “The Brain: A very Short Introduction”