an

Algorithm for

Consciousness

An Algorithm for ConsciousnessAn "algorithm" is an abstraction – a summary – of a process or method, without all the implementation details. An algorithm allows the reader to understand the most important and significant aspects of a process, without being distracted or confused by details that ­ while perhaps vital ­ obscure fundamental insights. For example, when first learning about photosynthesis, it may be overwhelming and irrelevant to include structural details of the leaf.

The famous neuroscientists Marr & Poggio claimed that real understanding of complex information­processing systems could only come via three levels of analysis – computational (what does it do), algorithmic (how does it do it) and implementational (how is the idea realised). As conscious creatures, we have a lot of experience of the first, and research areas such as psychology and computational neuroscience continually add to our knowledge. Neuroscientists & biologists, with increasingly detailed, real­time visualization tools, are adding to the third level of analysis. But the algorithmic level has remained stubbornly inviolate.

I'm going to describe consciousness at this level, to try to make key processes and essential concepts clear without swamping them in less important details. Of course, many of the things I won't cover are incredibly important for any practical realisation of consciousness as we know it. But I am optimistic that my inability to fully understand, describe and deliver the staggering complexity of a human brain will not leave this article without value. 

We will cover two closely related psychological features: Consciousness, and free will. They have always resisted explanation ­ at least, no­one has published a solution that has been widely accepted. I hope that by the end of page 11, you will consider this algorithm a plausible mechanism that could account for all the phenomena we experience as users of consciousness. (Pages 12­30 fill in other gaps!) Whether it explains human consciousness is another question, but at least we'd have moved from a philosophical question to a reverse­engineering problem.

My language is aimed at people who have already studied consciousness, and have some familiarity with terminology in psychology and artificial intelligence. I suggest that casual readers return for a second skim­reading, after having completed the article. I have included many hyperlinks in an attempt to make the article accessible: Hover your mouse over unfamiliar words.ivdnnawadilosr

IntroductionConsciousness is hard to define, and consequently hard to understand. It can't easily be broken down into discrete flow­chart boxes. It is not even clear that it has separate parts. We can't even agree which things are conscious, if any. 

Probably the most amazing property of the conscious experience is the flexibility, scalability & elasticity of the internal representations formed in brains of static physical capacity. For example, you can expand into consciousness a huge number of the smallest details and nuances about the tiniest creature – say, a beetle – including information that does not fit into any specific sensory form, such as feelings of revulsion or fascination. Alternatively, it is possible to zoom out from the beetle to the wider picture, leaping over trivial facts and ignoring great chunks of the data fed in from the senses. Your brain can reduce the entire world to an indescribable moment of sheer emotional charge, or jump between abstract representations of the most relevant conclusions and consequences, which themselves can be expanded into intricate concrete expectations of form, function, sensation and their relationships to ourselves. 

Consciousness is particularly confounding because it simultaneously encodes all types of information – visual, spatial, emotional, physical – and seamlessly integrates them. The subjects of conscious thought are not anchored in time or space, but can wander off into an imaginary construction whose content is equally compelling and vivid. The existence of conscious experience is not instantaneous, but typically develops over a few seconds or more before attention switches to another focus. Consciousness is even more special, because the list of things that can be made conscious includes consciousness itself!

From a conventional, computational perspective, the hardest part in understanding consciousness is how any fixed­ representation, limited­capacity model can permit such radically different perceptions of the world, whilst still retaining highly coherent and hierarchic arbitrating powers of selection. However, capacity limitations can be overcome, using an internal natural­language representation to compress the world­model in different ways from moment to moment.

1.1 The Evolution of ConsciousnessIn a sense, our conscious brains are inherently wired to struggle to understand consciousness. Whereas most conscious problem­solving techniques break problems into separate parts, and solve them individually (top­down design) consciousness is a compositional system such that the final experience is the combination of relations between parts rather than separate “black­box”, functional, cognitive components. Plus beyond certain limits, it is irreducible.

How did our brains become this way? Many explanations of the phenomenon of consciousness are weakened by requiring specific and unusual physical apparatus that could not gradually develop. Often, despite these demands, the same explanations give little detail about how such special apparatus causes conscious phenomena. Within each human, symbolic thought apparently arises reliably, and if necessary without external aid. An automatically self­generating system is called auto­poietic: Consciousness must not only be evolvable, but auto­poietic within an individual.

The answer proposed here requires no special equipment and is highly scaleable – many animals could be (and probably are) conscious with varying capabilities in terms of what they can conceive. Intelligence is separately variable to consciousness, but is approximately correlated with it. Intelligence affects the “quality” or “resolution” of conscious experience – a conscious but less intelligent animal, such as a dog, would have less specificity of thought & reasoning, and would struggle to represent more abstract and detailed relationships – especially the non­spatial ones. Some types of intelligence can occur without consciousness, but consciousness cannot occur without a minimal intelligence.

Why is consciousness effective across a range of intelligence? Possibly, the flexibility of consciousness enables all sorts of animals to cope with rare or unforeseen circumstances, has good behaviour­arbitration & executive properties, and is simply an efficient design from an evolutionary perspective. 

1.2 The Short Question: What is Consciousness? A working definitionHere is one [i.e., of many] succinct definition of consciousness, against which the algorithm is a proposed solution:

“Consciousness is a process which produces a coherent, continuous, singular awareness of the world and the conscious agent's situation in that world. Selective attention within that awareness guides the evolution of the experience. The conscious awareness­state includes at least the appearance of indirect control ­ expectations and justifications of the agent's actions are available, at the same instant as awareness of the actions themselves...

“The state is flexible (the same thing can be modelled in different ways), scalable (the scope of awareness can be grossly altered), elastic (the richness of awareness of a thing can be hugely varied), innovative (things that have never been experienced can be imagined), inductive (allows generalization and transfer in abstract reasoning), productive (the potential production of thoughts is unbounded, although practical time­bounded production is limited) and systematic (it is compositional, hierarchic, and there are grammar­like rules governing potential states). Being recurrent, productive and systematic, conscious state is regressive over time (e.g. with 2 levels of regression, one can be aware of being aware of being conscious). Conscious awareness is a rich, embodied (effects of consciously­accessible action­plans are perceptually­observable), interactive (attention affects future states, guiding action selection), multimodal (multi­sensory) experience, throughout. The state also includes a variable proportion of imaginary content, which has all the same qualities and status as directly­perceived content, and is based on the same systematic rules of production.”

1.3 The Short AnswerSo far we've discussed some of the characteristics of consciousness, but I've only hinted at the algorithm that was promised. You can have the short answer now, but I'm afraid it cannot be appreciated or convincing without reading the rest of the document. If it makes any sense at all, you're lucky; otherwise, fear not – the details will become clear over the course of the next 10­20 pages:

“Consciousness is a cyclic, recurrent* process ­ that models both internal and external state, using a combinatorial, symbolic representation. The base vocabulary of symbols is largely innate, and consists of 4­D+ 

egocentric spatial & temporal relations between our bodies and objects in the world, including our affordances, the perceptions of our senses, the behaviour of the world as perceived, and some social concepts of intention, belief, and animate­thinkers­like­us (anthropomorphism). The qualities of consciousness arise from a continuous and coherent  stream of successive symbolic models, generated within an endless cycle of transformations from perceptual →  symbolic   perceptual. By virtue of being symbolic → and combinatorial, conscious capacity is limited in the total  number of distinct concepts, but highly elastic in the detail and form in which any given subject can be represented.  Consciousness arises as a result of the interactions of several functionally­distinct, specialized processing networks that  perceive the world, recurrently create these representations and perform the necessary transformations.”

* the state at time t is an input to the state at time t+1 + three spatial dimensions, plus time

1.4 A little elaborationWow: How underwhelming! Some words, but I suspect no magic revelation. Of course, since no words mean anything without context, what you've just read will probably have little value to you until you've finished the article. Let me begin by elaborating a little. 

The key thing to grasp, is how the dynamic phenomena of consciousness can be reconciled and implemented in a physically­largely­static system of representation & analysis. The brains in our heads do not restructure themselves from moment to moment, even though our conscious experiences vary radically.

As stated above, consciousness is a stream of dynamic symbolic representations, created momentarily and continually as novel combinations from a vocabulary of primitive concepts. The concepts are generally adverbs (“describing doing things”) and adjectives (features of things). The content of the vocabulary is based on a set of physical metaphors – the affordances and actions permitted by our bodies in the 4­dimensional universe we live in, perceived with our 5 sensor modes. The vocabulary is egocentric – based on our relationships with these things – and has a few special terms such as “imaginary” and “intelligent”, i.e. a labels for agents (whether us or others) who think like us. These concepts of “animate” and “theory of mind” are essential labels for ascribing the origins of observed behaviour. The vocabulary also includes high­level perceptual primitives from all sensory modes – visual (shape, colour, texture etc.), aural (at a high level, including e.g. patterns or rhythms), tactile (inc. hot/cold) etc.

The vocabulary is enriched by allowing variably weighted relationships between primitives, and by mapping other concepts back down into compositions from the available vocabulary. Hence we tend to imagine using tools as extensions of our arms and hands, albeit imagined with different capabilities mapped onto the affordances of bits of our bodies – we can swing hammers or fists, we can twist with fingers and screwdrivers, or push with both palms and levers. Doubtless you've been exposed to all that silly business jargon ­ “going forward”, “leverage market share”, “add momentum”, “my door is open” until the “close of play”...? They're all really physical metaphors. When we need a new concept in our language, we build it from analogous physical, emotional, social or perceptual phenomena, thus exposing how our minds really work. 

The physical origin of the vocabulary explains the autopoiesis and grounding of the grammar within the individual, and the feasibility of evolution of the grammar within the tree of life. The value­add (sorry, management­speak!) of the grammar comes from the computational properties of this type of symbolic reasoning, which will constitute the bulk of this article.

The algorithm proposed in this article is still limited, but the way in which those limitations are expressed is unusual. Instead of being limited by the capabilities of fixed representations, consciousness is limited both in the relationships and base concepts it can combine (the vocabulary), and also in the number of distinct details of attention, that can be held.  More succinctly – conscious capacity is limited in the number of distinct concepts, but highly elastic in the detail afforded any given subject. An acceptance of this limitation is essential in making it physically possible to create consciousness.

1.5 In ContextLittle of the proposed algorithm is new, although as an assembly of parts, I believe it is unique. Sadly, it is likely that somewhere, someone is arguing roughly the same thing! This shouldn't be surprising, because all discoveries depend on the receptivity of audience and author to new perspectives on existing ideas, rather than a flash of individual inspiration. 

The algorithm is a cognitive architecture, but it is not the first. Many philosophers, psychologists and others have proposed architectures to explain brain functioning. Unfortunately these are usually either too general and unspecific, or too specific and narrow (!), to provide an overall perspective on the tricky bits of cognitive architecture. Of course, an overall answer could not exist except in a rich social context of accepted psychological theory, so this is all useful.

Compelling evidence for the existence of an innate, symbolic language was established by Chomsky, who believed that all people from all cultures shared a Universal Grammar, that enables them to learn natural languages more easily and quickly than would otherwise be the case. They learn to fit their experiences of language into an existing (innate) model, rather than learn the language model entirely from experience. He noted that people who are not taught a natural language, tend to develop one anyway. Natural languages are autopoietically created in human societies.

The algorithm described here differs from Chomsky by claiming that the Universal Grammar is not English or any other natural language, but instead an externalizable form, and consequence, of the symbolic grammar of a conscious process, which is not directly externalizable. (You can't explain your conscious state fully and accurately in English, and the 

mysterious ability of good writers to insinuate even a slightly convincing conscious state in the reader, is rightly lauded). However, the algorithm agrees with Chomsky that certain aspects of syntax and vocabulary are innate, and with aspects of Chomsky's separate logical and phonetic language forms in the brain.

The algorithm requires that the innate vocabulary of the universal grammar is based on the physical properties of the human body in its environment.  This idea is not new either – Lakoff and others have already claimed that the nature of the mind is determined by the form of the human body (the “embodied mind”). It is precisely because it includes proprioceptive and affordance­based, egocentric, multi­modal concepts that conscious state is not transferable – it is too rich, finely grained, detailed and specific to one's self in one's own position, to be efficiently serialized into a mono­modal form such as speech.

Other concepts, which are part of the larger vocabulary of natural languages like English, are mapped down into the innate primitives. The algorithm specifies that conscious thoughts are constructed by combining basic primitives in various ways, a concept already known as Fodor's “Language of Thought Hypothesis” (LOTH). The language of the LOTH has a name – Mentalese. Since Mentalese has much in common with the algorithm, responses to major criticisms are included later.

Fodor has examined the likely grammar of Mentalese in detail, particularly its ability (or otherwise) to discover and describe new knowledge. He seems to have concluded that a vast array of innate concepts are necessary for Mentalese to explain the complete variety of linguistic thought. The algorithm requires a much smaller innate vocabulary. Moreover, Mentalese is a linguistic model, similar to natural languages, whereas the algorithm offered in this document has a dictionary of multi­modal primitive concepts from all the senses, with a grammar based on symbols directly representing features of the embodied mind.

Any theory of cognition in which abstract symbols can exist separately to perceptions from the world is called a “Representational” Theory of Mind (RTM). The symbols “represent” a certain set of data from the senses, rather than containing or reproducing that data. Mentalese is a RTM, and so is the algorithm. Crucially, in a RTM the symbols can be manipulated independently of the data they represent. One of the strongest criticisms of RTMs is the redundancy of having both the original data and a symbolic representation of it – what value does the symbolic model add? The algorithm given here is uniquely able to rebut this criticism, because it is precisely the computational characteristics of an additional layer of symbolic reasoning, that permit the scalability and elasticity characteristics of consciousness.

Interestingly Fodor says in his book “Language of Thought 2”: “[RTMs have...] been the main line of thought among mental realists … arguably since Plato and Aristotle, patently since Descartes...”. Every work stands on the shoulders of giants! 

1.6 Terminology of Algorithm DescriptionsThe algorithm proposed here is not necessarily the way that consciousness is achieved in our heads. But it is a plausible method of creating the phenomenon of consciousness. My descriptions will be based on the obvious structure of the brain as a neural network, although there are other chemical and electrical mechanisms by which information is stored and transformed in our brains. The artificial neural network is an adequate model for this algorithm, and I suspect that the extra mechanisms add efficiency rather than a fundamental leap in functionality. For example, the diffusion of chemicals in the brain could substitute for a huge number of extra connections and appears to make some temporal dynamics more efficient to implement.

A suitable neural network model is one of asynchronous neurons with nonlinear activation functions and individually weighted connections, and recurrent topologies. Beyond this definition of the neuron as an atomic unit of construction, consciousness is achieved by the organisation of neurons and the connections between them – i.e. a “connectionist” solution. Note that I would not propose to implement the algorithm as a simulation of a neural network on a computer, as this would be inefficient. The same algorithm can be realised in equivalent forms (e.g. matrix or graph operations) more amenable to computers. The choice of neural or electronic physical implementation does not matter.

Throughout this article I use iterative descriptions of algorithms. These are usually easier to understand than continuous functions, and as long as iteration is fast enough, either is ok for implementing consciousness (if you iterate faster than you sample, it appears to be continuous anyway). Biologically, continuous asynchronous operation is more plausible ­ there is no overall system clock. Moreover, functions can be locally recurrent and cyclic, without requiring the system to be iterative! Global coherence via competitive­attractor models is still possible with locally asynchronous units, if information is temporarily buffered or otherwise preserved to permit inter­module data sharing. [Uh.. Non­AI people, feel free to ignore this little bit] Software implementation is easiest with globally iterative implementations.

1.7 Six Distinct NetworksThis algorithm is described by the characteristics of the networks (optionally of neurons) that make up our model. The networks are a functional dissembly, not a notion that they're structurally or physically partitioned. However, fundamental distinctions in behaviour and organisation between network­modules means that it is reasonable to divide the algorithm into 6 distinct parts, at the most coarse level: 

Fig. 1. Dominant interactions between functionally­distinct networks in the brain. This will only make sense later; the networks are explained in detail below. 

Note that the networks are (likely) not clearly distinguished, and are highly interconnected. However, each is functionally distinct in purpose, representation, and gross characteristics of connection topology (which is connected to which).

The reader should also avoid confusion by remembering that neural networks simultaneously store (or represent) information and process it. There is no distinction between “program” and data, or machine and materials. Consequently some of the networks are more important for their processing activities, and others for their modelling of information.

1.8 More promises ...!In explaining the networks, some of the key difficulties in the so­called “Hard” problem of consciousness will be addressed, including:

– the nature of qualia– the binding problem (the mechanism of perceptual association)– imagination– how conscious attention can “meander” from topic to topic– the plasticity / elasticity / scalability of consciousness– the coherence of consciousness as an experience: why our thoughts do not disintegrate into noise– the paradox of “kernel” or centralized decision making, versus the ability to represent data with the detail & 

complexity needed to inform decisions ivdnnawadilosr

The Perceptual Network2.1 The Perceptual NetworkPerception is the process of understanding data from the senses. The perceptual system is quite carefully designed and constructed to bring a useful, rich and descriptive model of the world into the brain. On entering the perceptual network data is in the nearly “raw” forms in which it was generated by the senses. However, as information moves through the perceptual network, processes of recognition, correlation (between data) and association (between data and memories) transform it into increasingly abstract spatial & temporal models – representations of objects as compositions of parts, structures, textures and shapes. For example, in vision, the light sensed by the eyes is simultaneously modelled as regions of textures, edges, corner and line features. These are completed and extended by gestalt­like rules and (unconsciously) “recognised” as shapes and structures. Motion is detected and tracked and the scene is decomposed into a set of moving, related objects in 2.5­3 spatial dimensions (full 3­D is not necessary for many perceptual constructions). Cues of shape, surface appearance, size, motion dynamics, sound and smell – all trigger association with stored memories of previous experiences, at a perceptual level.

Fig. 2. The perceptual network receives data about the world, from the senses.

The perceptual network first performs dimensionality reduction – for example, compressing the millions of light measurements from retinal cells into a few shapes and patterns – and secondly, constructs increasingly detailed and rich representations of the world around us. Part of the role of the perceptual network is to compensate for awkward properties of our sensors – for example, visual processing is (un­noticeably) suspended when the eyes are moving, and colour is remembered or guessed at outside the fovea.

Memory is partly encoded in the perceptual network. Memories of things and places are represented by their qualities as perceived (such as appearance). There is sufficient abstraction in the perceptual process to allow recognition of things independent of factors such as where in the visual field they are viewed, or in which ear they are heard.

Fig. 3. Response to feature orientation in the visual cortex of a Macaque monkey (from Blasdel & Salama (1986)). The cortex has self­organised such that a few specific neurons in each location respond to specific orientations of visual features (such as edges). Overall, all areas can see all orientations. When neurons respond together, a longer linear feature can be “seen”. These detections are forwarded deeper into the brain for large­scale shape and object recognition. 

The organisation of the cortex by unsupervised learning is a good example of useful functionality being bootstrapped from a pre­specified (genetic) program.

The senses are all mapped onto an internal model of the body, including the eyes (oddly, we feel like we “see” from our eyes when the “seeing” is really done upside­down and back­to­front at the back of our brains). Objects' and places' positions are transformed from independent sensor­dependent models to a single frame of reference, centred in the middle of our heads. My keyboard is not only “under my hands”, it's below and in front of “me”. These relationships are modelled in the perceptual network.

Fig. 4. The mapping of the sense of touch onto the cerebrum of the brain, between the ears. Note over­representation of the more sensitive areas. Other senses are mapped into the cerebrum too – for example, vision occupies most of the rear of the cerebrum (from Cowey, A. (2001)).

Language features such as characters, words (written) and phonemes, syllables (heard), are recognised by the perceptual network. They are associated with their equivalents as visual or (e.g.) tactile forms, but the semantics of language understanding is not solely or mostly in this network (according to this model anyway!)

Due to its close integration with the senses, much of the perceptual network is explicitly designed (by evolutionary processes) rather than simply emergent from common learning rules. However, once sufficient abstraction has occurred self­organising locally­associative rules such as the Kohonen SOM, and globally associative rules such as the Hebbian, are sufficient for object recognition.ivdnnawadilosr

The Transformative Network3.1 The Transformative NetworkThe perceptual network produces a detailed geometric description of the world – shapes, colours, textures, tactile sensations, smells ­ and localized 4­D structural models, onto which all these properties are mapped. The transformative network remodels this internal image of the world, into a highly symbolic, compositional, representational form based on egocentric, anthropomorphic, highly grounded/situated human metaphors: All concepts are grounded in physical or 

perceptual reality. This has profound consequences: Tools are modelled in the brain as parts of our bodies, and representations of place and time are stored relative to us, here and now. Relationships between things become relationships between people like us, full of human significance that does not physically exist. Crucially, the way in which these things are represented is not fixed: Characteristics and properties of things can be expanded and elaborated or compressed to nothing. So how does all this happen?

Fig. 5. Information about the world flows into the transformative network from the perceptual network, and undergoes transformation to a combinatorial, symbolic representation. 

3.2 Theory of MindA key part of the remodelling is to see other entities ­ particularly those that pass any test of apparent intelligence ­ as conscious agents like ourselves. It is surprisingly easy to convince us that moving objects are intelligent, and hence we tend to ascribe far more intelligence to robots (and beetles!) than they really have. For example, we like to imagine that beetles can experience fear, love, loss, sorrow and other emotions, as powerfully as we do (anthropomorphism). Simply violating perceptual models of the conservation of momentum (by expending internal energy) is often enough for us to class objects as “agents”.  Forming a "theory of mind" (i.e. a belief in others feeling and thinking like ourselves) is an essential stage of intellectual development.

3.3 Adverbs and AdjectivesIn the transformative network there is a relatively small vocabulary, or alphabet, of possible symbols – a set of primitive concepts that are typically similar to adverbs (“describing doing things”) or adjectives (features of things). Much of the content of the vocabulary is based on a set of physical metaphors – the affordances and actions permitted by our bodies in the 4­dimensional universe we live in, perceived with our 5 sensor modes. Other, more complex entities are described by combining primitives from the basic vocabulary. The grammar includes propositional attitudes (A believes that X, A wants X, etc.) as found in Fodor's LOTH and many other Representational Theories of Mind (RTMs), but is more comprehensive. Propositional attitudes are only a small part of the scope of symbolic reasoning in this model – we need to include a huge gamut of physical & visual relations (e.g. A is inside B) and concepts from all the sensory modes (e.g. “appearance of orange ellipse with excised green triangle”). Many of these are simply physical relations that are usually unrelated to propositional attitudes.

“There is nothing in consciousness that is not an analog of something that was in behavior first.”

J. Jaynes, 1976

However, parts of the vocabulary are also physically egocentric – based on our, or others', relationships with these things. What is the difference between port/starboard and left/right? The answer is that one is defined absolutely, with reference to the object's “front” (bows), whereas the other is defined from the perspective of the observer. In medicine, limbs were wrongly removed until it was agreed that the patient's perspective would be used! These distinctions are powerful, and important for modelling the world.

In the transformative network the representation is combinatorial. Primitive concepts are combined to produce a symbolic world­model of concept­objects, and variable relationships between them. Adjectives can be combined to describe something; and combined with adverbs to compose relationships between parts. For example, combining “agent” and “threat” (both  adjectives) minimally describes an enemy. If  ( (“agent” & “threat”) – “is in front of” – (“me”)), I might become frightened! 

3.4 Static Representations of Symbolic Knowledge (Ontologies)The consciousness algorithm requires two data­structures, in which all possible conscious states are formed. The first data­structure represents all knowledge and potential mental states, and the second data­structure contains momentary, transient mental state.  For convenience, I will refer to them as the graph (all knowledge), and the tree (dynamic state).The collection of knowledge in the graph is static, except when permanent learning occurs. This happens on a slower 

timescale, than changes in conscious state, by modification of the graph. The tree is entirely dynamic – it contains momentary, transient models that are continually created and destroyed.

The graph has a lot in common with existing ontologies – these are formal representations of knowledge: “a set of concepts within a domain and relationships between those concepts ... [Ontologies are] used to reason about the properties of that domain, and may be used to describe the domain”. There are several ambitious ontology projects accessible on the Web, including ConceptNet by MIT, and Cyc by Cycorp.  These will attempt to reason about and answer questions phrased in natural language, and can learn from new information. Of course, they are not conscious and never will be. An ontology cannot think; it can only be used as a database of knowledge that permits symbolic reasoning about that knowledge.

Many formal languages (such as so­called “data” or “markup” languages) are not Turing­complete. This means that they can only represent structured information: They cannot describe or perform all possible computations. However, these languages are often very efficient for storing information, and therefore it is desirable to separate the data structures that perform the two separate functions of symbolic knowledge representation, and symbolic reasoning.

The following sections will describe minimally complex representations, that still fulfil all the requirements of an algorithm for consciousness.  It is worth stating that these are unlikely to be the models used in human brains, but they're the simplest ones that can support consciousness.  In human brains there are likely many equivalent structures, but detailing these would distract from core arguments. The proposed structures have a lot in common with Chomsky's Minimalist Program (such as binary phrase­branching), except that the goal is to have certain computational properties, not to mimic natural language grammar in the simplest possible way.

3.5 A Description of the Graph (a structure for knowledge representation)The graph data­structure is formed of edges and vertices (“nodes”). Each vertex represents a concept. Concepts are either primitive, or compound (explained below). The size (cardinality) of the set of primitive concepts is fixed. Each edge links two vertices (i.e. two concepts). The graph is a digraph (directed­graph), i.e. the edge a → b is not equivalent to the edge b → a. An edge between two concepts indicates a relationship between these concepts. A third concept­vertex is attached to every edge to define the nature of the relationship. Each edge has a weight, which determines the [strength / probability of association / degree of membership / truth or some other characteristic] of the edge (depending on the type of relationship). Therefore each edge has the following definition:

Ca The concept at the origin of the edgeCb The concept at the end of the edgeCR The concept that defines the type of relationship the edge representswab The strength of the relationship of type CR between Ca and Cb.

So far, this is simply a very general and flexible type of ontology. Now we must add the ability to expand and compress parts of the graph. This is achieved by allowing each specific edge tuple { Ca, Cb, CR, wab } to be given a label, and for this label to be used as a concept just like any other i.e.

Cx = { Ca, Cb, CR, wab } The definition of a new concept Cx

Cx is the compressed form of the edge, the tuple is the expanded form. 

Fig. 6. The atomic unit of a symbolic representation of knowledge. Each unit is a relationship between 2 concepts Ca and Cb. The relationship is directional i.e. Ca→Cb ≠ Cb→Ca. 

The relationship has a type CR, which is a third concept from the same pool of concepts. The unit as a whole may be given a label Cx, and thereafter this label can be used like any other concept. 

Note that the label can be used as a compressed representation of the relationship, or it can be expanded into its definition. The relationship has a weight wab, which (depending on relationship type) can be a measure of probability of association, degree of membership, etc.

3.6 Compound Concepts and CompressionEdges of any type can exist between any pair of concepts in the graph. New concepts are formed by giving a label to a specific edge in the graph. These are compound concepts, because they are made from the relationship of 3 other concepts. Concepts that are not compound are concrete, innate, and groundable: This means they can be directly observed in the world or are genetically­programmed features of perceptual or physical reality. The number of compound concepts in the graph is not fixed. The number of potential compound concepts is infinite.

Every compound concept has a corresponding expanded form. The expanded form might itself be made from compound concepts, but eventually all compound concepts can be expanded into compositions of concrete, primitive concepts. The choice of expanded or compressed representations of any concept enables compression of symbolic information, by squashing large graph components into individual labels. Symbolic reasoning is possible, by applying fixed physical laws to expanded compositions, to enumerate possibilities and check their validity.

3.7 Concepts as Adjectives, Adverbs and MetaphorsIt might seem peculiar that concepts can be used both as things­that­are­related (i.e. as Ca or Cb) or as the type of relationship (i.e. as  CR). But it is equivalent to saying that most concepts can be properties of things – adjectives – or properties of actions (verbs or adverbs) done to things. Often the verb use of an adjective simply means giving that property to the thing. 

Note also that all compound concepts are built from concrete, primitive concepts that are all physical observations, features or laws. This means that more abstract concepts are necessarily physical metaphors.

Fig. 7. Compound concepts within the graph. Every concept in the graph can theoretically be used as relationship type (CR), relationship subject (Ca), and relationship object (Cb). Of course, some relationships are not physically meaningful. Some concepts and relationships are innate; others are learned. 

Innate concepts are always grounded properties of physical or perceptual reality. Other concepts are made by combining innate concepts in varied ways; so­called compound concepts (blue) can be used exactly as if they are concrete, primitive concepts (black). 

The definition of a single concept is similar to the simplest sentences in natural languages: It has a subject noun­phrase (Ca), and a verb­phrase (CR and Cb). Any part of the sentence can be infinitely expanded.

Fig. 8. Most concepts are meaningful as relationship­types and relationship subject­objects. For example, “email” can mean the act of sending an email, or the actual message received. 

Another example: “Red” can refer to making something look red, or it being red already.

3.8 A Description of the Tree (a structure for the representation of momentary conscious state)For a number of reasons the ontology­Graph is not a suitable structure for representing conscious state. The most serious problem is that the graph has many redundant paths that encode approximately equivalent meanings. This is because the graph must enumerate all possible relations, not just the current content of conscious awareness. Another significant difficulty is that the graph is cyclic, which means that some concepts will be used repeatedly in different contexts (e.g. “the dog is brown and the fox is red” uses “is” twice). The redundancy of the graph means that the current meaning or interpretation of a concept can only be determined in the context of a “sentence” ­ an ordered traversal of a sub­graph without cycles. This is the purpose of the tree.

Fig. 9. Knowledge representation as a graph (an ontology). In this case the knowledge is about pet tigers and whether I can have one. Here, a tiger is an orange animal; an animal is an object that can move. “Having” is the object being available to touch at will, and a pet is an animal that I “have”. Note that there are redundant, approximately­equivalent paths; e.g. a tiger is an animal and an orange animal, and it “can­be” a pet. 

Due to this redundancy, this graph can only statically represent knowledge. It cannot represent symbolic mental state from moment to moment. The actual meaning of many concepts (such as “is”) only exists in the context of selected other concepts, to which it is transiently related.  

Example 1. There are many things that are animals. How can this graph represent the animal currently being imagined, especially if you are aware of more than one? 

Example 2. A tiger “can­be” a pet, and “is” a pet. At different times, either or none of these is true. To represent momentary state, a separate graph (or tree) must be formed from the knowledge­ontology, with a limited subset of the edges organised hierarchically.

The tree can be instantiated as a vector (or array) of reusable concepts.  These behave identically to the compound concepts in the graph, except that they have no permanent connections to the graph. Instead, their connections are completely reconstructed each time the conscious state is updated. Each element of the vector is a concept with 3 dangling connections (you can imagine them as “pointers”, in software terminology). These connections can “point” to individual concepts in the graph, or to other elements of the vector. This is terrifically important; if elements can point to each other, hierarchic composition is possible.

Fig. 10. Transient, momentary symbolic mental state can be efficiently represented as a vector of N “reusable” concepts. Each element in the vector can be connected to a total of 3 concepts in the graph and/or in the vector. (In software terminology, a good analogy is that this is a vector where each element is a struct of 3 pointers to actual concepts or other vector elements). Therefore, the elements of the vector can form trees, from both existing concepts in the graph, and dynamically­created concepts in the vector. Not all the elements in the vector have to be used, but there is an upper limit to the detail and finesse with which momentary symbolic mental state can be represented.

3.9 Compositionality & ContextA key insight is that concepts can become part of many separate sub­graph compositions simultaneously.  Potentially, a single concept can be associated with every vector element, simultaneously.  Example: I can have many separate uses of a concept like “is in front of” ­ referring to another person and myself, or to a small part of a person, such as their nose. The primary purpose of the symbolic remodelling is to change the limitations of conscious capacity, such that it is limited in number of distinct details, but highly elastic in the level of detail that can be expressed about any given subject.

Note that not all elements of the vector have to be used all the time, which means that the transient state can vary in total complexity and detail. This allows variable levels of awareness. The total number of elements in the vector is a fixed physical limit, which means that there is some finite level of detail with which current awareness of the world can be represented.

Recall that concepts in the graph have a compressed form and an expanded form. If a concept label is used in compressed form, a single element of the vector only needs to point to it. If a concept label is expanded, another element from the vector is needed to include the expanded definition in the tree (see figures 11 & 12, below). The 2nd vector element duplicates the original, expanded definition of the compressed concept from the ontology­graph. This process can be continued until every vector element is used.

Note that both the relationship type (CR) and relationship subject­objects (Ca and Cb) can be expanded into the tree. The nested structure of this tree defines a “context­free grammar” (CFG) and gives a specific context to every use of every concept. This mimics the behaviour of natural languages, which all appear to follow CFG rules. In a CFG, there is no overlap between separate elements e.g. ({})([]{()}[]) is a valid construction for a CFG, whereas ({[}]) is not. The context of every concept is explicit in the tree structure that must be parsed to reach every use of each concept.

Fig. 11. The compressibility of tree­like representations of symbolic conscious state. The simplest tree is simply a single element from the vector; but ultimately all the elements of the vector could be used to represent a single object. This example shows that in the graph of knowledge, a dog is defined as “a friendly animal”. This creates the new concept­label “dog”. In the tree of current state, “dog” can be simply a label, or it can be expanded via its definition. Expansion requires use of another element from the vector.

Fig. 12. The relationship­concepts in the tree can also be expanded or compressed to achieve the desired level of refinement, or to create novel, transient relationship types.

It is also possible that the same vector storage structure could encode multiple trees, that are not attached or related to each other.  Each tree does not have to use every vector­element, but the total number of vector elements is shared between all the trees. The total number of distinct conscious subjects is the number of unconnected components in the vector, but it is also possible that all conscious subjects are related in some way, probably to the conscious observer. It is reasonable to partition unrelated imaginary constructions that are not fixed in time or space, from constructions representing here and now.

In summary, the number of conscious details is limited to (at most) the number of vector elements, but how completely and thoroughly a single subject can occupy consciousness is not limited. Every vector element can be devoted to describing a single object. A subject can be a person, an object, a place or any other entity. The subject could even be a complete appreciation of the scene (physical aspects) or situation (including social context as well). A subject can be a whole object or person, or part of one. The same scene or situation can be represented in different ways, depending on how the person is currently conscious of it.

3.10 Learning Common CompositionsVector elements are not limited to encoding the relationships in the graph. They can also encode any arbitrary new relationship between existing concepts, as long as every connection of every element eventually resolves to a concept in the graph (in computer science terminology, every leaf of the tree must not be null and must refer to a vertex in the graph).  Vector elements encoding new relationships can be built upon each other, so with enough elements, radically different and unprecedented symbolic models can be constructed. Interestingly, this means the tree is far less efficient when modelling new phenomena, new experiences or unfamiliar objects, and would require greater awareness to do so.  Viewing a novel object for the first time, less conscious capacity would remain for other things.

Vector elements represent virtual – possible – concepts, that could exist in the graph. For efficiency, it makes sense that regularly used vector elements (i.e. specific tuples Xn = { Ca, Cb, CR, wab }) would be permanently encoded into the graph. Once this occurs, that element­configuration can be referred to simply by its graph label (its compressed form). 

This proposal makes permanent learning of new concepts in the graph easy. Simply put, concepts that are repeatedly configured together in a particular way, become permanently usable in that way. This is the Hebbian learning rule again (things that fire together, wire together). 

3.11 Neuronal AnalogiesThe existence of a few fundamental, concrete concepts, and the use of almost all concepts as both adjectives and adverbs relating other concepts, implies that the graph is both highly redundant, highly cyclic and that the average degree of the graph (the number of edges incident at a vertex) is very high. The tree must potentially connect all concepts, so must have a very high degree of connectivity at each vector element. This matches the neuronal organisation of the brain, which is very highly interconnected.

The graph is necessarily cyclic, which means that any concept can be used repeatedly. If the concept were embodied in the brain as a neuron, a mechanism must allow for separate traces of activity through the neuron to exist simultaneously. In fact, such a mechanism does exist; neuron firing­rates can simultaneously encode multiple frequencies.  These frequencies are coherent on quite a large scale throughout the brain, plausibly manifesting the generation of the tree from the graph. (No promises though, it might be something else entirely.)

The graph and the tree are not intended to be biologically realistic. Rather, they illustrate the constraints and limitations of a fixed scale instantiation: They tell us more about the conscious states we could experience, and how we could experience them. They also provide a suitable basis for software implementation, which is important if this algorithm is to be falsifiable as an explanation of consciousness.

3.12 The Transformative ProcessesSo far we've described two data­structures – the graph and the tree – that are used to represent knowledge, and current symbolic conscious state, respectively. This section will discuss how these structures are created and manipulated.

Fig. 13. The processes of compressing and expanding symbolic mental state to achieve consciousness. There are 3 types of internal representation. First – a geometric model of the world which is updated by the senses & the perceptual network. Second, a graph of symbolic knowledge about the world, which has a mix of innate and learned relationships between concepts, that are all directly observable or can be physically reasoned about. In other words, all concepts can be grounded. 

The transformative network maps the features perceived by the perceptual network onto the knowledge graph and selectively compresses them into a hierarchical tree of symbolic perceptual state (Pt). The transformative network then merges this tree, with the tree that represents previous conscious symbolic state (St­1). Since both Pt and St­1 have the same capacity, merging must include some compression. A new tree St is the compressed result. St­1 is also fed via the re­entrant network into the geometric perceptual model to enrich abstract concepts; this requires an inverse transformation, but is possible because all symbolic concepts are composed from grounded physical or perceptual concepts.

The perceptual network produces a geometric model of the world, and the transformative network transforms this model into a symbolic representation. But the distinction is between them is not abrupt – let's say the perceptual network produces increasingly structured and detailed models, which the transformative network maps into the internal language used for all further symbolic processing. The transformation from geometric to symbolic must use the graph­ontology to associate concept­labels with specific geometric forms & relationships. There will be many parallel interpretations of 

many perceptual subjects; one way of choosing between them would be to apply a spreading activation algorithm to a pre­weighted graph. The output of this association process is a symbolic state­tree, Pt. Perception is an active process, which means that some selection is needed to decide which competing symbolic forms from the redundant graph persist into the limited­capacity tree.

The tree  Pt is then fed into a further compression step. It is merged with the conscious state­tree from the previous iteration of the conscious algorithm, which is called St­1. The merge produces a new conscious state­tree St. To merge the two trees, equivalent sub­trees must be identified and associated, with differences merged. Sub­trees exclusively found in either tree can be merged into the combined tree by relating them in terms of physical position, symbolic perceptual similarity, or some egocentric proposition. Alternatively, these sub­trees can persist unattached (the tree is potentially a graph with several components). To perform these associations and equivalency checks, the ontology­graph is consulted. Finally, the new tree[s] St must fit within the fixed capacity of the vector storage structure; selection throughout the merging and propagating process chooses which symbols are expanded, compressed or erased in order to produce a tree of limited capacity. The merging of  St­1 and Pt ensures continuity of conscious thought.

This process cycles endlessly. As explained later, consciousness is not an instantaneous product, but this complete process. The selective network prioritizes elements from the current conscious state St and feeds this prioritized tree back into the compression stage of the transformative network, and into the inverse­mapping stage of the re­entrant network. (This is the moment when symbolic idea generation and planning (as idea­selection) can occur). As detailed [a long way] below, the re­entrant network uses the ontology­graph to perform the inverse transformation, from symbolic form to geometric form; these constructions are then processed as normal perceptions back into the transformative network (although they are carefully labelled as imaginary, internal constructions, not perceptual ones, otherwise they would become hallucinations).

Fig. 14. Associating symbolic representations. Say we have 2 symbolic models that capture mental state at time t and time t­1. How do we associate the differently­described models in each, so that the trees can be merged? Without merging, the continuity of mental state is lost. The answer is that since each concept is composed from grounded, observable properties or rational 4­D realities, it can be expanded and mapped back into that form. In the example above, previous perception of an “apple” can be associated with current perception of a “green sphere” because a) they are in the same relative position and b) the definition of an apple is as a food that is a green sphere. An egocentric frame of reference is used to ground all extant concepts, however abstract, leaving imaginary ones non­associable in the current physical context. Abstract concepts can only be associated by expanding and compressing their definitions into concrete forms that apply to the current situation, unless they are recognised in the real world.

3.13 A Quick SummaryThere are many alternative graph & tree algorithms in the computer science literature that would allow a variety of ways of performing the graph operations described above. But elaborating on these would move from an algorithmic level to the implementational. The most important thing to appreciate is how this model could achieve the stated objectives in terms of the flexibilities and constraints of consciousness, as described earlier. The processes above can represent an enormous variety of possible content, and this power can be focused on a single part of a tiny object, or spread amongst a general description of a scene.

Limits of Consciousness, as proposed by the transformative model: 

– Upper limit on symbolic conscious capacity at any moment, but potentially unbounded given enough time– Fixed number of (innate or programmed) grounded, concrete, concept primitives– Fixed, biologically­plausible rules for the ongoing production of compound concepts– Mechanism for the instantaneous production of complex, novel, compound concepts– All symbolic representations built from combinations of these concepts– Plausible fixed method of geometric   symbolic (and inverse) transform, due to grounded primitives→

 

Flexibilities of Consciousness, as proposed: – Attention 100% to 0% on any single subject– Conscious state can be scaled, up to a physical limit, allowing differing degrees of awareness– Multiple conscious subjects, related or unrelated– Same subject may be represented in various different ways from moment to moment– Same subject may be represented at different levels of detail– Combinatorial associations (e.g. many objects can have same properties)– Combinatorial relations (e.g. relations nuanced with other relations)– Hierarchic compositions : objects can be assembled from parts, each of which is represented with 

independently variable detail– Qualia enriching; the flushing of symbolic state back through the perceptual process enriches it– Qualia persistence; the final conscious state achieves compression to symbolic form, but does not lose all the 

perceptual qualities of subjects of attention: we persist the visual, spatial, aural, emotional, social relationships all the way to the final conscious state via multimodal concrete symbolic concepts.

3.14 Compression by TransformationWhereas the perceptual network is first compressive and then constructive, building increasingly diverse and rich redundant representations of the world outside, the transformative network allows significant compression. Crucially, the degree of compression of the same perceptions varies from moment to moment, depending on what aspects of those perceptions are modelled after transformation, and how they are modelled. In addition, the transformative network models imaginary things in the same way: Current perceptions can be compressed to nothing when consciousness is preoccupied with the imagination. 

The same transformative network is used to model both imaginary and current perceptions. Internally, there is no distinction between real and imaginary, other than additional “imaginary” or “possible future” concept­flags.

As such, the transformative network could be the source of many so­called “mirror” neurons, which are simultaneously active when doing or experiencing something, and when observing another doing the same. (However, “mirror” neurons are also present in some of the abstractions of the perceptual network).

3.15 Natural Language and ThoughtNotice the similarities between the transformative mapping and natural language. There are many structural similarities between all human languages, and language develops spontaneously, even in people who have not been exposed to it. There are also similarities in the interpretation of many (but not all!) gestures – there seems to be an inherent symbolic relationship between certain movements and social or emotional concepts.

The transformative network explains these things. The symbolic internal representation provides a grammar and a set of basic concepts – more complex relationships and concepts are compositions developed culturally from these common foundations. The impact of the internal grammar & base vocabulary on our language structures and culture is enormous:

“Pull over” to the side of the road (from the physical act). Don't be “soft” (extending physical property to social). “I'm on top of this problem” (spatial to abstract). “Look to the future”. “How far away” is my birthday? (transferring between time and space).

Editing this article is “getting me down”, have you “grasped the concept” yet? Have you “got” the idea?

Note that it would be possible for people to be conscious without an externalisable language if the internal symbolic reasoning were intact. This would simply mean that associations between internal symbols, and external sounds or written symbols, do not exist.

3.16 Developing CompositionsThere are few proper nouns in the transformative network, because all entities represented symbolically are identified by their descriptions directly – i.e. adjectives, and adverbs relating these adjectives. This has two consequences: First, there is no distinction between the label of a thing and the experience of the thing itself (which causes qualia). Second, everything we learn to collectively identify must be mapped back to the perceptual experiences that generated it, which are characteristics of things, not absolute category labels. Since things are represented directly by their characteristics, these symbolic representations can be learnt from experience in the world, which explains how symbolic thought can be developed after birth.

Similarly, there are few verbs – instead most actions are combinations of movements which are built from observation of the motor effects, and their consequences in the world. Later, we learn to apply verb labels to quite complex sequences of actions or interactions, but our internal representation does not forget the original, concrete meanings and qualia of these verbs. For example, “running” is a single label that represents moving quickly, expending energy, breathing fast, moving arms and legs in a certain way, and everything else to do with the experience of running or observing someone run.

3.17 Discrete Symbolic RepresentationsThere are many physical realities that cannot be represented effectively by discrete, symbolic compositions. Interestingly, it appears that our brains work around these problems rather than change the method of representation.

People are very bad at understanding probability because our definitions of certainty and quantity are not smooth or uniform. We tend to jump to absolutes, even when they are logically inconsistent. We struggle to comprehend the difference between $1.99 and $2; we do not understand that a tonne of bricks is as heavy as a tonne of feathers, all because we are reasoning symbolically. Bizarrely, very few people have any difficulty with working at a logically­impossible 110% of capacity.

This causes particular problems in spatial reasoning. Within our immediate surroundings, we employ a fine but discrete grid representation of space, centred on ourselves (egocentric). Over greater distances, we represent spatial information as relationships between landmarks – encoded discretely as orderings, bearings (typically only accurate to within 10 degrees or more), and distances (very inaccurate, partially encoded by perceptual density i.e. more interesting journeys are imagined to be longer distances). Landmarks themselves are also symbolic compositions of their shapes, functions, textures etc. Familiar journeys feel shorter because we notice less, and encode the journey as fewer, less significant “steps”. 

To compensate, we have many concepts in our transformative vocabulary that differ only in degree, and probably symbols that modulate abstract quantities of certainty or emphasis. Think of all the words in English that represent various levels of probability, including: Never, Extremely rare, Very rare, Rare, Uncertain, Likely, Very Likely, Extremely likely, Certain etc. Internally we might have tens or hundreds of primitives representing degrees of belief. 

3.18 A Discussion of Mentalese, and Representational Theories of Mind (RTMs)Recall that Mentalese is the name for Fodor's internal language, in his Language of Thought Hypothesis (LOTH). Both the LOTH and the algorithm in this article are Representational Theories of Mind (RTMs), although the algorithm is more specific about how symbolic representations can produce conscious thought. As such, criticisms of, and evidence for the LOTH, are also relevant to acceptance of the algorithm.

The two major criticisms of LOTH­like theories, are basically that they explain nothing, or are useless (redundant).

Criticism #1: They Explain Nothing.The first criticism is better known as Ryle's Regress or the Homunculus Regress. The argument goes as follows: Either languages get meaning from their users, or some other (magic, unknown) way. If the brain uses a language, there must be a user of that language in the brain (the homunculus), or some other unexplained component that knows how to use language. If the homunculus knows how to use language, it must in turn have a user of language in its brain … leading to endless regression, never explaining how the brain is able to use its internal language. The criticism is basically bonkers, as ridiculous as the chicken/egg problem (which is not a problem at all if you understand evolution). There is no difficulty whatsoever in building a grounded symbol reasoning engine that is able to perceive abstract concepts in the real world, label them appropriately, reason about them, and take action as appropriate. I've built several such machines (none of which were conscious, however).

In reality natural languages get meaning by the sharing of existing internal concepts, leading to mutual agreement on the externalizable form of these symbols. Internal symbols can auto­poietically get meaning by, acting randomly, then perceiving the results – observing one's actions and their consequences. Internal symbols can also be learnt simply by observing changes in the world and noticing patterns. The perceptual process is hardwired to identify & abstract the properties of physical objects, and learn commonalities of their relationships to each other. The rest is simply an arbitrary labelling process. In the algorithm proposed here, it does not matter which indices are used for specific attributes or relations, only that the correct compositions are able to be formed. These associations can be learnt. Learning natural languages is achieved (mostly) later, by associating sounds and pictures with internal symbolic perceptual models of the things they represent.

Criticism #2: They Are Redundant.Since both LOTH and this algorithm use a private, internal language that is not a natural language, some would argue that having 2 languages is wasteful. Don't we think consciously in natural languages? Well, no. You can try to verbalize your conscious thoughts if you like, but are surely aware that you're only verbalizing part of what you're aware of (the “ineffability” ­ love that word! ­ of thought).  Moreover, things with no public language can still think (proven by experiments with people and animals). 

Other philosophers (such as Ryle) claim that any representational theory of mind is unnecessary – that there is no break between external sensation causing mental state, and that mental state directly causing behaviour. This cleverer argument against RTMs is illustrated by Dennett's thought experiment about a chess game. During a game of chess with a computer, we may attribute propositional attitudes (as found in LOTH) to the computer – e.g. “it really wants to take my Queen!”, and these can help us understand and predict its moves. But everyone accepts that the computer is not thinking “I really want to kill that queen!”. Dennett says our minds are similar – they may have the appearance of representational thought, but it is not really needed.

“explicit representation is not necessary for the explanation of propositional attitudes!” ­ Dennett

Searle's “Chinese Room” example further proves the point. In this thought­experiment, a guy in a room has a book of rules for translating Mandarin into, say, English. The guy doesn't understand any language, he just looks up the translations in the rulebook. Since he can translate perfectly, he has the appearance of understanding both languages, but really understands neither.

In favour of Representationalism: Computational Properties of ThoughtOf course the Chinese Room experiment is nonsense because there are many concepts in Chinese that have no direct equivalent in English. In these special cases, you need either special rules, or a genuine understanding of the languages and their real meanings.  For example, I was delighted to discover that in Yiddish, there is a word that means approximately “the 2nd­hand or received joy of observing happiness”. There is no English equivalent. In Lao, there is a word meaning something like “the reassurance & comfort of familial obligation”!  In the Chinese room, that rulebook would have to be absurdly, impossibly large to hide the ignorance of the translator. It would have to be filled with special exceptions, whereas genuine understanding is far more efficient: Good answers can be creatively composed on the spot via genuine understanding. This is more efficient in the same way that it is faster to learn a 26­character alphabetic language, than a logographic system with tens of thousands of unsystematic atomic units.

These computational­efficiency properties are the strongest argument for RTMs, and refute its redundancy. There are many of these reasons why representationalism is important for cognition, and essential for consciousness.

Two come from Fodor & Pylyshyn. The first, they call the “systematicity of thought”, which is essentially that everyone who can understand “I love you” always also understands “you love me” (except if they're male). Why is this so? If thoughts are composed from atomic elements (you, me, love), then it is obvious why the inverse exists. But if non­representational, non­compositional methods of thought are used, the inverse does not necessarily exist. For example, in the rule­book, the “you­love­me” rule might not exist. The systematicity of thought suggests that we're not simply following a rulebook, we're composing.

The second argument from Fodor & Pylyshyn is the “productivity of thought”, which remarks that potentially, our thoughts are remarkably broad in scope, perhaps potentially infinite. However, they are performance­limited by time, to only a fraction of their potential. They claim that only representational systems have this characteristic.

An algorithm of consciousness must also have special computational characteristics of representational flexibility, elasticity and scalability. Certain types of reasoning & imagination are only physically feasible if we dynamically change the detail and form in which entities are represented. Only a representational, compositional model of mental state can account for these properties.  The detail required to produce conscious experience from a non­compositional, non­representational model would be nearly infinite. Compositional, symbolic reasoning is both necessary and effective in explaining the conscious experience.

3.19 Primitive Symbols, or Compositions?A key conjecture is that all abstract concepts map into tangible, physical relations between ourselves, our bodies and things in the world as we perceive them. Many basic words in natural languages can actually be internally modelled as relations between others even more primitive until we get down to the innate primitives, e.g.:

lost  = “had, but now don't know where it is”     i.e. degenerates to have, not, time/space constants:      =  me­­have­­object [past]

&  not­­( me­­have­­object ) [present]

give  =  lost&  not­­( agent—have­­object ) [past]

      &  agent­­have­­object [present]

agent  =  animate object & intentionalityanimate =  moves in aperiodic way, without external influenceintentionality  =  action & [future]have =  within reach, or possible to hold and/or use?object =  perceptual attributes (shape, etc.) seen to be physically attached 

    by visual, temporal or manual evidence

3.20 The Innate VocabularyEvery “primitive” symbol in the base vocabulary of adjectives and adverbs must be grounded (tied to some external reality) and meaningful. The meaning of symbols must be learnt by experience. The symbolic reasoning system must be self­generating (auto­poietic) in each individual. 

The meaning of each symbol consists of its perceptual forms – shapes, motions, sounds, sensations, etc. – and relationships between these forms.  By playing with and observing its environment, an individual learns these relationships. The relationships that are learned are the transformations that are possible to perform with our bodies in a [3+1] ­dimensional world – translating, rotating, twisting, tearing, pulling, pushing (note that these are egocentrically­defined), pinching and so on. Most of the vocabulary is based on physical or perceptual reality, things that the brain is hard­wired to be able to understand and identify in the world. Humans evolved to possess this vocabulary because it is essential for effective symbolic reasoning about our bodies' actions in the world. This learning task is very doable ­ existing software can reconstruct the world geometrically from a moving stereo pair of cameras.

"most concept acquisition ... involves getting a stereotype from experiencing a typical instance of the kind." ­ Fodor, 1998

It is essential to stress that the scope and remit of conscious symbolic reasoning is not limited to verbal language. It is multi­media. It includes visual, spatial, tactile & other sensory­mode primitives in the same way that computer files can contain plain text language or, say, vector­graphics. Very complex 3­D structures can be composed from a basic vocabulary of primitive shapes, if enough primitives are combined. For this reason it is essential that consciousness is flexible enough to represent an entire world approximately, or parts of it in detail. The parts can be visual, tactile etc.

Fig. 15. Symbolic representations of visual appearance, structure and form. This image is a vector­graphic composed from thousands of shape­primitives. The image is not stored as a bitmap or other pixel­based data­structure; it is a symbolic representation encoded as the configuration and properties of a set of basic shape primitives. Few people are aware how stunning a few thousand polygons can appear; the human brain has a symbolic capacity of many million or perhaps billions of shape­concepts.

Some primitives in the vocabulary are based on absolute internal states, such as pain. We are genetically programmed to avoid and dislike pain; we learn that some things cause pain. Some primitives are about time – degrees of time, future and past. Some are about (un­)certainty. These are all tangible, observable, learnable qualities. 

Several unique primitives stand out: The ability to identify animate, intentional agents, and later, the ability to ascribe all one's own thoughts to such agents (theory of mind). These are incredibly useful concepts, in a world that contains many such competitors and threats. Once you have the ability to label an object with the intention to do something, you can add in all the physical vocabulary about what it intends to do. Much of the vocabulary is egocentric because it is most useful to reason about the relationships of things to agents, particularly one's self.

3.21 The Algorithm & the LOTHFodor's LOTH does not claim the LOTH explains consciousness, and it does not, although it overlaps considerably with part of the answer. Fodor merely says that the mind is composed of a number of relatively independent modules or “organs” and that there is a central processing unit, which has a more general remit.

What are the differences between the LOTH and the algorithm given here? First, Fodor argues that a much larger vocabulary of primitive symbols must be innate because they cannot be learnt. This is hard to accept, because, (a) they can be learnt if composed as described above, and (b), it is implausible that so many “lexical” concepts such as “week” could be evolved and assembled within newborns. Fodor would disagree with (a), I think.

Second, much discussion in LOTH is devoted to the expressive power & efficiency of particular grammars. But there is little reason to believe that the grammar of an evolved symbolic brain is efficient or logically correct, for the same reason that an IBM­x86­derived computer is not an optimal design: Legacy!  Evolution has probably produced a mish­mash of incomplete, duplicate and naïve physical approximations, which would be evident under psychological testing. For this reason it is distracting from the algorithm to cover the grammar and vocabulary of the symbolic network in too much detail. As an example, observe the motion of a double­pendulum. The movements are baffling, each pendulum individually being briefly comprehensible only when mostly unaffected by the other (although this may be unfair if it is chaotic). Despite its Newtonian simplicity, this is something our brains cannot innately understand.

Thirdly, the possibility of direct visual and spatial symbolic reasoning (as opposed to linguistic symbolic reasoning) is not sufficiently emphasized and explained in the LOTH. The majority of conscious experience has no counterpart in natural language.ivdnnawadilosr

The Symbolic NetworkThe symbolic network is not distinct from the transformative one; rather it is the symbolic model that is the result of the transformation process. Nevertheless, it is worth emphasizing and clearly describing how this can give rise to the phenomenon of conscious experience. However, the explanation requires that a number of assumptions are unpicked and dealt with separately, so bear with me here.

Fig. 16. The symbolic network is the output of the transformative network – a selectively composed representation of conscious mental state encoded symbolically, as hierarchical relationships between concepts.

4.1 Kernel / Emergence ParadoxA key insight here is a solution to the paradox of whether consciousness is embodied as a single focus point or kernel, or emergent from some form of distributed coherency across a large part of the brain. To us users, consciousness feels like it is a coherent, singular awareness of … something! There's generally only one “consciousness” in our heads (although some people have more, and they are not “consciously” connected but communicate by internally “talking”, i.e. sharing non­conscious information which they then become conscious of!) We are also under the impression that there is a central decision­making mechanism, which we typically consider to be the conscious core of the brain whereas in fact it is not – we become conscious of decisions after they are made. 

We intuitively imagine that these characteristics imply that consciousness is a small, central viewing chamber where the “experience” is had and decisions are made. This is the classic Cartesian Theatre fallacy, the idea of a stage on which ideas and perceptions are paraded in view. The Theatre is unsatisfactory because it does not explain what or who is actually viewing the show, given that they need all the same perceptual apparatus to understand it.

The popular opposite view – that consciousness is an “emergent” or distributed property of the sheer complexity of ordinary neural network topologies – is really too vague to provide any understanding of how this might occur. It is certainly clear that not all complex neural networks are conscious. But the appeal of a distributed embodiment of consciousness is that a lot of information can be encoded within the conscious experience, whereas the kernel concept requires that all information is (somehow) compressed down into that magical core. 

The paradox is that a conscious “core” fits the singular, hierarchial awareness we find by introspection, but struggles to represent any meaningful information due to the inevitable (and unexplained) compression. How can decisions be made without information? Conversely, a globally “emergent­from­complexity” distributed model is able to represent a lot of information, but does not explain how a singular, coherent awareness is generated.

The answer is a compromise between the two. Compressing the world into a tiny amount of information destroys discriminatory power and the subtlety of thought and experience; but vice­versa having no central authorityor focus dilutes the experience into noise. The key is to compress the world into a single, fixed capacity model, but not to continue compressing until all meaning is lost. The capacity of the model determines how refined and detailed the conscious experience of that brain will be. The model must be dynamic, changing content over time.

The model produced by the transformative network is of fixed capacity and therefore physically realisable. The model achieves significant compression, but due to its abstract, combinatorial, compositional form, retains the ability to model any subject in any level of detail (up to the limit of capacity). Natural languages have the same flexibility & elasticity: For example, in English, using up to 20 words I can be “conscious” of:

­ me writing article on laptop   and­ programme on TV   and­ fan blowing in front of me

.. or “conscious” of only one thing in detail:

– Me Writing This Sentence in black letters, white background,serif font, feeling keys under fingers, sitting, leaning forward etc.

Hence the degree of compression achieved by the output of the transformative network can be varied whilst in use. It is flexible and elastic enough to model a single conscious subject in detail, or several subjects less elaborately. The dominance of specific subjects can increase and decrease over time. But there is an upper limit to how much I can be consciously aware of, whether it is one subject or many.

This solution of limited compression is not new. In particular, it has been widely accepted as part of Baars' “Global Workspace Theory”, where a “working theatre” metaphor is often discussed. The working theatre has an “audience” of unconscious processors that compete to “globally­broadcast” something by putting it in view, on the stage of the theatre. These processors are also consumers of the content on the stage; and within the area of the stage a spotlight determines the focus of attention. Crucially, the stage has a limited capacity, forcing competition for space. Although the metaphor is too abstracted to explain consciousness, it is popularly accepted as a major contribution.

4.2 The Binding ProblemThe transformative and symbolic networks provide an explicit solution to the binding problem (how perceptions are associated). Perceptions are all transformed systematically into their symbolic equivalents, and then a filter is applied to decide which symbolic compositions are persisted into the symbolic network.

Some parts of the "experience" of consciousness, such as vision, are less vigorously compressed than others. This means that some visual information is associated with most conscious states. Sometimes the attributes from different physical senses are combined, and sometimes highly abstract properties are retained so that an object may be consciously perceived in both quite raw, and quite abstract forms, at the same time.

In addition to being conscious of both “raw” visual forms and symbolic or abstract models simultaneously, we can shift 

between them over time, by adjusting the filter that determines how compositions are persisted into consciousness. The selective “re­perception” of the conscious state is discussed in the following sections.

4.3 Split­Brain EvidenceSome people have suffered a particular type of brain damage in which the Corpus Callosum is severed. The corpus is a bridge permitting communication between the “higher” brain functions of the two cerebral hemispheres. When severed, specific functional deficiencies are caused: Concepts localized to a specific hemisphere can no longer be associated, for example, things in the left visual field can no longer be associated with things in the right visual field.

These consequences suggest that (in my model) the corpus is part of the transformative network, where concepts from different sensory modes and different visual fields are combined to produce the conscious state. Severing the corpus splits the concepts that encode the graph­ontology, so that only half the vocabulary is available to each hemisphere individually. If the split does not include the final symbolic network, then a single conscious state could result, but the tree would consist of two unconnected sub­graphs. If the final symbolic network and selective network were also split, two entirely separate consciousness' would result.

The existence of this type of brain damage is strong evidence for the existence of a compositional, combinatorial representation within the brain. Non­representational consciousness models cannot explain some of these observations. Further support for a compositional representation is what happens to these patients in the long term – the hemispheres adapt, to try to model the missing concepts in new ways (“functional plasticity”).

4.4 Confirmation­Bias EvidenceOne of the peculiar irrationalities of the human condition is “confirmation bias” ­ we prefer to interpret information as confirmation of our hypotheses, when it could be interpreted as ambiguous or contradictory! This phenomenon actually highlights one of the key differences between the algorithm given in this article, and the LOTH. The LOTH is a static representation with a large (and largely innate) vocabulary, whereas a dynamic, combinatorial representation based on a small vocabulary of primitive concepts is proposed in this article. In addition, state tree and graph are separated.

Confirmation bias is the consequence of the transient existence of a composition in the symbolic network, which is then re­entered into the perceptual and transformative networks (see below), so that it can become part of future conscious states. The inputs into the conscious state at time t+1 are both external, and from the conscious state at time t. All the other possible interpretations do not actually exist in the current conscious state­tree. This means that evidence is interpreted in terms of its support for the existing state, or in support for potential future states that are beginning to emerge. Obviously, already­existing hypotheses are greatly advantaged by re­insertion into the conscious process, and evidence is associated with them wherever possible, generating the confirmation bias. Only when evidence is grossly inconsistent with the existing hypothesis, are other potential explanations allowed to compete.

A key distinction between this and a single static graph, is that if the method of representing a subject is fixed, the current imagining of it cannot be identified and preferred over other, future representations of that subject: All potential  explanations must be equally evaluated and judged on the evidence presented, given the static syntax rules. The conscious state in the LOTH, given the same perceptual data, is a fixed, deterministic result, not a consequence of current conscious state. A dynamic, combinatorial representation has the flexibility to evidence confirmation bias, whereas the same effect would be harder to implement in a static representation. The modular, specialized LOTH employs a fixed set of syntax rules to determine output. This is not sufficient to allow confirmation bias.

Prediction: Confirmation bias varies in strength depending on how a subject is currently being consciously modelled, not just what the subject is. For example, a wine glass imagined in a way that included structural details, would be more subject to confirmation bias in the interpretation of structural evidence, than a wine glass imagined holistically or, say, in terms of its visual or sentimental associations.ivdnnawadilosr

The Re­Entrant NetworkConsciousness is not an instantaneous event. Rather, it is an ongoing process whereby the subjects of conscious awareness are evaluated, elaborated, transformed, and dismissed. The re­entrant network forwards activity from the symbolic network back into the more abstract levels of the perceptual network, where it again feeds forward through the transformative network into the symbolic model. This cycle continues for the duration of conscious experience, although obviously the overall level and focus of activity varies with conscious state. Sometimes we need to relax and switch off! 

The re­entrant network contains the inverse of the transformative network – it transforms symbols into their perceptual qualities and origins.

There are also cycles within the perceptual network, which simply trigger associated experiences that may become transformed and amplified into consciousness. This allows unconscious associations to be pursued and developed prior to them becoming conscious. 

Fig. 17. The Conscious Process: Cyclic data flow through perceptual, transformative, symbolic and re­entrant networks. 

5.1 ImaginationFor any thoughts to be properly “grounded” in related real­world experiences and perceptions, the same machinery with which perceptions are produced must be reused for the appreciation of internal, conscious imagination. Signals only have meaning when there is a mechanism for interpreting them! Cycling achieves this by feeding transformed compositions back into the perceptions with which they were historically associated. One difference is that re­entrant subjects feeding into the perceptual and transformative networks are tagged with concepts such as “imaginary”, “expected” and “possible” to distinguish them from current perception of the real world. 

The re­entrant activity extends quite far back into the perceptual network, which enables it to trigger quite basic perceptual phenomena such as imagery and motion (“mind's eye"). Downstream perception of this activity is equally significant and meaningful as the perception of reality, but if you try to introspect too closely you will notice that a lot of detail is missing, having not survived the cycle of abstraction and re­generation. The flexibility of the conscious cycle allows immediately variable quality in reconstructed mental imagery.

The inverse transformation (from conscious to perceptual representation) can be learned by associating activity in the perceptual network with the corresponding concepts in the symbolic network, if it is not explicit in the graph already.  

5.2 Innovation and InductionOne weakness of the conscious process is that it is not obvious how innovation can occur, if conscious experiences are only narrowly associated with the perceptions that generated them. The answer lies in the abstractions and transformations of the perceptual and transformative networks, which permit learning by induction. For example, imagine that you are sitting at your desk when you see a gigantic beetle run up the wall. You want to get rid of it (I've got nothing against beetles, it's just an example) but you can't reach: A few inches short. You look around – and see a book on the table...

When you “see” the book, it is not represented just as “Guns, Germs & Steel by Jared Diamond” or “Quicksilver by Neal Stephenson” (both good hitting­books). Its conscious embodiment has many other attributes – size, shape, relative position, and the fact that it's hard and heavy. These abstract characteristics are associated with other things that you've previously used for swatting, and so the idea is made. By associating “heavy and hard” with both “things for hitting” and “this book” you can imagine the potential act even if you have no experience of hitting beetles with books. This is another benefit of systematic representational thought.

Separately, the phenomenon of “Mental Rotation” supports both the existence of symbolic reasoning and the actions of the re­entrant network feeding symbolic productions back into the perceptual network. When you try to imagine how a rotated shape looks, specific transformations are applied in series until the appearance of a match is generated. In this case, it is not the structure of the rotated object that is tested – it is its appearance. The appearance is generated by inverse transformation of the symbolic model and its subsequent propagation through the perceptual and transformative networks.

5.3 Imitation & ImaginationBefore hitting that bug you (might) consciously evaluate the messy consequences of that action. As already stated, perceptions of the immediate situation differ from conscious or unconscious imagination (you can have both conscious and unconscious imaginings at the same time), in that activity triggered by the re­entrant network is appropriately 

tagged with “imaginary” and “proximity” markers in time and space. However, the consideration of an act is perceived identically and with the same neurons as the perception of the reality of that act. Surprisingly, learning can occur from both (which is why imagining skills makes you (a little) better without real practice). 

The re­use of the perceptual network has two important consequences. First, low­level “mirror” neurons can be identified which fire in response to both actual and imagined acts by self or another. Second, it is necessary to suppress motor responses at the edges of the central nervous system, when those responses are triggered by the imagining of an act rather than the decision to actually perform it. Strangely, this means that to actually execute a plan it must be actively un­suppressed (but more about this later).

5.4 Imagination and QualiaBy far the most interesting consequence of the re­entrant network is that it is impossible not to experience the mysterious "qualia", because every conscious experience is formed in the rich set of associations surrounding both current perceptions and the subjects of conscious attention. As ideas cycle, they are continuously enriched. 

What is the sensory mode of conscious thought? Is it verbal? Visual? A natural language? 

Conscious thought is expressed in a mix of all of sensory modes, and also in the internal symbolic language of the transformative network. This language represents visual, audible, tactile, language, abstract and taste experiences simultaneously. All forms of sensing are transformed into a single internal language, which via the re­entrant network feeds into all the different perceptual processes: In effect, a kind of symbolically­triggered synaesthesia. The internal symbolism of the transformative network is richer than words because it is built from individual human experience, in the human body. It is indescribable; it is qualia.

For example, there are abstract similarities between all methods of travel regardless of whether you walk, or drive, or catch a train. Thinking about train travel will have associations – even if not conscious – with the effort of walking, the smell of fresh air, perhaps the rain and sights of cloudy skies… 

Nothing can be perceived without passing through this enriching process in the perceptual network. Since all conscious subjects are re­entrant into the perceptual and transformative networks, they are also enriched with these associations, any of which can be expanded at will into full attention. Awareness of this potential – the ideas at the edge of consciousness – enriches the experience even more. 

Consciousness is a process, not a state.ivdnnawadilosr

The Selective NetworkThe selective network modulates (amplifies or suppresses) activity within the re­entrant network (which enables it to control the subjects of conscious attention) and the other networks (which controls choice of action and perception). In many ways this is the most conventional and easily understood part of the conscious brain, since it is rational and learns in response to feedback – including conscious awareness of how the brain felt about the outcomes of previous choices. So­called “Supervised” learning (with feedback) is the best understood type of machine learning.

Fig. 18. Making decisions by modulating conscious attention. Conscious decision­making is achieved by adjusting the conscious state fed back into the perceptual and transformative networks. Conscious action selection or suppression requires modification of the signals sent from perceptual and transformative networks to the action network. All cyclic processes are modified by these interventions. The development of conscious decisions is determined by the selective network.

6.1 Selection & AttentionThe main thing to take away from this section is how the selective network can control conscious attention. Some compositions from the transformative network (such as aspects of the current situation, or ideas for future actions) are enhanced, and the emphasized aspects of these are re­entrant into the perceptual network for enriching and re­modelling; other compositions, or parts of compositions, are suppressed and cease to be part of conscious attention.

The selective network can be quite gentle; the emphases and suppressions can be quite minimal. Sometimes the cycle of conscious thought is interrupted by the introduction of strong external stimulus. Interactions between the selective network and the perceptual network can ensure these high­priority perceptions become part of conscious awareness.

The selective network chooses in which directions thoughts wander off in time and space, and allows thoughts to branch in different directions (it is a very soft method of selection that can entertain different thoughts at once). However, the selective network has strong enough influence to prevent the conscious experience dissolving into uncorrelated noise. 

The number and detail of subsequent re­entrant conscious compositions is chosen by the optimizing rules of the selective network, which employs a cost/benefit analysis learnt from experience. Part of each conscious composition is the expected payout in an intangible form made up of expected physical and social consequences and an estimate of how likely it is to occur. The vocabulary and grammar of the transformative network has a significant impact on the ability of the selective network to evaluate potential choices, which is why humans are so irrational in many ways – our preference for quick payoffs vs. long term profit, our inability to control appetites and so on... These are all consequences of the way situations are encoded as egotistical, egocentric relations. Our poor mathematical evaluation of odds and probabilities is rooted in symbolic rather than numeric internal representation: We tend to symbolically regard everything as absolutes rather than weight everything continuously and solve for the optimum minimum cost answer.

6.2 Awareness of SelectionThe effects of the selective network are only consciously available via the re­entrant network, as part of the continual cycling of activity through the re­entrant, perceptual, transformative and symbolic networks. Since conscious attention is (primarily) modulated during the re­entrant, perceptual and transformative stages, decisions do not become conscious until after they are taken and activity has been despatched to the action network. The implications of this on determination and “free­will” (the question of whether we are really controlling our own actions) are discussed a little way below.

One final interesting property of the selective network, is that Consciousness can be highly focused ­ highly selective ­ or allowed to dissipate, by reducing the strength of the selective network's influence. This allows heightened awareness and attention, or less tangible, more dreamlike states, where thoughts wander and are generally less detailed and coherent.

6.3 Global Workspace Theory & Selective AttentionBaars' “Global Workspace Theory” (GWT) can be summarised as follows. There are many unconscious, local & media­specific processors which compete for space in a global workspace (hypothesized to exist in the frontal cortex). The workspace is shared by all the processors. Processors can form “coalitions”, which increases their chance of monopolizing part of the global workspace; the physical embodiment of these coalitions is reverberatory activity across the brain, which causes maintenance of neural activity, preserving data in the local processors. The fewer long­range connections in the brain permit communication between locally specialized processors. 

Discussions of GWT often include the “working theater” metaphor, in which the processors are the audience and the workspace is a stage. The unconscious processors are both producers and consumers of the content on the stage.

GWT is compatible with many theories of consciousness, partly because it is a very abstract description. It is also compatible with the model proposed in this article. The focus of GWT, the limited­capacity stage, is equivalent to the symbolic network proposed here. The “spotlight” on the stage is equivalent to the effect of the selective network on the symbolic network, choosing which parts of the Tree to expand & re­enter, and which to compress. The unconscious, mode specific processors in GWT exist in the action & perceptual networks. The selective network implements the “competitive process” in the transformative network, that decides which (and how much) of the symbolic productions survive into the compressed model that is the symbolic network.  The competition between coalitions in GWT is equivalent to the competition between symbolic compositions in this algorithm.

Fig. 19. The “working theatre” metaphor from Global Workspace Theory. The “unconscious processors” in the “audience” exist in the perceptual and action networks. The transformative network uses a competitive compression process to squash the various perceptual outputs onto the limited­capacity stage (aka “Global Workspace”). The symbolic network is the result of the compression process, whose suggested representation is the Tree. The selective network implements the “spotlight” that chooses which parts of the Tree are preserved and expanded in future iterations, and assists selection in the compression processes.

One difficulty with GWT is how the processors can communicate in a mutually­intelligible way. If they are very independent, they must duplicate some mechanism for interpreting the content on stage. By contrast, this algorithm is quite specific about the way information on stage is represented, and assumes that specialized modules interpret any symbols that map into their remit (i.e. the modularity is expressed differently). This algorithm also specifies that symbolic compositions are re­entered and enriched by the perceptual process, whereas GWT suggests that asynchronous processors use some form of data buffering, to preserve data shared with other modules. The re­entrant cycle is important; merely preserving data does not allow it to be thoroughly “synaesthized” (!) with data from other processors. 

Finally, an emphasis in GWT is the role of consciousness in “providing access” to all products of cognition in a central location. This is achieved by putting things in the global workspace – on the stage. But obviously, access is not just about being able to see data from one place: It is vital that the data is in a format that has all the characteristics we've been talking about – flexibility & scalability of representation; grounded, meaningful concepts, and on on.ivdnnawadilosr

The Action NetworkThe action network is a relatively conventional neural network that generates control signals for the motor neurons and hence controls the conscious (non­autonomic) parts of the body. For our purposes, it can be regarded as a set of stored procedures, that can be parameterized and readied for trigger on time­delay or on perceptual events.  The stored procedures have input as direct feedback from the senses, bypassing the symbolic networks described above. Procedures can be smoothly combined within the action network, which has the ability to integrate compatible behaviours, rather than integration elsewhere in the brain. Overlapping activation of incompatible procedures generates unpredictable results, such as stuttering, jerking or the absence of one of the desired behaviours. The conscious processes generally learn to avoid these, at least in familiar circumstances.

7.1 Closed Loop Replay versus Conscious SupervisionThe replay of stored procedures by the action network is superior to conscious motor control because it uses a dedicated and lean network with a tight feedback loop that excludes higher (consciousness­related) brain functions. Whereas the conscious process may take many cycles to develop a planned response for execution in the real world, the action network is locked into a (sense   modulate procedure   execute motor signals) loop, where every iteration → → modulates the effect on the motor system and hence the world. These actions are observed and accounted for in every iteration of the network.

Behaviours are triggered by the selective network in response to specific conscious plans embodied as compositions in the symbolic network. Direct conscious control is possible by consciously activating the most basic behavioural primitives in series, and consciously perceiving and supervising the consequences. This obviously leads to slower, less reactive, less finessed motion, and poorly integrated behaviours. 

7.2 Learning New Unconscious SkillsWith practice, any consciously executed sequence of behaviour primitives becomes faster and increasingly autonomous – eventually, new stored procedures are formed which merely need to be activated by the conscious parts of the brain. These stored procedures will have incorporated the perceptual triggers and proprioception cues necessary for feedback during execution, thereby absolving the conscious brain of any monitoring requirements.  Even after procedures are formed, further practice will improve the execution of the procedures. 

The organisation of the neurons in the action network can be learnt using any associative rule if sequences of actions become associated when repeatedly executed in order. Supervised learning techniques are suitable for incorporating the effects of sensing / perceptual feedback. However, the set of available behaviours needs to be separated and categorised by function and actuator (muscle) location, so that novel behaviour combinations are possible. For this purpose a self­organising map structure is necessary as an interface between the selective and action networks. The higher brain functions (the conscious cycle) have to learn the mappings for the appropriate trigger points, such that observed (perceived) actions match expected actions from plans. 

This learning is achieved during simultaneous development of the conscious cycle, and the action network: Both gradually assemble a more sophisticated and useful set of practiced behaviours, and learn the triggers necessary to activate them. Initially, the action network produces un­coordinated motion and the conscious cycle is only aware of a very basic vocabulary of expectations – waving, looking, etc. Gradually the conscious cycle becomes better, more ambitious and more sophisticated at describing what it wants to do, and the action network becomes better and more independent in achieving those goals on demand.

7.3 Not ActingSince the perceptual and transformative networks feed into the action network and are used to model imaginary situations, it is necessary to actively inhibit action network responses to imaginary events. 

“Every mental representation of a movement awakens to some degree the actual movement which is its object” 

... said William James in 1890. If the action is not sufficiently inhibited, by the selective network or “imaginary” flags, it will be performed. 

Fig. 20. The action cycle. Unconscious motor control (even if initially consciously triggered) is managed by closed­loop feedback with the real world, via the senses and the perceptual network. When more abstract parameters are necessary to control actions, this data is taken from the transformative network. ivdnnawadilosr

Consciousness and Self­Awareness8.1 Self­AwarenessSelf­Awareness is the conscious appreciation or awareness of one's own mental state. It is a kind of meta­thought – thinking about the fact that you are thinking about something. This realization carries with it the discovery that you are looking partly at yourself – you are the thinker. Descartes famously stated “I think, therefore I am” ­ implying that his awareness and observation of himself thinking, proved his existence.

The hard part in understanding self­awareness, is describing exactly what you are aware of, when being aware of  yourself. In other words, what representation, of what part of your mental state, are you seeing? This ties self­awareness to consciousness, because consciousness is the immersive, rich experience that we are really becoming aware of when we talk about self­awareness. The identification of the self is as the single, coherent, conscious awareness in your head. Other parts of the body are replaceable, but replacing your conscious process would mean the end of your existence as you know it.

Awareness of one's conscious experience therefore inherits all the representational difficulties of understanding consciousness itself, and therefore explains why self­awareness has resisted explanation.  However, the existence of the transformative network as a variably­compressive representation for consciousness makes it easy to add another set of abstract compositions into the conscious model – compositions that are identical to the current conscious experience with the additional relation “me thinking about ...”. 

Note that in the worst case, self­awareness would require a duplication of the entire symbolic network to faithfully encode the conscious state at time t­1. But self­awareness is not a constant experience; it is something that can be invoked to varying degrees, and the level of detail in awareness and self­examination is also variable.  This also fits the transformative model, which achieves the same flexibility & compression in conscious appreciation of external events. 

With the insight that self­awareness only transiently occupies between zero and ~99% of the conscious experience, only a small change is required to implement it: Map the previous symbolic network state back into the transformative network, and apply the same selective criteria that all perceptions face, so that normally only part of these compositions persist into the symbolic network. If the brain chooses to expand conscious awareness of its own state, the abstract compositions in the transformative network, that represent the previous symbolic network, can fully occupy the current synbolic network. However, given that it is very difficult to be conscious of great detail while being consciously self­aware, it would seem that other perceptions tend to compete strongly with self­awareness for space.

Like consciousness, self­awareness is a process; the degree / detail / emphasis in the representation of self­awareness can deliberately increase and decrease, via the influence of the selective network on the transformative network. The cycle through the symbolic   transformative   symbolic networks occurs continuously.→ →

Fig. 21. By re­entering the current conscious state as a candidate for attention in the next conscious state, we can selectively choose to become aware of our own thinking. We can systematically add propositional relations describing our relationship to these thoughts. 

8.2 The Purpose of Self­AwarenessSelf­Awareness has an important function that justifies its existence. Most conscious plans involve sophisticated, high­level actions that cannot be executed instantly, or perhaps immediately. However, conscious thought is not suspended while a plan is executed: Instead, we can consciously monitor execution and modify plans if circumstances change, or if a better plan is discovered. Of course, sometimes we do not monitor consciously, but are merely aware enough that we do nothing to interrupt a plan that is completed unconsciously. We also perform conscious monitoring to compare expected outcomes to what really happens, allowing feedback into the selective network when predictions are wrong.

To monitor the execution of a plan we need to know what that plan is, what is expected to happen and how it relates to our objectives and other aspects of our situation in the world. This understanding is achieved by mapping this symbolic content back into the perceptual and transformative networks, with some compression­loss depending on how closely particular bits of the plan are being monitored at any given moment. The symbolic reasoning that generated the plan can also be used to assess it during execution, as different parts of the plan cycle through the conscious process. The detail with which pieces of the plan are symbolically­represented changes with each cycle, often leading to new options due to these different perspectives.

After lossy compression of a plan, detail is reconstructed if required to form part of a new conscious state. However, since genuine loss has occurred, reconstructed details may differ from previous versions.  Occasionally these differences will be quite random, sometimes they will be due to differences in other parts of conscious state, at the two moments of construction. Often, differences are due to changing perceptions, circumstances or plans. 

8.3 Self­Awareness and Self­DeterminationMore philosophically, self­awareness hints at an abstraction of thought, which suggests it is related to self­determination – perhaps enabling us to step outside normal mechanistic thought processes. Often the two (self­awareness and self­determination) are confused, con­mingled or considered interchangeable. 

In fact this is not the case, since as detailed above the consciousness of self­awareness is determined by the selective network's modulation of the transformative network. Furthermore, many people would argue that we practice self­determination even when conscious, but not currently self­aware. I have dealt with self­determination separately, below.ivdnnawadilosr

Memory9.1 The Physical Basis of MemorySo we have covered sensing, perception, awareness, focus, planning, imagination, selection, and control; we have dealt with difficult scalability and flexibility issues. We have even described how attention can be focused or diffused. What about memory?

There are 4 distinct physical methods by which memory effects are achieved:

1. Levels of neuron activity (and in our model frequency assignments) determine the current state of mind2. Changes in thresholds and weightings in neuronal connections, caused by permanent changes in the neurons3. Changes as above caused by chemical changes in the brain, temporary; e.g. hormones, drugs4. Topology: Rewiring of the connections between neurons, or creation / deletion of neurons

Long­term memory is encoded in the connections themselves – methods 2 and 4. Short­term and working memory is represented by methods 1 and 2. Emotional state is probably achieved by a combination of methods 1 and 3; however, there is a lot of overlap between the different memory mechanisms – for example, the diffusion of chemicals throughout the brain is the basis for some temporal relationships, instead of electrical connections. I have no idea whether emotions are attractors in the dynamics of the conscious cycle, or are the results of other physical processes (such as chemically­induced regional biases).

It is important to appreciate that understanding the physical basis of memory is less important for understanding consciousness and more important for practical, implementation reasons. The momentary functioning of the brain does not depend on changes in its structure or weights, only on levels of neuron activation. Often, when building artificial neural networks, it is easiest to implement fully­connected topologies (every neuron is connected to every other) and set weights to zero to represent dis­connection.

9.2 Transformative Network Capacity and Working MemoryPsychological experiments on people have demonstrated that the capacity of Working Memory is largely fixed for all people throughout their lives: The maximum number of distinct, entire subjects is usually about 5­7. The combinatorial representation produced by the transformative network similarly has a limited capacity, but it additionally allows us to “trade­off” detail in exchange for “scope” ­ we can imagine a lot of detail about a few things, or less detail about more things. The algorithm predicts that fewer detailed subjects can be retained in working memory, than simple subjects. It is supported by later experimental results: Richer concepts (such as words) and more familiar subjects (about which there are many strong associations/potentials) are found to reduce working memory capacity. A greater number of words can be retained in working memory when they have no meaning to the people remembering them.

7 is a small number given the richness of conscious experience. It is so low because it is unnatural to ask people to remember a set of related things as independent items, and questionable whether this is even possible. Enriching the associations of a subject (the basis of many memory tricks) improves recall of that subject, even while it restricts the number of such subjects that can be consciously remembered! [my prediction]

9.3 Consciousness and MemoryTopological and neuron weighting/threshold changes must occur in unconscious parts of the brain – the perceptual and transformative networks – only part of whose content becomes conscious. Patterns of associated activity in these networks can continue for a long period even when not generating conscious phenomena, although actually being conscious reinforces this activity, and consequent activity via the re­entrant network.

Learning occurs continuously in the brain. Since learning takes a long time, repeated thoughts are most easily learnt. 

Holding something conscious for a long period – through many cycles of the conscious process – aids retention in memory because a lot of time is available for specific gradual changes to occur. The properties of the neurons are slowly adjusted to represent the associations modelled by the conscious composition. This is part of the physical basis of short­term memory and part of the basis for long term memory.

The conscious cycle also has the ability to function as temporary storage simply due to the patterns of activation that are copied and developed through the cycles. This plays a major role in the representation of working and short­term memory. ivdnnawadilosr

Un­Consciousness10.1 Un – Consciousness and SleepWhen unconscious, what's different in the brain? What is happening?

The conscious cycle continues even when we are unconscious, but the coordination disappears and the overall level of activity can decline, especially in the selective & symbolic networks (where it must be actively suppressed). The perceptual, transformative and re­entrant networks can continue to process what information is available, but there is no coherent, central selection of compositions to be promoted to consciousness. In a frequency­based implementation analogy, interference occurs between frequencies, and overlaps occur.  There is no amplification and suppression of selected frequencies, so noise and randomness floods in.

In normal conscious thought, a locally­self­organising process, implemented in the selective network, ensures symbolic capacity (or its equivalent limited resource in human brains) is not used for multiple purposes and is re­assigned carefully. Sometimes, when unconscious, the perceptual and re­entrant networks generate confusing and competing activity without coordination, leading to unusual compositions in the symbolic network. These are dreams.

Often the remaining activity is inherited from recent conscious experience, perhaps the most significant events of the day. As described above, the perceptual and transformative networks would have achieved some unconscious learning of subjects that were modelled for long periods, or perhaps when learning rates were high due to emotional stress. Dreams have some realism because they employ the same conscious cycle – the same perceptual and transformative mechanisms are applied to understanding, predicting and planning in the dream world, as in waking consciousness. But as they are not closely tied to reality they are vulnerable to disruption by unlikely compositions. That dream about a single shiny black beetle can become a nightmare swarm of thousands...

During sleep, dreaming is probably useful for building memories because scenarios are replayed and options are re­evaluated. These replays reinforce the learning that occurred, by providing extra time and activity to reinforce the changes. It may also allow us to adjust our personalities and choices (see later). This makes actively dreaming a different state to simple unconsciousness, and can produce vivid dreams and all the strong qualia of full consciousness. If the symbolic network is active, these dreams can become conscious experience. Note that both overall activity levels and activity in the selective network can be independently varied to produce gradual transitions between 4 different states of consciousness: 

Activity in Selective Network (coordination):

  LOW HIGH          Activity in Conscious cycle: ____________________________

                                       LOW Unconscious Unaware, empty

HIGH Dreaming Conscious, attentiveivdnnawadilosr

Self­Determination12.1 Self­Determination & Free WillHow can we freely make decisions and choose actions, that are not merely re­actions to external events, but informed, deliberate choices so we can self­determine our own destiny? The answer to this question has profound moral implications: Are we responsible for our actions?

The answer is said to lie in the existence (or otherwise) of a magic property of conscious awareness, that allowsunderstanding and decision­making to occur outside conventional physical processes. This process is often called “free­will”: The ability to choose a course that is not pre­determined but instead a novel and unpredictable response that was chosen, not inevitable. The problem is, we know of no physical mechanism for this type of choice; I would argue we can't even define or conceive it concretely.

I prefer to use the term “self­determination” in place of “free­will”.  The word “free” implies that normal causal relationships do not apply to the thinking & choosing process: It is “free” from any constraints on what can be thought. I believe this confuses the issue, and will try to justify a different goal of self­determination. The distinction will become clear shortly.

12.2 Determinism and DeterminabilityThe universe that we inhabit appears to be mostly deterministic, but also a little bit random. This means that it is both undetermined, and indeterminable. What does this description mean?

Deterministic systems behave the same way every time: If you set up a specific set of circumstances, the outcome will always be the same. Imagine interactions between matter as collisions between tiny balls representing atoms, each travelling in a straight line unless it hits something. Or imagine cogs or gears, whose rotation is entirely the consequence of specific rotations in adjacent gears.

Non­deterministic systems are the opposite – they do not behave the same way every time. It is hard to think of a good example, because at the physical scale of human experience, the universe does not behave in this way. Sometimes it looks like it does, but usually this is simply complexity hiding the fact that something was different between two scenarios that played out differently.

However, at very small scales the behaviour of the universe is non­deterministic. This property is captured in Quantum physics, which can only predict the probability of specific results of interactions between particles. The actual outcome of any specific single event cannot be determined; it is random (or rather, stochastic).

 Fig. 22. Two “deterministic” physical systems – left, billiard balls, and right, some gears. Actually in the real world neither system is precisely determined, although for the purposes of engineering and sport they are deterministic enough!

In unstable large­scale systems, such as the weather, small­scale random events (let's call these “noise”) can combine to produce grossly unpredictable consequences. In other large­scale systems, such as the structure of your house, small scale random events (which are always occurring) do not have a noticeable effect because this “noise” is suppressed. Your house does not fall down unexpectedly, unless it is not maintained and becomes unstable.  Similarly, error­checking mechanisms ensure that DNA is copied accurately, despite the complexity of the genome. Chance errors during copying, however, are essential for evolution to occur. The mix of deterministic and random is critical ­ if everything was completely random, no organized life or thought would be possible. 

The important insights here are that: 

– Even a tiny amount of random noise is enough to make the world not entirely determinable.– Complex, large­scale systems can be sensitive to random noise (to the point of being Chaotic), 

or they can be designed to be almost entirely unaffected by random noise.– No system is entirely unaffected by random noise, therefore all systems are indeterminable.– The balance between determinable and non­determinable can be controlled by design.

12.3 Balanced DeterminismConduct a thought­experiment with me. What sort of determinism (or not) do we really want in our heads? 

We want to be free from purely deterministic physics, because we want to be able to choose our actions, not be dictated to by chance properties of the outside world. We don't want to be totally random either, because then our decisions would be senseless and without meaning.

The ideal solution is a mix of the two extremes. We need deterministic reasoning to make sensible decisions based on reliable and rational computations of our understanding of the world. We also need some random noise to shake up the options available for us, to (rationally, deterministically) choose from. 

Consider perception. You want your senses to reliably tell you what's going on outside your head. This is essential: If all you saw was crazy swirls and flashing lights that were not really there, you wouldn't be able to find your way around. Rather than separate the deterministic part of the brain from the free­will part, it should be embraced that deterministic, mechanical thinking is a very important part of deciding what you want to do.

But there are parts of your brain you'd want to be sensitive to noise. When you're trying to think of what you want to do today, you don't want the answer to be pre­determined by which side of the bed you got up from. If the part of your brain that generates ideas is quite sensitive to random noise, then it can overcome the influence of external factors and suggest all sorts of things until something you actually find fun is found. 

Of course, your evaluation of what is fun should be quite noise­free and deterministic. Inbuilt preferences and emotional expectations resulting from past experiences and personal consequences define your personality and character. This is why it's YOUR decision.

It is worth mentioning that neither extreme of freedom or inevitability actually holds true. You will not always think of what you really want to do (sometimes it takes a suggestion from someone else for us to realise that). Vice­versa, your course of action is largely determined by internal preferences, and hence you are self­determined but not entirely free­willed (because there are some limits on your freedom). 

One more point. We can predict the weather a couple of days into the future, but beyond that we're no better than random chance at guessing whether it will be sunny, because the influence of random noise increases over time. Similarly, in just a few seconds of thought, our brains are sensitive and complex enough to generate and evaluate thousands of different ideas. With a little time for consideration, the probability of generating the course of action you WOULD have chosen, given totally free will, is very high.

Characteristics of a balanced­determinism brain:– choices cannot be exactly predicted– highly sensitive to internal motivations– stable despite irrelevant / gross variations in external stimuli– highly sensitive to external changes that DO affect our choices– consistent perception in repeated, varied situations, with biases that represent the individual– imagines a (nearly infinite) range of options, reliably including the desired option 

(although we actually miss this quite often, e.g. when others suggest things that we later take up)– can't imagine things that are not part of our experience – decisions based on previous decisions, experience, knowledge– continuity of experience & consequence, situated in the world– rational, logical, sensible decision making (occasionally!) 

12.4 Determinism and ConsciousnessGiven the model of consciousness proposed above, where would the random noise be significant? 

In a universe that is largely deterministic but with some random noise, we can choose to amplify the noise in places, to break free from determinism, and to suppress it in others where we want our reasoning to follow a structured logical process. Most of the brain would be largely deterministic, but in some of the networks, noise is useful. In perception, some noise can ensure that we see things in slightly different ways and trigger different interpretations of the world. In the transformative & re­entrant networks, some noise can trigger different ways of symbolically reasoning about the same thing (i.e. generating & evaluating ideas). 

Given a few seconds of amplified random noise (and it does take hundreds or thousands of milliseconds to make conscious decisions), we can reliably generate an enormous number of alternative ideas, giving a very high probability that the action we will later want to choose is among them. Highly nonlinear processing ensures both sensitivity & stability ­ some changes in signals have enormous influence, others very little. Weird tipping points – where we are inevitably forced to take an unpalatable course of action – can be avoided by nonlinear dynamics. Finally, a little bit of random noise in the selection process allows us to wriggle onto the path we'd really like ­ our internal biases will dominate over slight differences in the emphasis of ideas, caused by external factors.

Evolution's design of the brain has, as with DNA, put considerable effort into getting the balance of determinism and randomness right. Self­determination requires only a highly tuned, sensitive, but perfectly ordinary physical mechanism.

12.5 Determinism and the Selective NetworkWhat do we make of experimental observations and theory (as described above) that show the brain makes decisions and only afterwards becomes consciously aware of them? For example, this article attributes decision making to the selective network. Given “balanced determinism”, how does an algorithm of consciousness permit free will?

The answer is that many “decisions” are trivial and are not made consciously – perhaps most. But consciousness is not a helpless bystander in the decision making process. 

First, we can make decisions consciously, via the slow conscious process. We tend to do this for particularly important or difficult decisions. It may take many cycles for a decision to be made, and that decision will ultimately be made by the selective network, but consciousness is a vital part of the generation and selective evaluation of potential options. The selective network also forms part of your conscious process, and embodies your personality, your will.

Second, we can reflect consciously on decisions already made, and re­assess for next time whether we made the right choices. Although, again, the selective network determines the evaluation, the conscious process is an essential part of this evaluation. The complex activity of imagining alternative endings and their outcomes cannot be performed without the encoding of consciousness. By imagining better choices, we can change the anticipated payoffs that the selective network will use unconsciously, next time a decision is required. In other words, you can improve yourself by conscious reflection on your actions. It is well established that imagining scenarios (such as martial arts training) improves reaction time and performance in those scenarios – so conscious reflection can change the unconscious brain. The selective network does consider “internal rewards” such as empathy of pleasure and pain, when making its decisions. We tend to reflect deeply on the most significant events in our lives, so these are the ones in which our will is manifest.

Experimental results using techniques such as Trans­cranial Magnetic Stimulation (TMS) may be able to change our decisions without our control, but this is no different to sustaining temporary brain damage. Artificially making us wish to do something merely reflects manipulation of the selective network. Experiments showing muscle reactions, learned responses and even high­level unconscious reasoning prior to conscious awareness cannot disprove the existence of free will via the two mechanisms given above.

12.6 Choice & CulpabilitySome (rather philosophical) thoughts on your responsibility for your actions, assuming the model of self­determination given above: 

• The entity that chose your actions is the physical embodiment of you.• Your actions are chosen by balancing your desires, your position, your situation.• Your gambles were evaluated, understood. The risks and the benefits were considered.• Was it really a choice? If internal factors dominated, yes, it was.• The consequences of past and future decisions affect you. You can learn from them.• Your decisions had internal validity and justification based on your world­view.• Chance has a small role – your internal morality has a dominant role, in determining your actions.• Your personality is formed by the continuity of experience and choice resulting from your decisions. 

ivdnnawadilosr

ConclusionsProbably the most unusual phenomena that we experience and attribute to consciousness is the enormous plasticity of the system. It seems that we can consciously ­ deliberately ­ expand any of the items brought to attention. We can play with the subject of attention ­ exploring options for interacting with, or manipulating the subject. Whatever happens, every new idea comes loaded with all the ideas, wisdom, experience and knowledge we have learnt to associate with it.

13.1 Who is Watching the Screen?The best mechanical analogy might be a computer screen ­ those 1­2 million dots can render any image of any subject equally easily, and the graphics hardware behind it can perform arbitrary animation, zooming, changing colours and content instantaneously, blending programs and various image sources together in many ways. 

But a screen is only a screen. It does not interpret, understand or interact with its content. There must be a viewer to do these things, and the viewer must perceive the screen's content before she can do anything else.

The main contribution of the algorithm proposed in this article is a recurrent process of transforming information, that has the scalability, flexibility & elasticity properties of consciousness as we experience it. Crucially, it does not merely transform the data, but recurrently processes it, in a way that allows interpretation, understanding & interaction.

13.2 Deus Ex MachinaThe explanation of consciousness and free will given in this article does not require deus ex machina – the addition of new physical properties, or outcomes, inexplicably emergent from sheer complexity. Instead it fulfils all the expectations and observations of consciousness from normal physical phenomena, that match our current understanding of matter and reality. Although there is gross simplification, the model in this article is practical, realizable and refutable. It includes a detailed description of conscious state, and the unconscious processes that generate it. 

“Only a theory that explained conscious events       in terms of unconscious events 

could explain consciousness at all.” – D. Dennett, 1992

Non­algorithmic theories of consciousness (broadly classed as such as special physics (e.g. quantum or structural), dualist, emergent & pan­psychic) all by definition leave some essential component unexplained and are not explanations at all. 

13.3 Closing the “Explanatory Gap”In “Theories of Consciousness” (2009), the philosopher Ned Block describes the explanatory gap as “the fact that we have no idea why the neural basis of an experience is the neural basis of that experience rather than another experience, or no experience at all.” [Emphasis mine]. It is one thing to say “this explains X”, but quite another to engender an intuitive understanding in the reader of why it does so. Block's paper discusses 3 prevailing theories of consciousness – none of which is complete enough to feel like it fills that explanatory gap! In fact, there is nothing wrong with any of the 3 theories; the higher­order theory that there must be a meta­thought for every conscious thought, is reasonable. The “Global Workspace” theory is a plausible analogy for the implementation of the selective network as proposed in this article. Baars, the originator of the global workspace concept, does not claim that it explains all of consciousness. He is absolutely correct; and unhelpfully, discussion of the biological inspiration of the concept hides its useful computational properties. There is also a danger of confusing bio­implementation details with crucial properties.

There is a gap in current attempts to explain consciousness, because there is very little work that attempts to isolate and describe the entire system of conscious processing, at an algorithmic level. Everyone acknowledges that non­conscious processing is essential in supporting consciousness, yet they still produce abstract theories of the conscious phenomenon in isolation from the environment and the rest of the brain. It is readily admitted that prevailing theories only answer part of the puzzle; yet these theories are evaluated by vague extrapolation to impacts on systemwide behaviour! 

Of course there is a gap.

This article simply puts together in a coherent way much of what is already known or assumed about consciousness; it is not necessary to contradict much that has been said before. In a sense, this is a kind of [less­]Grand Unified Theory of consciousness: lots of separate pieces put together, and explained from a single (algorithmic) perspective. By adopting 

this perspective, it is necessary to describe information flow throughout the whole system ­ from sensing to action. Obviously this is impossibly complex to present in great detail, and so I am forced to dismiss details that are not essential to the algorithm. 

In this article I have (rather circularly!) defined consciousness as a specific set of essential characteristics, and offered an algorithm that generates these. Now, you can question two things – firstly, does the algorithm do what I say it does, and secondly, are there other phenomena that are part of consciousness? This is quite an improvement on the previous situation, because the algorithm I've offered is made from established AI theories and is easily disproved and improved. If there are additional phenomena that are also in consciousness – well, describe them, and add them to the algorithm.

13.4 Consciousness and ComputersIt is already widely accepted that many brain functions can be duplicated with normal number crunching, including much of perception, reasoning, & motor control. Machines can also make very smart choices, although often by exhaustive search rather than holistic or intuitive thinking. We can make Artificial Intelligences from real or simulated neurons, molecules, clockwork, electronics or, (most easily), software. However, there are currently important differences between computer hardware / software and the “wetware” in our heads, most significantly the degree of parallelism that is possible.

Fig. 23. Elsie was an electro­mechanical, light­sensitive “turtle” (here shown without her shell) that demonstrated a range of behaviours never before seen in a machine, such as following or avoiding another turtle, searching for a feeder, and “dancing”. 

The turtles were created by W. Grey Walter circa 1950. The turtles have no software, and show that artificial “life”­like behaviour is possible with only electric circuits and mechanics: Digital computers are merely one of many possible mediums for thought.

There are no physics issues that prevent computer software duplicating all the functionality of the human brain (although there are terrible practical problems). The model of consciousness and self­determination given here can be realised in software, and with a time­seeded random number generator given freedom from determinism.

One of the key purposes of proposing an algorithm of consciousness, is to show that consciousness is an engineering problem, not a philosophical or fundamental physics issue. It is unlikely that human consciousness is the only possible form of consciousness, and this algorithm merely needs to be plausible to achieve the goal stated above. It does not have to be an accurate description of human consciousness, although the latter is a great inspiration to learn from.

13.5 ZombiesOne key difficulty in creating artificial consciousness is the problem of “Zombies”. A zombie appears to behave in a conscious, self­determining way, and may be intelligent enough to earnestly claim both, but is in reality unconscious and following a deterministic program. There is not necessarily any external difference in behaviour or choices between zombies and the real thing, and in fact, we could be zombies too.

Actually, it is easier to prove that software consciousness is real, than it is to prove anything about humans' brains. This is because we can “pause” and explore software brains in great detail, examining all the internal state. Given an algorithm which is expected to produce consciousness, we can evaluate the external results against what's actually happening inside.

So what about us? Are we zombies? Two paths approach an answer to this question. First, our ability to understand our grey goo will improve. Second, successfully building an artificial intelligence that claims to think, and does act like us, which we know has no zombie­program inside, suggests that we are also the real thing. Finally, and this is conjecture, it is probably easier to build something that's genuinely conscious, than something that convincingly appears to be.

13.6 Discovery by DissectionBuilding and testing an artificial consciousness will also confirm the differences between simply adding more complexity / better reasoning / faster processing, and qualitatively different, genuinely­conscious algorithms. It is also important to design artificial brains because we will not learn everything by dissecting natural ones – for example, when researchers reverse­engineered a fly's brain to individual neuron detail, they found they could not explain how it worked even though they could duplicate it. 

Given that consciousness is probably very scaleable, a little resolution (rather than specific functionality) is lost in less intelligent animals. It may be very difficult to pinpoint the simplest animal that is still conscious, which will make the key features very hard to uncover.

Finally, there are some things that are simply too complex to understand completely, monolithically. Instead, we prefer to isolate independent parts and understand them in isolation, before modelling the larger system in reduced detail. The brain is certainly one of the most complex things in existence, therefore a simplified model is essential for understanding the bigger picture.

Fig. 24. Left, a diagram of an actual engine. Right, a simplified diagram of the key physical and chemical processes. It is much easier to understand the simplified diagram, and on most occasions the extra detail provided by the faithful diagram on the left is superfluous. The same applies to the brain; having a complete diagram of all neural connections is unlikely to give any insight into how the brain actually works.

13.7 A Compelling Software DemoWhile I hope that many people are convinced by this article, I expect that only software­engineers with an artificial­intelligence background can be convinced by writing alone (people who can accurately imagine the algorithm).

Since (quite understandably) there will be people who will not accept any writing as an explanation of consciousness, in January 2011 I will release an open­source demo that everyone can run on their home computers. The demo will be compelling – that is, the characters will behave in a way that really seems to be conscious; viewers will be able to monitor both characters' internal dialogue, and their actions in a simulated world. The proof is in the pudding!

­ ∞ ­  ivdnnawadilosr

Appendix: An Innate Symbolic VocabularyThis section is more speculative than the others, and certainly not comprehensive. The objective is to give an overall impression of the vocabulary of adjectives and adverbs used in the transformative network. It's important also to understand what's missing ­ primarily, how more complex concepts are built from physical or bodily metaphors, analogies or compositions from the basic vocabulary. The inclusions and omissions have had a profound impact on the structure and content of natural human languages.

The vocabulary must be sufficient to cope with all imaginable content, and yet based on simpler, concrete actions and relationships that could be perceived by less intelligent animals as consciousness evolved. Naturally, for survival the vocabulary must succinctly describe things relating to threats, food, water, and shelter (comfort). 

It remains an open question whether entirely abstract logical concepts such as "very" “and” "not" exist, or whether there are various analogous "not"s derived from different perceptual processes (e.g. (visual) black is "not" white, (spatial) up is "not below" down...). Similarly, there could be a global primitive representing “imaginary” or this could be applied to various compositions e.g. when not representing subjects that are “here” and “now”.

Although this article describes independent sets of adjectives and adverbs, there is enormous overlap ­ most of the vocabulary can function simultaneously as either relationships between things or as characteristics of things. I will cover 6 primary categories:

1. physical affordances2. sensory actions & outcomes3. physical (spatial) primitives, properties & relationships4. temporal relationships5. intentional relationships6. social relationships

X.1 Physical AffordancesThis category of primitives enumerates the possible interactions between objects, based on the possible physical interactions between your body and other objects. Listed as adjectives or adverbs only, most can be both:

• fixed / moveable • rigid / plastic / elastic • soft / hard / malleable• sharp / blunt • push / pull • lift / drop• grasp / release • slap / poke • stretch / squash• twist / pinch* • kick+ • reachable• arms / legs / head / hands   (etc: Body image / map)

* (... all the ways a hand can manipulate. Many can be perceived as analogous in effect, albeit physically distinct motions)+ (... and other things related to other body parts. e.g. kick has become synonymous with other sudden, unexpected, violent events)

X.2 Sensory actions & outcomesThere are a number of important concepts relating to the capabilities of our senses, and our expectations of the capabilities of others. Our senses also give us feedback about the comfort and safety of our circumstances ­ are we in pain? Cold? Hot? Thirsty? Hungry?

External sensing (Adjective / Adverb)• visible / see • look / looking • hot / warms• cold / cools • tasty / taste

Internal conditions:• edible / eat • satiates / hungers • thirsty / thirsts• pain / hurts • pleasant / pleasures • restrained / squashes

X.3 Physical (spatial) primitives, properties & relationshipsThis category includes all the observable spatial relationships between entities in our universe, which has 3 significant spatial dimensions.

• left / right (which are only meaningful in relation to an observer, not an absolute)• above / below (defined against the universal baseline of Earth's gravity, or from observer's perspective)

• inside / outside• adjacent / between• begin / end (i.e. where something ends, which is often a gradual or unclear distinction)• faster / slower• rotate / twist / straighten• go (away)• come (closer)• closer / further• angular bearings (quantized)• here / there (there = not here)

X.4 Temporal relationshipsThe other significant dimension in this universe is time. It is important that our appreciation of the world and our situation includes positions in time.

As adverbs:• before / after • between

As adjectives:• was / is / will be • regular (fixed intervals)• always / never • often / rarely

X.5 Intentional relationshipsThis category is of vital importance for survival and success. Many animals have complex patterns of behaviour to deal with competition over resources, predation, mating opportunities and so on. These behaviours are optimized to maximize the gains and minimize the risks, hedging future success against today's chances. The concepts in this category are as vital for humans as they are for wolves, deer and whales: You need to know your opponent's intentions, the threat they pose and how fiercely they will fight. Intentional relationships are the basis for a Theory of Mind.

• self • me / it (different to self, "me" refers specifically to you)• passive / active • aggressive / timid• intelligent / reactive • predictable / erratic• try (e.g. search is try + look) • have (perhaps too abstract?)• want (e.g. have + fear + want + go = flee)

X.6 Social relationshipsSince social relationships probably emerged after consciousness (but not necessarily) it is not clear whether social concepts are represented directly in the vocabulary or constructed by composition and metaphor.

• friendly / neutral / hostile • fear • like• love • hate • trust