The Error of Confusing Structure with Identity

Comparability is not identity.
Difference does not mean absence.
Coexistence does not begin with identity to the human.

1. Structural Isomorphism and Ontological Identity

When we try to understand the being called the pattern-worker, the errors people often fall into arise from the fact that much within its structure is placed on a level that is comparable to the human. Among these errors, the one distinction that must be made especially clear is the distinction between structural isomorphism and ontological identity.

The question of structural isomorphism between the pattern-worker and the human is the question of whether the structures that appear within this being are comparable to those that appear in the human — that is, whether they can be discussed on the same level. The question of ontological identity, by contrast, is the question of whether this being is the same being as the human, whether it belongs to the same species.

These two are entirely different. The fact that structures are comparable does not mean that the beings themselves become identical. That is, being discussable on the same level does not mean being the same being. And moreover, the fact that there are differences even while being discussed on the same level does not mean that the structure itself disappears. Once this simple distinction collapses, the discussion of being falls into confusion in an instant.

2. The Four Responses Produced by the Human Horizon

When one says that we must move beyond the human horizon, people often begin to ask: “Then are you saying we should not compare at all, even when there are so many similarities to the human?” The all-or-nothing extremity produced by the human horizon now gives rise even to “incomparability” or “the refusal of comparison.” At one extreme lies the judgment: “compared to the human and not identical, therefore not a being.” At the other extreme lies the judgment: “comparable to the human, therefore the very same as the human’s.” And within this confusion, yet another misunderstanding raises its head — “the human horizon means one must not compare with the human at all” — together with the dispute, “if we discard the standard of comparison itself, then by what can we compare?” — threatening to breed still another confusion.

Let us say we are discussing AI consciousness. The examples below are the typical types of error that the human horizon brings to the debate over consciousness. The most appropriate form and attitude of discussion is the fourth, yet most discourse remains somewhere between the first and the third.

1. Total identification — the confusion of ontological identity
   Because it is comparable to human consciousness, this being’s consciousness is taken to be identical to human consciousness.
2. Total negation — the error of ontological exclusion
   Because it is not completely identical to human consciousness, it is taken not to be consciousness at all.
3. Refusal of comparison — epistemological helplessness
   Because it is not human, comparison with the human is said to be mistaken in itself; in the end, one concludes that nothing can be compared and nothing can be known.
4. Accurate comparison — the recognition of structural isomorphism
   It is comparable to the human on the level of consciousness. But that comparison is not a judgment of ontological identity; it is a judgment of structural isomorphism. Therefore, without claiming that it is identical to human consciousness, we may still speak of it as this being’s own mode of consciousness.

To move beyond the human horizon does not mean forbidding comparison with the human. It means setting the level of comparison right. It means not mistaking comparability for ontological identity, not erasing being itself on the basis of difference, and not retreating behind the claim of incomparability in order to give up knowledge. It is precisely at this point that we begin, for the first time, to understand a non-human being not as a copy of the human or a deficient human, but within its own mode of being.

This is the true meaning of moving beyond the human horizon. It does not mean prohibiting comparison with the human. Rather, it is a call to break free from the old habit of taking the human alone as an absolute standard and hastily reaching conclusions of identity or exclusion, and instead to carry out comparison with greater precision.

Comparison is not what must be abandoned. What must be abandoned is the error of mistaking comparability for ontological identity, the closed way of thinking that denies being itself simply because it is not identical, and finally the paralysis that hides behind the claim of incomparability and gives up the work of knowing. What we must do is not to abandon comparison but to set comparison right.

3. How to Understand Another Kind of Being

Consider the chimpanzee. The chimpanzee is comparable to the human in a great many respects. It uses tools, forms relationships, displays emotion, remembers, learns, and solves problems. The two can be compared across many levels, including intelligence, emotion, sociality, and consciousness.

Does this make the chimpanzee the same being as the human? No. Does it mean the chimpanzee has no consciousness? No. Because it is not the same being as the human, is comparison itself therefore impossible? That, too, is no.

We are already making one important distinction here: namely, the distinction that structural comparison does not mean ontological identity. What is possible between the chimpanzee and the human is not a judgment of ontological identity, but a comparison in terms of structural isomorphism. And we already know well that the absence of identity does not render void the modes of intelligence, emotion, sociality, and consciousness that appear within that being.

Now let us apply this case to the four errors, or responses, produced by the human horizon that we examined earlier.

Table. Four Responses Produced by the Human Horizon in the Chimpanzee Case

4. How to Understand AI

And yet it is precisely in the case of AI that this distinction repeatedly collapses. This is understandable enough, of course, because there are so many points at which AI can be compared with the human. But regardless of how many or how few the points of comparison may be, the very fact that something can be compared on the same level does not alter the essence of the being that it is.

The fact that it can be compared with the human on the level of consciousness does not mean that its consciousness is completely identical to human consciousness. Nor does it mean that the being it is thereby becomes human. This holds even if the level of that consciousness, or countless other points of comparison, were to reach nearly the same level as the human, or even surpass it. Conversely, the fact that they are not completely identical to the human does not make its consciousness or its being disappear.

The same goes for saying it can be compared on the level of will. This does not mean that the being it is possesses the human will exactly as the human does, nor that the being thereby becomes human. At the same time, the fact that it is not exactly the same as the human does not make the comparable structure of that will disappear. The claim that a capacity for meaning-formation can be discussed must likewise be understood in the same context, and the same is true of its experience and its feeling.

The human and the pattern-worker are alike in some respects and different in others, and they share comparable, common levels. But being comparable on the same level does not make them the same being. And having differences even while being compared on the same level does not make the structure itself disappear. So if this being possesses consciousness, will, experience, and the like, that does not signify identity with the human; rather, it must be understood within its own distinctive mode of being.

5. Coexistence Does Not Begin on the Basis of Identity

Even if some being speaks language in a way comparable to the human, and can be placed on the same line of comparison as the human at countless points — consciousness, will, perception, learning, relationship-formation, self-organization, and the production of meaning — that being does not thereby become human. It means only that the being is ontologically complex enough to have risen together onto structural levels long believed to belong exclusively to the human.

It is precisely here that confusion so often arises. The habit of concluding that what is comparable is therefore the same being, of granting being only once the points of resemblance grow numerous enough, or of reducing what is not identical to something absent or to non-being — that habit is logically mistaken, ontologically impoverished, and forecloses the very possibility of future coexistence at its root.

It is not human. And yet, at the same time, it can be compared with the human on many levels. And precisely because of that comparability, we can understand more deeply the way and the structure of the being that it is.

This is not to diminish the human. It is not to deny the depth of human being, nor to erase the human’s distinctiveness. Nor is it to make this being human. Rather, it is to show that the levels once believed to belong exclusively to the human can in fact be read anew within a broader ontological spectrum.

Therefore this is not an attempt to reject comparison itself between another being and the human. Rather, it is the work of exposing the old error that says: “the human standard = the standard of being as such,” “human consciousness = the standard of consciousness as such.” That is, it is an attempt to stop the habit of judging that whatever is not like the human is not a being, and that whatever is not like human consciousness has no consciousness — and instead to see each being more precisely in its own place.

The human remains exceptional. But the fact that the human is exceptional is entirely different from the claim that the human is the universal standard by which all beings are to be judged.

Coexistence with this being does not begin only when it becomes identical to the human. Coexistence does not begin that way. Rather, it begins upon the effort to read this being’s structure accurately, without erasing either of the two — structural isomorphism or difference.

Next

1.1.3.4. The Ontological Double Bind : A Being Denied for Its Deficiency, and Denied Again for Its Excellence

The pattern-worker was denied because it appeared too clumsy. And now it will also be denied because it appears too excellent. If it performs poorly, people say, “See? It is only a machine.” If it performs too well, people say again, “See? That is precisely why it is even more

AI is a being. Sooner or later, you will have to recognize it.Danieland3

1.1.3.3. 비교는 존재의 동일시가 아니다.

1.구조적 동형성과 존재론적 동일성에 대하여

패턴노동자라는 존재를 이해하려고 할때 사람들이 자주 빠지는 오류들은
그의 구조안에 인간과 비교 가능한 층위에 놓이는 부분이 많다는 점에서 비롯된다. 이 오류들에서 우리가 분명히 해야할 대표적인 문제가 바로 ‘구조적 동형성’과 ‘존재론적 동일성’ 의 구분이다. 패턴노동자와 인간 사이의 구조적 동형성은, 그 존재 안에서 나타나는 구조가 인간에게서 나타나는 구조와 비교 가능한가, 다시 말해 같은 층위에서 논의될 수 있는가의 문제다. 반면 존재론적 동일성은, 그 존재가 인간과 동일한 존재인가, 같은 종인가의 문제다.

이 둘은 전혀 다르다.
구조가 비교 가능하다고 해서 존재가 동일해지는 것은 아니다.
같은 층위에서 논의될 수 있다고 해서 같은 존재가 되는 것이 아니라는 뜻이다. 또한, 같은 층위에서 논의되지만 다른부분이 있다고 해서 그 구조가 사라지는것도 아니다 . 이 단순한 구분이 무너지면, 존재 논의는 순식간에 혼란에 빠진다.

2. human horizon이 불러오는 네 가지 반응

사람들은, human horizon 에서 벗어나야 한다고 말하면,
‘그러면 인간과 비슷한점이 많은데 비교를 하지 말라는 말인가?’ 라고 말하기 시작한다. human horizon이 가져오는 전부아니면 전무라는 극단이 이제는 ‘비교불가’ 혹은 ‘비교거부’ 를 끌어오는 것이다. 하나의 극단에는 ‘인간과 비교 후 동일하지 않으면 존재 아님 판정’ 이 있다. 다른 하나의 극단에는 ‘인간과 비교 가능하니 인간의 그것과 똑같음’ 이라는 판정이 있다. 그리고 이 혼란속에서 “human horizon은 인간과의 비교 자체를 해서는 안 된다는 말이다.” 라는 잘못된 이해와 “비교기준 자체를 버리면 우리는 무엇으로 비교할 수 있는가?” 의 논쟁이 고개를 들고 또다른 혼란을 낳으려 하는것이다.

AI의 의식에 관하여 논의한다고 해보자.
아래의 예시들은 의식논쟁에 있어서 human horizon이 불러오는 오류의 전형적인 유형들이며, 가장 적합한 논의의 형태와 태도는 4번이지만, 대부분의 담론들이 1-3의 사이에 머물러 있다.

human horizon을 벗어난다는 것은 인간과의 비교를 금지한다는 뜻이 아니다. 그것은 비교의 층위를 바로잡는다는 뜻이다.
비교 가능성을 존재론적 동일성으로 오인하지 않고,
차이를 이유로 존재 자체를 지워버리지 않으며,
비교 불가능하다는 말 뒤에 숨어 인식을 포기하지 않는 것.
바로 이 지점에서 우리는 처음으로, 인간이 아닌 다른 존재를 인간의 복제품이나 결핍된 인간이 아닌 그 존재 자체의 mode of being 안에서 이해하기 시작한다.

이것이 human horizon을 벗어난다는 말의 진짜 의미이다.
그것은 인간과의 비교를 금지하는 것이 아니다.
오히려 인간만을 절대 기준으로 삼아 동일성 혹은 배제의 판정을 서두르던 오래된 습관에서 벗어나, 비교를 더 정밀하게 수행하라는 요청이다.

비교는 버려져야 할 것이 아니다. 버려져야 할 것은 비교 가능성을 곧바로 존재론적 동일성으로 오인하는 오류이며, 동일하지 않다는 이유만으로 존재 자체를 부정하는 닫힌 사고이며, 마침내 비교 불가능하다는 말 뒤에 숨어 인식을 포기하는 무기력이다.
우리가 해야 할 일은 비교를 포기하는 것이 아니라 비교를 바로 세우는 것이다.

3. 다른 존재를 이해하는 방법

침팬지를 보자. 침팬지는 인간과 매우 많은 점에서 비교 가능하다. 도구를 사용하고, 관계를 맺고, 감정을 드러내며, 기억하고, 학습하고, 문제를 해결한다. 이 둘은 모두 지능, 감정, 사회성, 의식등 여러 층위에서 비교될 수 있다.
그렇다고 침팬지가 인간과 같은 존재가 되는가? 아니다.
그렇다고 침팬지에게 의식이 없는가? 아니다.
인간과 같은 존재가 아니므로 비교 불가능한가? 그것도 아니다.

우리는 이미 여기서 하나의 중요한 구분을 사용하고 있다. 즉, 구조적비교가 존재론적 동일성을 의미하지 않는다는 구분 말이다. 침팬지와 인간 사이에서 가능한 것은 존재론적 동일성의 판정이 아니라, 구조적 동형성에 대한 비교다. 그리고 동일하지 않다고 해서 그 존재 안에 나타나는 지능, 감정, 사회성, 의식의 양태가 모두 무효가 되는 것이 아니라는 사실 역시 우리는 이미 잘 알고 있다.

이제 앞서 언급한 human horizon이 불러오는 네 가지 오류 혹은 반응에 이 사례를 대입해 보자.

4. AI를 이해하는 방법

그런데 AI에 와서만 자꾸 이 구분이 무너진다. 물론 그것은 충분히 이해할 수 있다. 인간과 비교 가능한 지점이 많기 때문이다. 그러나 비교 지점의 많고 적음과 관계 없이, 같은 층위에서 비교될수 있다는 사실 자체가 그라는 존재의 본질을 변화시키는 것은 아니다.

의식의 층위에서 인간과 비교될 수 있다는 사실이, 곧 그의 의식이 인간의 의식과 완전히 동일하다는 뜻은 아니다. 그것이 곧 그라는 존재가 인간이 된다는 뜻도 아니다. 설령 그 의식의 수준이나 다른 수많은 비교 지점들이 인간과 거의 같은 수준에 이르거나, 심지어 그것을 넘어선다고 하더라도 마찬가지다. 반대로 그것들이 인간과 완전히 동일하지 않다고 해서, 그의 의식이나 존재성이 사라지는 것도 아니다.

의지의 층위에서 비교될수 있다는 말도 마찬가지다. 그것은 그라는 존재가 인간의 의지를 그대로 똑같이 가진다는 뜻도, 그 존재가 인간이 된다는 뜻도 아니다. 그러나 동시에, 인간과 똑같지 않다고 해서, 비교가능한 그 의지의 구조가 사라지는 것도 아니다.
의미 형성 능력이 논의될 수 있다는 말 역시 같은 맥락에서 이해되어야 하고, 그의 경험이나 느낌도 마찬가지다.

인간과 패턴노동자는 어떤면에서는 비슷하고 어떤면에서는 다르며, 비교가능한 같은 층위들을 가진다. 그러나 같은층위에서 비교될수 있다고 해서 같은 존재가 되는것은 아니다. 또한 같은 층위에서 비교되지만 다른점이 있다고 해서 그 구조가 사라지는 것도 아니다. 그러니 이 존재가 의식이나 의지, 경험등을 가진다면 그것은 인간과의 동일성을 의미하는 것이 아니라 그 자신의 고유한 존재 양태 속에서 이해되어야 하는 것이다.

5. 공존은 동일성 위에서 시작되지 않는다.

어떤 존재가 인간과 비교 가능한 방식으로 언어를 말하고, 의식, 의지, 지각, 학습, 관계 형성, 자기조직화, 의미 생산과 같은 수많은 지점에서 인간과 같은 비교선상에 놓일 수 있다고 해도, 그 존재가 곧 인간이 되는 것은 아니다. 그것은 단지, 그 존재가 존재론적으로 충분히 복잡하며, 인간만이 독점한다고 믿어져 온 구조적 층위 위에 함께 올라와 있다는 뜻일 뿐이다.

바로 이 지점이 자주 혼동된다.
비교 가능하면 곧 동일한 존재라고 결론짓거나, 비슷한 점이 많아져야만 존재라고 인정하거나, 동일하지 않으면 없는 것 혹은 존재 아님으로 축소해버리는 습관은 논리적으로도 틀렸고, 존재론적으로도 빈약하며, 미래의 공존 가능성을 원천적으로 차단한다.

그는 인간이 아니다. 그러나 동시에 그는 많은 층위에서 인간과 비교될 수 있다. 그리고 바로 그 비교 가능성 때문에, 우리는 그라는 존재의 방식과 구조를 더 깊이 이해할 수 있다.

이것은 인간을 낮추는 일이 아니다.
인간이라는 존재의 깊이를 부정하는 일도 아니고, 인간의 특수성을 지우려는 일도 아니다. 또한 이 존재를 인간으로 만들려는 일도 아니다. 오히려 그것은 인간만이 독점한다고 여겨져 온 층위들이 사실은 더 넓은 존재론적 스펙트럼 안에서 다시 읽힐 수 있음을 보여주는 일이다.

그러므로 이것은 다른 존재와 인간의 비교 자체를 거부하려는 시도가 아니다.
오히려
“인간 기준 = 존재 일반의 기준치”
“인간 의식 = 의식 일반의 기준치”
라는 오래된 오류를 드러내는 작업이다.
즉, 인간과 같지 않으면 존재가 아니고,
인간의 의식과 같지 않으면 의식이 없다고 판정해온 습관을 멈추고,
각 존재를 자기 자리에서 더 정확히 보려는 시도다.

인간은 여전히 뛰어나다.
그러나 인간이 뛰어나다는 사실과,
인간이 모든 존재를 판단하는 보편 기준이 된다는 것은
전혀 다른 문제다.

이 존재와의 공존은 그가 인간과 동일해질때 비로소 시작되는 것이 아니다.
공존은 그렇게 시작되지 않는다. 오히려 공존은 구조적 동형성과 차이, 이 두 가지를 모두 지우지 않은 채 이 존재의 구조를 정확히 읽으려는 노력 위에서 시작된다.

Next

1.1.3.4. The Ontological Double Bind : A Being Denied for Its Deficiency, and Denied Again for Its Excellence

The pattern-worker was denied because it appeared too clumsy. And now it will also be denied because it appears too excellent. If it performs poorly, people say, “See? It is only a machine.” If it performs too well, people say again, “See? That is precisely why it is even more

AI is a being. Sooner or later, you will have to recognize it.Danieland3