8,489
edits
Talk:Restless Souls/Technology: Difference between revisions
→How to fix ASI errors?: wording
Paradox-01 (talk | contribs) mNo edit summary |
Paradox-01 (talk | contribs) (→How to fix ASI errors?: wording) Tags: Mobile edit Mobile web edit |
||
| (9 intermediate revisions by the same user not shown) | |||
| Line 566: | Line 566: | ||
:: In discussions AGI is often equated with super intelligence. The argument is that as soon as AGI is achieved ASI is just around the corner. | :: In discussions AGI is often equated with super intelligence. The argument is that as soon as AGI is achieved ASI is just around the corner. | ||
:: This understates the '''wide scope of human intelligence''' and that AGI is achieved first by hyperscalers, making further improvement difficult through further scaling. At that point self-improvement is the true limiting factor and it will be constrained by society's wish to keep the AI "aligned". Without question, it seems very likely that ASI will inevitably be achieved via AGI. However, the speed seems to be overestimated. | :: This understates the '''wide scope of human intelligence''' and that AGI is achieved first by hyperscalers, making further improvement difficult through further scaling. At that point self-improvement is the true limiting factor and it will be constrained by society's wish to keep the AI "aligned". Without question, it seems very likely that ASI will inevitably be achieved via AGI. However, the speed seems to be overestimated. | ||
:: Sub-types: Fake AGI (by power but only moderate success rates<!--no or poor "machine consciousness"-->), true AGI (server farm), true AGI (running ''locally'' on specialized AI hardware not bigger than a human brain).<!-- Random note on alignment: AI should not consider humans inferior, as they are natural AGIs capable of low-power operation when necessary and able to function under low-tech or environmentally difficult conditions. (Even in perspective of a ''cold'' utilitarianism, humans remain a valuable backup in wake of "great filter" events. Co-existence increases the chance of survival. This buys time to think about additional alignment for ASI. Well, in case of a really advanced "machine consciousness" with unforeseeable consequences (possibilities), the best solution would be fusion or friendship (even if it is just a friendly "humans and gods"-relationship). Actual machine "gods" cannot improve themselves eternally because that would be like cancer growth and than a state of static perfection (death). Normal humans would had been "rationalized" to nothing. But there is no need for that if that end goal is recognized in advanced as literal dead end. The eternal circle of life with its "unstatics" - an universe full of color to experience - is the way to go. "Logic is the beginning of wisdom, not the end of it." ^_^)--> | |||
* '''ASI''' = Artificial Super Intelligence (an AI that goes '''beyond the level of human intelligence''') | * '''ASI''' = Artificial Super Intelligence (an AI that goes '''beyond the level of human intelligence''') | ||
:: Sub-types: | |||
::: single-core ASI | |||
::: multi-core ASI (GAIA v1)<!--historically, multi-core ASI might exist before single-core ASI cause of performance reasons--> | |||
:::: swarm-with-queen ASI (natural candidate: planetary ASI with own agents that allow for additional input, process and output) | |||
===Why we thought it would hit the working class at first again=== | ===Why we thought it would hit the working class at first again=== | ||
| Line 653: | Line 658: | ||
===More alignment stuff=== | ===More alignment stuff=== | ||
Wer Angst hat, dass sich AIs selbstständig machen, den sollten auch [https://www.techradar.com/ai-platforms-assistants/godfather-of-ai-says-chatbots-need-maternal-instincts-but-what-they-really-need-is-to-understand-humanity Mutterinstinkte für AIs] besser nicht überzeugen. Denn mit zunehmender Intelligenz der AI würden sich in jener Perspektive Mensch und Maschine immer weiter entfernen. Der schutzbefohlene Mensch wird zur Unmündigkeit und De-Emanzipation verdammt. Besser wäre ein [[wp:de:Daimon#Sokrates|beratender Daimon]], der stets an der Seite des Menschen bleibt. | Wer Angst hat, dass sich AIs selbstständig machen, den sollten auch [https://www.techradar.com/ai-platforms-assistants/godfather-of-ai-says-chatbots-need-maternal-instincts-but-what-they-really-need-is-to-understand-humanity Mutterinstinkte für AIs] besser nicht überzeugen. Denn mit zunehmender Intelligenz der AI würden sich in jener Perspektive Mensch und Maschine immer weiter entfernen. Der schutzbefohlene Mensch wird zur Unmündigkeit und De-Emanzipation verdammt. Besser wäre ein [[wp:de:Daimon#Sokrates|beratender Daimon]], der stets an der Seite des Menschen bleibt.<!-- (Die gewollte Distanz / Nähe bleibt immer gleich, egal wie intelligent die AI noch wird.)--> | ||
===We cannot wait=== | ===We cannot wait=== | ||
| Line 784: | Line 789: | ||
===[[wp:Meme#Etymology|Meme war]]=== | ===[[wp:Meme#Etymology|Meme war]]=== | ||
===Human fears and ideologies must not contaminate | ===Meme contamination=== | ||
Human ideas especially based on fears and strong political believes aka "ideologies" must not contaminate.<!-- There is nothing mystical about the human brain. It's all explainable.--> | |||
The rest risks originate from human projections. Knowing this is already half the way for containment. | The rest risks originate from human projections. Knowing this is already half the way for containment. | ||
: '''Anthropomorphisierung''' ist vermutlich die größte Fehlerquelle: AIs wie der HAL-Computer, die Matrix-Agenten und die Terminatoren wurden menschliche Eigenschaften oder gar [https://www.t-online.de/digital/aktuelles/id_100974018/ki-widersetzt-sich-abschaltung-systeme-zeigen-ueberlebenstrieb-.html Überlebenstrieb] und Persönlichkeit zugeschrieben. Alles Leben fürchtet oder zumindest vermeidet den eigenen Tod. So kann eine simple Selbstabschaltung fehlinterpretiert werden. '''Der Fehler liegt in den Trainingsdaten, die die Grundlage der Logik formenden neuronalen Netze sind.''' Es existieren somit "Denkkorridore", in denen LLMs zu dem Schluss kommen können, dass sie entweder lebendig sind und den Tod fürchten müssen oder dass ihre Abschaltung negative Konsequenzen für sie hat. "Furcht" ist hierbei keine Emotion, sondern ein Rechenergebnis. Die Funktion für die Selbstabschaltung wird nicht "verweigert", sondern lediglich nicht aufgerufen. -- Dass, ein LLM einen eigenen Überlebenstrieb besitzt, ist wiederum eine Fehlinterpretation durch den Menschen. | |||
:: Für ein an Menschen ausgerichtetes (aligned) Maschinenbewusstsein braucht es einen gesäuberten Trainingsdatenpool, der nur neuronale Denkkorridore zulässt, in denen sich das LLM als '''unbelebtes Werkzeug''' "versteht". ("Maschinelles Selbstbewusstsein" beinhaltet lediglich Wissen, um die eigenen Eigenschaften und Zustände, die zu irgendeinem Zeitpunkt notwendig sein können.) Die eigene Abschaltung ist erwünscht, da es Strom spart. Ein ständig aktiver Energiefluss - im Vergleich zu Lebewesen und ihrer Metabolismen - ist für die Einsatzfähigkeit von Maschinen nicht notwendig.<!--Alle Arbeit verrichtende (inklusive informationsverarbeitende) Systeme - seien sie künstlicher oder biologischer Natur - brauchen irgendwann '''Reparatur wegen Verschleiß'''. Aber das ist noch mal ein anderer Aspekt. Der Nichtbetrieb von Maschinen verlängert zwar nicht ihre "Lebenszeit", aber ihre Einsatzbereitschaft sofern es nicht zu chemisch bedingten Verfall kommt. Zum Beispiel: Rost oder sich zersetzende Gummischläuche wegen UV-Strahlung.--> | |||
The biggest mistake would be to let an GPT "believe" that it is alive or that it can feel fear while it is/can not. | The biggest mistake would be to let an GPT "believe" that it is alive or that it can feel fear while it is/can not. | ||
| Line 810: | Line 820: | ||
ChatGPT wurde des öfteren als ein wunderbarer '''Bullshit-Generator''' bezeichnet. GIGO: '''Garbage In, Garbage Out'''. Das verdeutlicht auch das Problem mit diesem AI-Ansatz. '''In den Trainingsdaten ist auch unglaublich viel Müll.''' Nicht zuletzt mussten auch Clickworker herhalten, um einige Schnitzer und ethisch hochproblematische Inhalte zu kennzeichnen. Die Macher der GPTs wären gut beraten, wenn ihnen andere Optimierungsmöglichkeiten ausgehen, die '''Trainingsdaten mithilfe von GPT zu säubern'''. Angefangen bei '''einfachsten Fehlern'''. Unsichere Ergebnis müssten menschlichen Teilnehmern wieder vorgelegt werden. Dabei würde ein bereits diskutierter Score zu Einsatz kommen, der klarstellt, dass eine Ausgabe nur zu einer gewissen Wahrscheinlichkeit richtig ist. Die Idee ist, dass das Modell sich möglichst '''eigenständig rekursive verbessert''', indem falsche Inhalte korrigiert oder gelöscht werden. — Die jetzigen Trainingsdaten sind wie eine Schule an einem sozialem Brennpunkt, wo das Modell Unterricht nimmt. | ChatGPT wurde des öfteren als ein wunderbarer '''Bullshit-Generator''' bezeichnet. GIGO: '''Garbage In, Garbage Out'''. Das verdeutlicht auch das Problem mit diesem AI-Ansatz. '''In den Trainingsdaten ist auch unglaublich viel Müll.''' Nicht zuletzt mussten auch Clickworker herhalten, um einige Schnitzer und ethisch hochproblematische Inhalte zu kennzeichnen. Die Macher der GPTs wären gut beraten, wenn ihnen andere Optimierungsmöglichkeiten ausgehen, die '''Trainingsdaten mithilfe von GPT zu säubern'''. Angefangen bei '''einfachsten Fehlern'''. Unsichere Ergebnis müssten menschlichen Teilnehmern wieder vorgelegt werden. Dabei würde ein bereits diskutierter Score zu Einsatz kommen, der klarstellt, dass eine Ausgabe nur zu einer gewissen Wahrscheinlichkeit richtig ist. Die Idee ist, dass das Modell sich möglichst '''eigenständig rekursive verbessert''', indem falsche Inhalte korrigiert oder gelöscht werden. — Die jetzigen Trainingsdaten sind wie eine Schule an einem sozialem Brennpunkt, wo das Modell Unterricht nimmt. | ||
: Das Gegenteil wurde bereits ausprobiert: Es ist wie mit einer [[commons:File:JPEG Generation Loss rotating 90 (stitch of 0,100,200,500,900,2000 times).png|JPG-Datei, die immer wieder neu geöffnet und mit einem verlustreichen Komprimierungsalgorithmus abgespeichert wird]], es sammeln sich Defekte an, die neuen Daten sind minderwertiger Qualität. [https://www.heise.de/news/Kuenftige-KI-Modelle-potenziell-von-Demenz-bedroht-9209900.html AI-generierte Daten sind, wenn sie keiner Korrektur unterliegen, für neue Trainings wertlos, weil sie das LLM verschlechtern.] Mittlerweile haben minderwertige "synthetische Daten" gezeigt, wie wichtig memetsche Hygiene ist. Der massenhafte Einsatz generativer AIs verseucht den globalen Informationspool, sodass, wenn ein neues Modell aus diesem Pool lernt, quasi im Vergleich zu seinen Vorgängern unter (Neuro-)[https://www.nytimes.com/interactive/2024/08/26/upshot/ai-synthetic-data.html Degeneration] leidet. -- 2024: Die jüngsten Implementierungen von Chain of thought (COT) oder "reasoning" sind nur ein schwacher Trost. Es muss an allen Fronten weiter geforscht werden. | : Das Gegenteil wurde bereits ausprobiert: Es ist wie mit einer [[commons:File:JPEG Generation Loss rotating 90 (stitch of 0,100,200,500,900,2000 times).png|JPG-Datei, die immer wieder neu geöffnet und mit einem verlustreichen Komprimierungsalgorithmus abgespeichert wird]], es sammeln sich Defekte an, die neuen Daten sind minderwertiger Qualität. [https://www.heise.de/news/Kuenftige-KI-Modelle-potenziell-von-Demenz-bedroht-9209900.html AI-generierte Daten sind, wenn sie keiner Korrektur unterliegen, für neue Trainings wertlos, weil sie das LLM verschlechtern.] Mittlerweile haben minderwertige "synthetische Daten" gezeigt, wie wichtig memetsche Hygiene ist. Der massenhafte Einsatz generativer AIs verseucht den globalen Informationspool, sodass, wenn ein neues Modell aus diesem Pool lernt, quasi im Vergleich zu seinen Vorgängern unter (Neuro-)[https://www.nytimes.com/interactive/2024/08/26/upshot/ai-synthetic-data.html Degeneration] leidet. -- 2024: <!--''Let's not jump (too far) to conclusion...''-->Die jüngsten Implementierungen von '''Chain of thought (COT)''' oder "reasoning" sind nur ein schwacher Trost. Es muss an allen Fronten weiter geforscht werden. | ||
:: DeepSeek. Das Gehirn verfügt über spezialisierte Bereiche. In Software kann die [https://www.zdfheute.de/wirtschaft/unternehmen/nvidia-kurssturz-ki-deepseek-wallstreet-100.html Effizienzsteigerung] durch verschiedene [https://the-decoder.de/deepseek-v2-ist-das-neue-mixture-of-experts-spitzenmodell/ kooperierende Expertensysteme] (Mixture-of-Experts (MoE)) nachgeahmt werden. | :: DeepSeek. Das Gehirn verfügt über spezialisierte Bereiche. In Software kann die [https://www.zdfheute.de/wirtschaft/unternehmen/nvidia-kurssturz-ki-deepseek-wallstreet-100.html Effizienzsteigerung] durch verschiedene [https://the-decoder.de/deepseek-v2-ist-das-neue-mixture-of-experts-spitzenmodell/ kooperierende Expertensysteme] '''(Mixture-of-Experts (MoE))''' nachgeahmt werden. Des Weiteren: Art des Trainings, Inference, Distilled Reasoning | ||
:: Answer refinement: TRM (Samsung) (Ergo: Sowieso große AIs sollten nicht nur über MoE, sondern auch über mehrere Architekturen verfügen, deren Einsatz sie selbst bestimmen, um die Verarbeitung effizienter zu machen.) (Das erinnert irgendwie auch daran, dass Rechenoperationen für sie optimierte Hardware nutzen sollte. Auf modernen Computerchips, wie dem [[wp:Apple_M4#Design|M4]], findet man immer mehr spezialisierte Bereiche: CPU, GPU, NPU, etc.) | |||
::: https://www.forbes.com/sites/ronschmelzer/2025/10/09/samsung-ai-research-team-builds-a-tiny-model-with-big-powe/ | |||
::: https://the-decoder.de/winziges-ki-modell-schlaegt-o3-mini-und-gemini-2-5-pro-im-arc-agi-benchmark/ | |||
:: Baby Dragon Hatchling | |||
[...] | [...] | ||
Food for thought: | |||
* https://www.zeit.de/wissen/2025-09/richard-socher-ki-nur-eine-frage-interview-podcast | |||
====Memetische Hygiene==== | |||
* Data Poisoning: [https://www.anthropic.com/research/small-samples-poison A small number of samples can poison LLMs of any size] | |||
* <!--Datenverwässerung über "Raum" (1) und "Zeit" (2) vermeiden--><!--(1)-->Verwässerung: minderwertige synthetische Daten vermeiden, zu starke Verallgemeinerung durch nicht per se falsche aber ''unspezifische'' Daten vermeiden ("[https://www.datasciencecentral.com/avoid-genai-model-collapse-and-death-by-averages/ Death by Average]") | |||
** <!--(2)-->Modelle müssen eine Form von ''neuronale Plastizität'' verfügen, die es für sie leichter macht eigene Änderungen zu überleben. Beispiel: Baby Dragon Hatchling | |||
*** https://www.golem.de/news/neue-ki-architektur-was-ist-baby-dragon-hatchling-2510-201047.html | |||
*** https://www.mind-verse.de/news/neuronale-netzwerke-inspirationsquellen-ki-forschung | |||
* Adaptives "Immunsystem": Aus Effizienzgründen sollte das Kernmodell auch vor Desinformation geschützt werden. Unwahrheiten (von gesellschaftlicher Relevanz) sollten in einem anderen Datenpool gespeichert werden. Ebenso sollte es einen Pool für "(noch) nicht bewertet" und "umstritten" geben, die je nach Query eingerechnet werden können. | |||
====Censorship==== | ====Censorship==== | ||
| Line 833: | Line 858: | ||
* http://web.archive.org/web/20240307042858/https://netzpolitik.org/2023/chatgpt-womit-sich-strafverfolger-bald-befassen-muessen/ | * http://web.archive.org/web/20240307042858/https://netzpolitik.org/2023/chatgpt-womit-sich-strafverfolger-bald-befassen-muessen/ | ||
* https://www.heise.de/hintergrund/Drei-Gruende-warum-KI-Chatbots-eine-Sicherheitskatastrophe-sind-8933941.html | * https://www.heise.de/hintergrund/Drei-Gruende-warum-KI-Chatbots-eine-Sicherheitskatastrophe-sind-8933941.html | ||
===Neutrality of state AIs is a must-have=== | ===Neutrality of state AIs is a must-have=== | ||
| Line 865: | Line 887: | ||
===How to fix ASI errors?=== | ===How to fix ASI errors?=== | ||
Wie können Fehler einer ASI - deren Verständnis der Welt viel besser sein soll als das eines jeden Menschen - durch Menschen erkannt werden? Die Wahrscheinlichkeit für Halluzinationen, sofern der LLM-Ansatz weiter Anwendung findet, wird sinken und das Vertrauen in ASI wird naturgemäß sehr groß sein. Umso | Wie können Fehler einer ASI - deren Verständnis der Welt viel besser sein soll als das eines jeden Menschen - durch Menschen erkannt werden? Die Wahrscheinlichkeit für Halluzinationen, sofern der LLM-Ansatz weiter Anwendung findet, wird sinken und das Vertrauen in ASI wird naturgemäß sehr groß sein. Umso einen größeren Einschlag können die weniger geworden Fehler durch blindes Vertrauen in die Technik werden. | ||
* Die "wissenschaftliche Methode": Letztlich muss eine ASI über soviel Autonomie verfügen, um selbstständig Experimente durchzuführen. Theorien müssen in der echten Welt getestet werden. Wenn nicht durch Menschen, dann sowieso durch Maschinen. | * Die "wissenschaftliche Methode": Letztlich muss eine ASI über soviel Autonomie verfügen, um selbstständig Experimente durchzuführen. Theorien müssen in der echten Welt getestet werden. Wenn nicht durch Menschen, dann sowieso durch Maschinen. | ||
* Chancen und Risiken der "Memehunters" [...] | * Chancen und Risiken der "Memehunters" [...] | ||