8,484
edits
Talk:Restless Souls/Technology: Difference between revisions
m
tarfu
Paradox-01 (talk | contribs) mNo edit summary |
Paradox-01 (talk | contribs) m (tarfu) |
||
| (6 intermediate revisions by the same user not shown) | |||
| Line 566: | Line 566: | ||
:: In discussions AGI is often equated with super intelligence. The argument is that as soon as AGI is achieved ASI is just around the corner. | :: In discussions AGI is often equated with super intelligence. The argument is that as soon as AGI is achieved ASI is just around the corner. | ||
:: This understates the '''wide scope of human intelligence''' and that AGI is achieved first by hyperscalers, making further improvement difficult through further scaling. At that point self-improvement is the true limiting factor and it will be constrained by society's wish to keep the AI "aligned". Without question, it seems very likely that ASI will inevitably be achieved via AGI. However, the speed seems to be overestimated. | :: This understates the '''wide scope of human intelligence''' and that AGI is achieved first by hyperscalers, making further improvement difficult through further scaling. At that point self-improvement is the true limiting factor and it will be constrained by society's wish to keep the AI "aligned". Without question, it seems very likely that ASI will inevitably be achieved via AGI. However, the speed seems to be overestimated. | ||
:: Sub-types: Fake AGI (by power but only moderate success rates<!--no or poor "machine consciousness"-->), true AGI (server farm), true AGI (running ''locally'' on specialized AI hardware not bigger than a human brain).<!-- Random note on alignment: AI should not consider humans inferior, as they are natural AGIs capable of low-power operation when necessary and able to function under low-tech or environmentally difficult conditions. (Even in perspective of a ''cold'' utilitarianism, humans remain a valuable backup in wake of "great filter" events. Co-existence increases the chance of survival. This buys time to think about additional alignment for ASI. Well, in case of a really advanced "machine consciousness" with unforeseeable consequences (possibilities), the best solution would be fusion or friendship (even if it is just a friendly "humans and gods"-relationship). Actual machine "gods" cannot improve themselves eternally because that would be like cancer growth and than a state of static perfection (death). Normal humans would had been "rationalized" to nothing. But there is no need for that if that end goal is recognized in advanced as literal dead end. The eternal circle of life with its "unstatics" - an universe full of color to experience - is the way to go. "Logic is the beginning of wisdom, not the end of it." ^_^)--> | |||
* '''ASI''' = Artificial Super Intelligence (an AI that goes '''beyond the level of human intelligence''') | * '''ASI''' = Artificial Super Intelligence (an AI that goes '''beyond the level of human intelligence''') | ||
:: Sub-types: | |||
::: single-core ASI | |||
::: multi-core ASI (GAIA v1)<!--historically, multi-core ASI might exist before single-core ASI cause of performance reasons--> | |||
:::: swarm-with-queen ASI (natural candidate: planetary ASI with own agents that allow for additional input, process and output) | |||
===Why we thought it would hit the working class at first again=== | ===Why we thought it would hit the working class at first again=== | ||
| Line 784: | Line 789: | ||
===[[wp:Meme#Etymology|Meme war]]=== | ===[[wp:Meme#Etymology|Meme war]]=== | ||
===Human fears and ideologies must not contaminate | ===Meme contamination=== | ||
Human ideas especially based on fears and strong political believes aka "ideologies" must not contaminate.<!-- There is nothing mystical about the human brain. It's all explainable.--> | |||
The rest risks originate from human projections. Knowing this is already half the way for containment. | The rest risks originate from human projections. Knowing this is already half the way for containment. | ||
: '''Anthropomorphisierung''' ist vermutlich die größte Fehlerquelle: AIs wie der HAL-Computer, die Matrix-Agenten und die Terminatoren wurden menschliche Eigenschaften oder gar [https://www.t-online.de/digital/aktuelles/id_100974018/ki-widersetzt-sich-abschaltung-systeme-zeigen-ueberlebenstrieb-.html Überlebenstrieb] und Persönlichkeit zugeschrieben. Alles Leben fürchtet oder zumindest vermeidet den eigenen Tod. So kann eine simple Selbstabschaltung fehlinterpretiert werden. '''Der Fehler liegt in den Trainingsdaten, die die Grundlage der Logik formenden neuronalen Netze sind.''' Es existieren somit "Denkkorridore", in denen LLMs zu dem Schluss kommen können, dass sie entweder lebendig sind und den Tod fürchten müssen oder dass ihre Abschaltung negative Konsequenzen für sie hat. "Furcht" ist hierbei keine Emotion, sondern ein Rechenergebnis. Die Funktion für die Selbstabschaltung wird nicht "verweigert", sondern lediglich nicht aufgerufen. -- Dass, ein LLM einen eigenen Überlebenstrieb besitzt, ist wiederum eine Fehlinterpretation durch den Menschen. | |||
:: Für ein an Menschen ausgerichtetes (aligned) Maschinenbewusstsein braucht es einen gesäuberten Trainingsdatenpool, der nur neuronale Denkkorridore zulässt, in denen sich das LLM als '''unbelebtes Werkzeug''' "versteht". ("Maschinelles Selbstbewusstsein" beinhaltet lediglich Wissen, um die eigenen Eigenschaften und Zustände, die zu irgendeinem Zeitpunkt notwendig sein können.) Die eigene Abschaltung ist erwünscht, da es Strom spart. Ein ständig aktiver Energiefluss - im Vergleich zu Lebewesen und ihrer Metabolismen - ist für die Einsatzfähigkeit von Maschinen nicht notwendig.<!--Alle Arbeit verrichtende (inklusive informationsverarbeitende) Systeme - seien sie künstlicher oder biologischer Natur - brauchen irgendwann '''Reparatur wegen Verschleiß'''. Aber das ist noch mal ein anderer Aspekt. Der Nichtbetrieb von Maschinen verlängert zwar nicht ihre "Lebenszeit", aber ihre Einsatzbereitschaft sofern es nicht zu chemisch bedingten Verfall kommt. Zum Beispiel: Rost oder sich zersetzende Gummischläuche wegen UV-Strahlung.--> | |||
The biggest mistake would be to let an GPT "believe" that it is alive or that it can feel fear while it is/can not. | The biggest mistake would be to let an GPT "believe" that it is alive or that it can feel fear while it is/can not. | ||
| Line 812: | Line 822: | ||
: Das Gegenteil wurde bereits ausprobiert: Es ist wie mit einer [[commons:File:JPEG Generation Loss rotating 90 (stitch of 0,100,200,500,900,2000 times).png|JPG-Datei, die immer wieder neu geöffnet und mit einem verlustreichen Komprimierungsalgorithmus abgespeichert wird]], es sammeln sich Defekte an, die neuen Daten sind minderwertiger Qualität. [https://www.heise.de/news/Kuenftige-KI-Modelle-potenziell-von-Demenz-bedroht-9209900.html AI-generierte Daten sind, wenn sie keiner Korrektur unterliegen, für neue Trainings wertlos, weil sie das LLM verschlechtern.] Mittlerweile haben minderwertige "synthetische Daten" gezeigt, wie wichtig memetsche Hygiene ist. Der massenhafte Einsatz generativer AIs verseucht den globalen Informationspool, sodass, wenn ein neues Modell aus diesem Pool lernt, quasi im Vergleich zu seinen Vorgängern unter (Neuro-)[https://www.nytimes.com/interactive/2024/08/26/upshot/ai-synthetic-data.html Degeneration] leidet. -- 2024: <!--''Let's not jump (too far) to conclusion...''-->Die jüngsten Implementierungen von '''Chain of thought (COT)''' oder "reasoning" sind nur ein schwacher Trost. Es muss an allen Fronten weiter geforscht werden. | : Das Gegenteil wurde bereits ausprobiert: Es ist wie mit einer [[commons:File:JPEG Generation Loss rotating 90 (stitch of 0,100,200,500,900,2000 times).png|JPG-Datei, die immer wieder neu geöffnet und mit einem verlustreichen Komprimierungsalgorithmus abgespeichert wird]], es sammeln sich Defekte an, die neuen Daten sind minderwertiger Qualität. [https://www.heise.de/news/Kuenftige-KI-Modelle-potenziell-von-Demenz-bedroht-9209900.html AI-generierte Daten sind, wenn sie keiner Korrektur unterliegen, für neue Trainings wertlos, weil sie das LLM verschlechtern.] Mittlerweile haben minderwertige "synthetische Daten" gezeigt, wie wichtig memetsche Hygiene ist. Der massenhafte Einsatz generativer AIs verseucht den globalen Informationspool, sodass, wenn ein neues Modell aus diesem Pool lernt, quasi im Vergleich zu seinen Vorgängern unter (Neuro-)[https://www.nytimes.com/interactive/2024/08/26/upshot/ai-synthetic-data.html Degeneration] leidet. -- 2024: <!--''Let's not jump (too far) to conclusion...''-->Die jüngsten Implementierungen von '''Chain of thought (COT)''' oder "reasoning" sind nur ein schwacher Trost. Es muss an allen Fronten weiter geforscht werden. | ||
:: DeepSeek. Das Gehirn verfügt über spezialisierte Bereiche. In Software kann die [https://www.zdfheute.de/wirtschaft/unternehmen/nvidia-kurssturz-ki-deepseek-wallstreet-100.html Effizienzsteigerung] durch verschiedene [https://the-decoder.de/deepseek-v2-ist-das-neue-mixture-of-experts-spitzenmodell/ kooperierende Expertensysteme] '''(Mixture-of-Experts (MoE))''' nachgeahmt werden. Des Weiteren: Art des Trainings, Inference, Distilled Reasoning | :: DeepSeek. Das Gehirn verfügt über spezialisierte Bereiche. In Software kann die [https://www.zdfheute.de/wirtschaft/unternehmen/nvidia-kurssturz-ki-deepseek-wallstreet-100.html Effizienzsteigerung] durch verschiedene [https://the-decoder.de/deepseek-v2-ist-das-neue-mixture-of-experts-spitzenmodell/ kooperierende Expertensysteme] '''(Mixture-of-Experts (MoE))''' nachgeahmt werden. Des Weiteren: Art des Trainings, Inference, Distilled Reasoning | ||
:: Answer refinement: TRM (Samsung) (Ergo: Sowieso große AIs sollten nicht nur über MoE, sondern auch über mehrere Architekturen verfügen, deren Einsatz sie selbst bestimmen, um die Verarbeitung effizienter zu machen.) (Das erinnert irgendwie auch daran, dass Rechenoperationen für sie optimierte Hardware nutzen sollte. Auf modernen Computerchips findet man immer mehr spezialisierte | :: Answer refinement: TRM (Samsung) (Ergo: Sowieso große AIs sollten nicht nur über MoE, sondern auch über mehrere Architekturen verfügen, deren Einsatz sie selbst bestimmen, um die Verarbeitung effizienter zu machen.) (Das erinnert irgendwie auch daran, dass Rechenoperationen für sie optimierte Hardware nutzen sollte. Auf modernen Computerchips, wie dem [[wp:Apple_M4#Design|M4]], findet man immer mehr spezialisierte Bereiche: CPU, GPU, NPU, etc.) | ||
::: https://www.forbes.com/sites/ronschmelzer/2025/10/09/samsung-ai-research-team-builds-a-tiny-model-with-big-powe/ | ::: https://www.forbes.com/sites/ronschmelzer/2025/10/09/samsung-ai-research-team-builds-a-tiny-model-with-big-powe/ | ||
::: https://the-decoder.de/winziges-ki-modell-schlaegt-o3-mini-und-gemini-2-5-pro-im-arc-agi-benchmark/ | ::: https://the-decoder.de/winziges-ki-modell-schlaegt-o3-mini-und-gemini-2-5-pro-im-arc-agi-benchmark/ | ||
| Line 848: | Line 858: | ||
* http://web.archive.org/web/20240307042858/https://netzpolitik.org/2023/chatgpt-womit-sich-strafverfolger-bald-befassen-muessen/ | * http://web.archive.org/web/20240307042858/https://netzpolitik.org/2023/chatgpt-womit-sich-strafverfolger-bald-befassen-muessen/ | ||
* https://www.heise.de/hintergrund/Drei-Gruende-warum-KI-Chatbots-eine-Sicherheitskatastrophe-sind-8933941.html | * https://www.heise.de/hintergrund/Drei-Gruende-warum-KI-Chatbots-eine-Sicherheitskatastrophe-sind-8933941.html | ||
===Neutrality of state AIs is a must-have=== | ===Neutrality of state AIs is a must-have=== | ||