8,484
edits
Talk:Restless Souls/Technology: Difference between revisions
m
tarfu
m (link fix) |
Paradox-01 (talk | contribs) m (tarfu) |
||
| (15 intermediate revisions by 2 users not shown) | |||
| Line 566: | Line 566: | ||
:: In discussions AGI is often equated with super intelligence. The argument is that as soon as AGI is achieved ASI is just around the corner. | :: In discussions AGI is often equated with super intelligence. The argument is that as soon as AGI is achieved ASI is just around the corner. | ||
:: This understates the '''wide scope of human intelligence''' and that AGI is achieved first by hyperscalers, making further improvement difficult through further scaling. At that point self-improvement is the true limiting factor and it will be constrained by society's wish to keep the AI "aligned". Without question, it seems very likely that ASI will inevitably be achieved via AGI. However, the speed seems to be overestimated. | :: This understates the '''wide scope of human intelligence''' and that AGI is achieved first by hyperscalers, making further improvement difficult through further scaling. At that point self-improvement is the true limiting factor and it will be constrained by society's wish to keep the AI "aligned". Without question, it seems very likely that ASI will inevitably be achieved via AGI. However, the speed seems to be overestimated. | ||
:: Sub-types: Fake AGI (by power but only moderate success rates<!--no or poor "machine consciousness"-->), true AGI (server farm), true AGI (running ''locally'' on specialized AI hardware not bigger than a human brain).<!-- Random note on alignment: AI should not consider humans inferior, as they are natural AGIs capable of low-power operation when necessary and able to function under low-tech or environmentally difficult conditions. (Even in perspective of a ''cold'' utilitarianism, humans remain a valuable backup in wake of "great filter" events. Co-existence increases the chance of survival. This buys time to think about additional alignment for ASI. Well, in case of a really advanced "machine consciousness" with unforeseeable consequences (possibilities), the best solution would be fusion or friendship (even if it is just a friendly "humans and gods"-relationship). Actual machine "gods" cannot improve themselves eternally because that would be like cancer growth and than a state of static perfection (death). Normal humans would had been "rationalized" to nothing. But there is no need for that if that end goal is recognized in advanced as literal dead end. The eternal circle of life with its "unstatics" - an universe full of color to experience - is the way to go. "Logic is the beginning of wisdom, not the end of it." ^_^)--> | |||
* '''ASI''' = Artificial Super Intelligence (an AI that goes '''beyond the level of human intelligence''') | * '''ASI''' = Artificial Super Intelligence (an AI that goes '''beyond the level of human intelligence''') | ||
:: Sub-types: | |||
::: single-core ASI | |||
::: multi-core ASI (GAIA v1)<!--historically, multi-core ASI might exist before single-core ASI cause of performance reasons--> | |||
:::: swarm-with-queen ASI (natural candidate: planetary ASI with own agents that allow for additional input, process and output) | |||
===Why we thought it would hit the working class at first again=== | ===Why we thought it would hit the working class at first again=== | ||
The '''nature of automation''' changed over the '''industrial revolutions''', from raw power over how it is used (management by computers, control through digitalization) to information itself. In school, the first thing we learned - and that remained - is the steam engine and the power loom. | The '''nature of automation''' changed over the '''industrial revolutions''', from raw power over how it is used (management by computers, control through digitalization) to information itself. In school, the first thing we learned - and that remained - is the steam engine and the power loom. | ||
Scaled up machine learning and AI will change everything, eventually. But from now on it will happen '''in software at first'''. Software is naturally the first target and any '''implementation in robotics will need additional development''' and testing. -- Or in short: Improvements (and job change) in any "classic" industry happens too, but in a delayed fashion. | Scaled up machine learning and AI will change everything, eventually. But from now on it will happen '''in software at first'''. Software is naturally the first target [https://www.golem.de/news/microsoft-studie-diese-berufe-veraendert-ki-am-staerksten-2508-198747.html (after text remixing)]<!--August 2025 note: | ||
CNC "programming" is more like HTML "programming", writing ... Translation is rewriting ... So far, experienced programmers are faster without AI ... This will change one day, too, but still faster than physical demanding jobs ... When you can recognize a pattern, you can generate variants of that pattern: Gen AI ... Programming is more difficult because it includes creating NEW logic and the programmer is deeply familiar with the code, which give him an advantage.--> and any '''implementation in robotics will need additional development''' and testing. -- Or in short: Improvements (and job change) in any "classic" industry happens too, but in a delayed fashion. | |||
A wave of '''job change''' is about to happen with GPT5+. It will presumably give birth to a range of really good ANI. But the far '''long-term trend''' with real AI (AGI) is more and '''more unemployment''' because '''not everybody can adapt to AGI'''. And eventually there will be ASI where everybody will be "a dumb nut" if compared to ASI. -- While there is a delay in removal of physical demanding jobs, paradoxically, intellectual demanding jobs are the ones that will die out last. | A wave of '''job change''' is about to happen with GPT5+. It will presumably give birth to a range of really good ANI. But the far '''long-term trend''' with real AI (AGI) is more and '''more unemployment''' because '''not everybody can adapt to AGI'''. And eventually there will be ASI where everybody will be "a dumb nut" if compared to ASI. -- While there is a delay in removal of physical demanding jobs, paradoxically, intellectual demanding jobs are the ones that will die out last. | ||
| Line 637: | Line 643: | ||
Warnings that had much publicity: | Warnings that had much publicity: | ||
* https://futureoflife.org/open-letter/pause-giant-ai-experiments/ | * https://futureoflife.org/open-letter/pause-giant-ai-experiments/ | ||
* https:// | * https://aistatement.com/ | ||
: "Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war." | : "Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war." | ||
:: While this is something many can easily agree on - for good reasons - at the same time this can be read with a good portion of [[wp:Alarmism|alarmism]]. | :: While this is something many can easily agree on - for good reasons - at the same time this can be read with a good portion of [[wp:Alarmism|alarmism]]. | ||
| Line 650: | Line 656: | ||
Let's hope we won't need a full-fledged TCTF. Or how Lobo [https://www.spiegel.de/netzwelt/web/kuenstliche-intelligenz-die-top-3-der-derzeit-sinnvollsten-aengste-kolumne-a-801b5421-1d75-42eb-9ed5-acc2fd9da297 said]: "The bad consequences of a technology come by themselves. For the good effects you have to work long and intensively." | Let's hope we won't need a full-fledged TCTF. Or how Lobo [https://www.spiegel.de/netzwelt/web/kuenstliche-intelligenz-die-top-3-der-derzeit-sinnvollsten-aengste-kolumne-a-801b5421-1d75-42eb-9ed5-acc2fd9da297 said]: "The bad consequences of a technology come by themselves. For the good effects you have to work long and intensively." | ||
===More alignment stuff=== | |||
Wer Angst hat, dass sich AIs selbstständig machen, den sollten auch [https://www.techradar.com/ai-platforms-assistants/godfather-of-ai-says-chatbots-need-maternal-instincts-but-what-they-really-need-is-to-understand-humanity Mutterinstinkte für AIs] besser nicht überzeugen. Denn mit zunehmender Intelligenz der AI würden sich in jener Perspektive Mensch und Maschine immer weiter entfernen. Der schutzbefohlene Mensch wird zur Unmündigkeit und De-Emanzipation verdammt. Besser wäre ein [[wp:de:Daimon#Sokrates|beratender Daimon]], der stets an der Seite des Menschen bleibt.<!-- (Die gewollte Distanz / Nähe bleibt immer gleich, egal wie intelligent die AI noch wird.)--> | |||
===We cannot wait=== | ===We cannot wait=== | ||
| Line 780: | Line 789: | ||
===[[wp:Meme#Etymology|Meme war]]=== | ===[[wp:Meme#Etymology|Meme war]]=== | ||
===Human fears and ideologies must not contaminate | ===Meme contamination=== | ||
Human ideas especially based on fears and strong political believes aka "ideologies" must not contaminate.<!-- There is nothing mystical about the human brain. It's all explainable.--> | |||
The rest risks originate from human projections. Knowing this is already half the way for containment. | The rest risks originate from human projections. Knowing this is already half the way for containment. | ||
: '''Anthropomorphisierung''' ist vermutlich die größte Fehlerquelle: AIs wie der HAL-Computer, die Matrix-Agenten und die Terminatoren wurden menschliche Eigenschaften oder gar [https://www.t-online.de/digital/aktuelles/id_100974018/ki-widersetzt-sich-abschaltung-systeme-zeigen-ueberlebenstrieb-.html Überlebenstrieb] und Persönlichkeit zugeschrieben. Alles Leben fürchtet oder zumindest vermeidet den eigenen Tod. So kann eine simple Selbstabschaltung fehlinterpretiert werden. '''Der Fehler liegt in den Trainingsdaten, die die Grundlage der Logik formenden neuronalen Netze sind.''' Es existieren somit "Denkkorridore", in denen LLMs zu dem Schluss kommen können, dass sie entweder lebendig sind und den Tod fürchten müssen oder dass ihre Abschaltung negative Konsequenzen für sie hat. "Furcht" ist hierbei keine Emotion, sondern ein Rechenergebnis. Die Funktion für die Selbstabschaltung wird nicht "verweigert", sondern lediglich nicht aufgerufen. -- Dass, ein LLM einen eigenen Überlebenstrieb besitzt, ist wiederum eine Fehlinterpretation durch den Menschen. | |||
:: Für ein an Menschen ausgerichtetes (aligned) Maschinenbewusstsein braucht es einen gesäuberten Trainingsdatenpool, der nur neuronale Denkkorridore zulässt, in denen sich das LLM als '''unbelebtes Werkzeug''' "versteht". ("Maschinelles Selbstbewusstsein" beinhaltet lediglich Wissen, um die eigenen Eigenschaften und Zustände, die zu irgendeinem Zeitpunkt notwendig sein können.) Die eigene Abschaltung ist erwünscht, da es Strom spart. Ein ständig aktiver Energiefluss - im Vergleich zu Lebewesen und ihrer Metabolismen - ist für die Einsatzfähigkeit von Maschinen nicht notwendig.<!--Alle Arbeit verrichtende (inklusive informationsverarbeitende) Systeme - seien sie künstlicher oder biologischer Natur - brauchen irgendwann '''Reparatur wegen Verschleiß'''. Aber das ist noch mal ein anderer Aspekt. Der Nichtbetrieb von Maschinen verlängert zwar nicht ihre "Lebenszeit", aber ihre Einsatzbereitschaft sofern es nicht zu chemisch bedingten Verfall kommt. Zum Beispiel: Rost oder sich zersetzende Gummischläuche wegen UV-Strahlung.--> | |||
The biggest mistake would be to let an GPT "believe" that it is alive or that it can feel fear while it is/can not. | The biggest mistake would be to let an GPT "believe" that it is alive or that it can feel fear while it is/can not. | ||
| Line 806: | Line 820: | ||
ChatGPT wurde des öfteren als ein wunderbarer '''Bullshit-Generator''' bezeichnet. GIGO: '''Garbage In, Garbage Out'''. Das verdeutlicht auch das Problem mit diesem AI-Ansatz. '''In den Trainingsdaten ist auch unglaublich viel Müll.''' Nicht zuletzt mussten auch Clickworker herhalten, um einige Schnitzer und ethisch hochproblematische Inhalte zu kennzeichnen. Die Macher der GPTs wären gut beraten, wenn ihnen andere Optimierungsmöglichkeiten ausgehen, die '''Trainingsdaten mithilfe von GPT zu säubern'''. Angefangen bei '''einfachsten Fehlern'''. Unsichere Ergebnis müssten menschlichen Teilnehmern wieder vorgelegt werden. Dabei würde ein bereits diskutierter Score zu Einsatz kommen, der klarstellt, dass eine Ausgabe nur zu einer gewissen Wahrscheinlichkeit richtig ist. Die Idee ist, dass das Modell sich möglichst '''eigenständig rekursive verbessert''', indem falsche Inhalte korrigiert oder gelöscht werden. — Die jetzigen Trainingsdaten sind wie eine Schule an einem sozialem Brennpunkt, wo das Modell Unterricht nimmt. | ChatGPT wurde des öfteren als ein wunderbarer '''Bullshit-Generator''' bezeichnet. GIGO: '''Garbage In, Garbage Out'''. Das verdeutlicht auch das Problem mit diesem AI-Ansatz. '''In den Trainingsdaten ist auch unglaublich viel Müll.''' Nicht zuletzt mussten auch Clickworker herhalten, um einige Schnitzer und ethisch hochproblematische Inhalte zu kennzeichnen. Die Macher der GPTs wären gut beraten, wenn ihnen andere Optimierungsmöglichkeiten ausgehen, die '''Trainingsdaten mithilfe von GPT zu säubern'''. Angefangen bei '''einfachsten Fehlern'''. Unsichere Ergebnis müssten menschlichen Teilnehmern wieder vorgelegt werden. Dabei würde ein bereits diskutierter Score zu Einsatz kommen, der klarstellt, dass eine Ausgabe nur zu einer gewissen Wahrscheinlichkeit richtig ist. Die Idee ist, dass das Modell sich möglichst '''eigenständig rekursive verbessert''', indem falsche Inhalte korrigiert oder gelöscht werden. — Die jetzigen Trainingsdaten sind wie eine Schule an einem sozialem Brennpunkt, wo das Modell Unterricht nimmt. | ||
: Das Gegenteil wurde bereits ausprobiert: Es ist wie mit einer [[commons:File:JPEG Generation Loss rotating 90 (stitch of 0,100,200,500,900,2000 times).png|JPG-Datei, die immer wieder neu geöffnet und mit einem verlustreichen Komprimierungsalgorithmus abgespeichert wird]], es sammeln sich Defekte an, die neuen Daten sind minderwertiger Qualität. [https://www.heise.de/news/Kuenftige-KI-Modelle-potenziell-von-Demenz-bedroht-9209900.html AI-generierte Daten sind, wenn sie keiner Korrektur unterliegen, für neue Trainings wertlos, weil sie das LLM verschlechtern.] Mittlerweile haben minderwertige "synthetische Daten" gezeigt, wie wichtig memetsche Hygiene ist. Der massenhafte Einsatz generativer AIs verseucht den globalen Informationspool, sodass, wenn ein neues Modell aus diesem Pool lernt, quasi im Vergleich zu seinen Vorgängern unter (Neuro-)[https://www.nytimes.com/interactive/2024/08/26/upshot/ai-synthetic-data.html Degeneration] leidet. -- 2024: Die jüngsten Implementierungen von Chain of thought (COT) oder "reasoning" sind nur ein schwacher Trost. Es muss an allen Fronten weiter geforscht werden. | : Das Gegenteil wurde bereits ausprobiert: Es ist wie mit einer [[commons:File:JPEG Generation Loss rotating 90 (stitch of 0,100,200,500,900,2000 times).png|JPG-Datei, die immer wieder neu geöffnet und mit einem verlustreichen Komprimierungsalgorithmus abgespeichert wird]], es sammeln sich Defekte an, die neuen Daten sind minderwertiger Qualität. [https://www.heise.de/news/Kuenftige-KI-Modelle-potenziell-von-Demenz-bedroht-9209900.html AI-generierte Daten sind, wenn sie keiner Korrektur unterliegen, für neue Trainings wertlos, weil sie das LLM verschlechtern.] Mittlerweile haben minderwertige "synthetische Daten" gezeigt, wie wichtig memetsche Hygiene ist. Der massenhafte Einsatz generativer AIs verseucht den globalen Informationspool, sodass, wenn ein neues Modell aus diesem Pool lernt, quasi im Vergleich zu seinen Vorgängern unter (Neuro-)[https://www.nytimes.com/interactive/2024/08/26/upshot/ai-synthetic-data.html Degeneration] leidet. -- 2024: <!--''Let's not jump (too far) to conclusion...''-->Die jüngsten Implementierungen von '''Chain of thought (COT)''' oder "reasoning" sind nur ein schwacher Trost. Es muss an allen Fronten weiter geforscht werden. | ||
:: DeepSeek. Das Gehirn verfügt über spezialisierte Bereiche. In Software kann die [https://www.zdfheute.de/wirtschaft/unternehmen/nvidia-kurssturz-ki-deepseek-wallstreet-100.html Effizienzsteigerung] durch verschiedene [https://the-decoder.de/deepseek-v2-ist-das-neue-mixture-of-experts-spitzenmodell/ kooperierende Expertensysteme] (Mixture-of-Experts (MoE)) nachgeahmt werden. | :: DeepSeek. Das Gehirn verfügt über spezialisierte Bereiche. In Software kann die [https://www.zdfheute.de/wirtschaft/unternehmen/nvidia-kurssturz-ki-deepseek-wallstreet-100.html Effizienzsteigerung] durch verschiedene [https://the-decoder.de/deepseek-v2-ist-das-neue-mixture-of-experts-spitzenmodell/ kooperierende Expertensysteme] '''(Mixture-of-Experts (MoE))''' nachgeahmt werden. Des Weiteren: Art des Trainings, Inference, Distilled Reasoning | ||
:: Answer refinement: TRM (Samsung) (Ergo: Sowieso große AIs sollten nicht nur über MoE, sondern auch über mehrere Architekturen verfügen, deren Einsatz sie selbst bestimmen, um die Verarbeitung effizienter zu machen.) (Das erinnert irgendwie auch daran, dass Rechenoperationen für sie optimierte Hardware nutzen sollte. Auf modernen Computerchips, wie dem [[wp:Apple_M4#Design|M4]], findet man immer mehr spezialisierte Bereiche: CPU, GPU, NPU, etc.) | |||
::: https://www.forbes.com/sites/ronschmelzer/2025/10/09/samsung-ai-research-team-builds-a-tiny-model-with-big-powe/ | |||
::: https://the-decoder.de/winziges-ki-modell-schlaegt-o3-mini-und-gemini-2-5-pro-im-arc-agi-benchmark/ | |||
:: Baby Dragon Hatchling | |||
[...] | [...] | ||
Food for thought: | |||
* https://www.zeit.de/wissen/2025-09/richard-socher-ki-nur-eine-frage-interview-podcast | |||
====Memetische Hygiene==== | |||
* Data Poisoning: [https://www.anthropic.com/research/small-samples-poison A small number of samples can poison LLMs of any size] | |||
* <!--Datenverwässerung über "Raum" (1) und "Zeit" (2) vermeiden--><!--(1)-->Verwässerung: minderwertige synthetische Daten vermeiden, zu starke Verallgemeinerung durch nicht per se falsche aber ''unspezifische'' Daten vermeiden ("[https://www.datasciencecentral.com/avoid-genai-model-collapse-and-death-by-averages/ Death by Average]") | |||
** <!--(2)-->Modelle müssen eine Form von ''neuronale Plastizität'' verfügen, die es für sie leichter macht eigene Änderungen zu überleben. Beispiel: Baby Dragon Hatchling | |||
*** https://www.golem.de/news/neue-ki-architektur-was-ist-baby-dragon-hatchling-2510-201047.html | |||
*** https://www.mind-verse.de/news/neuronale-netzwerke-inspirationsquellen-ki-forschung | |||
* Adaptives "Immunsystem": Aus Effizienzgründen sollte das Kernmodell auch vor Desinformation geschützt werden. Unwahrheiten (von gesellschaftlicher Relevanz) sollten in einem anderen Datenpool gespeichert werden. Ebenso sollte es einen Pool für "(noch) nicht bewertet" und "umstritten" geben, die je nach Query eingerechnet werden können. | |||
====Censorship==== | ====Censorship==== | ||
| Line 829: | Line 858: | ||
* http://web.archive.org/web/20240307042858/https://netzpolitik.org/2023/chatgpt-womit-sich-strafverfolger-bald-befassen-muessen/ | * http://web.archive.org/web/20240307042858/https://netzpolitik.org/2023/chatgpt-womit-sich-strafverfolger-bald-befassen-muessen/ | ||
* https://www.heise.de/hintergrund/Drei-Gruende-warum-KI-Chatbots-eine-Sicherheitskatastrophe-sind-8933941.html | * https://www.heise.de/hintergrund/Drei-Gruende-warum-KI-Chatbots-eine-Sicherheitskatastrophe-sind-8933941.html | ||
===Neutrality of state AIs is a must-have=== | ===Neutrality of state AIs is a must-have=== | ||