8,480
edits
Talk:Restless Souls/Technology: Difference between revisions
Talk:Restless Souls/Technology (view source)
Revision as of 21:05, 12 October 2025
, Sunday at 21:05no edit summary
Paradox-01 (talk | contribs) mNo edit summary |
Paradox-01 (talk | contribs) mNo edit summary |
||
| Line 817: | Line 817: | ||
: Das Gegenteil wurde bereits ausprobiert: Es ist wie mit einer [[commons:File:JPEG Generation Loss rotating 90 (stitch of 0,100,200,500,900,2000 times).png|JPG-Datei, die immer wieder neu geöffnet und mit einem verlustreichen Komprimierungsalgorithmus abgespeichert wird]], es sammeln sich Defekte an, die neuen Daten sind minderwertiger Qualität. [https://www.heise.de/news/Kuenftige-KI-Modelle-potenziell-von-Demenz-bedroht-9209900.html AI-generierte Daten sind, wenn sie keiner Korrektur unterliegen, für neue Trainings wertlos, weil sie das LLM verschlechtern.] Mittlerweile haben minderwertige "synthetische Daten" gezeigt, wie wichtig memetsche Hygiene ist. Der massenhafte Einsatz generativer AIs verseucht den globalen Informationspool, sodass, wenn ein neues Modell aus diesem Pool lernt, quasi im Vergleich zu seinen Vorgängern unter (Neuro-)[https://www.nytimes.com/interactive/2024/08/26/upshot/ai-synthetic-data.html Degeneration] leidet. -- 2024: <!--''Let's not jump (too far) to conclusion...''-->Die jüngsten Implementierungen von '''Chain of thought (COT)''' oder "reasoning" sind nur ein schwacher Trost. Es muss an allen Fronten weiter geforscht werden. | : Das Gegenteil wurde bereits ausprobiert: Es ist wie mit einer [[commons:File:JPEG Generation Loss rotating 90 (stitch of 0,100,200,500,900,2000 times).png|JPG-Datei, die immer wieder neu geöffnet und mit einem verlustreichen Komprimierungsalgorithmus abgespeichert wird]], es sammeln sich Defekte an, die neuen Daten sind minderwertiger Qualität. [https://www.heise.de/news/Kuenftige-KI-Modelle-potenziell-von-Demenz-bedroht-9209900.html AI-generierte Daten sind, wenn sie keiner Korrektur unterliegen, für neue Trainings wertlos, weil sie das LLM verschlechtern.] Mittlerweile haben minderwertige "synthetische Daten" gezeigt, wie wichtig memetsche Hygiene ist. Der massenhafte Einsatz generativer AIs verseucht den globalen Informationspool, sodass, wenn ein neues Modell aus diesem Pool lernt, quasi im Vergleich zu seinen Vorgängern unter (Neuro-)[https://www.nytimes.com/interactive/2024/08/26/upshot/ai-synthetic-data.html Degeneration] leidet. -- 2024: <!--''Let's not jump (too far) to conclusion...''-->Die jüngsten Implementierungen von '''Chain of thought (COT)''' oder "reasoning" sind nur ein schwacher Trost. Es muss an allen Fronten weiter geforscht werden. | ||
:: DeepSeek. Das Gehirn verfügt über spezialisierte Bereiche. In Software kann die [https://www.zdfheute.de/wirtschaft/unternehmen/nvidia-kurssturz-ki-deepseek-wallstreet-100.html Effizienzsteigerung] durch verschiedene [https://the-decoder.de/deepseek-v2-ist-das-neue-mixture-of-experts-spitzenmodell/ kooperierende Expertensysteme] '''(Mixture-of-Experts (MoE))''' nachgeahmt werden. Des Weiteren: Art des Trainings, Inference, Distilled Reasoning | :: DeepSeek. Das Gehirn verfügt über spezialisierte Bereiche. In Software kann die [https://www.zdfheute.de/wirtschaft/unternehmen/nvidia-kurssturz-ki-deepseek-wallstreet-100.html Effizienzsteigerung] durch verschiedene [https://the-decoder.de/deepseek-v2-ist-das-neue-mixture-of-experts-spitzenmodell/ kooperierende Expertensysteme] '''(Mixture-of-Experts (MoE))''' nachgeahmt werden. Des Weiteren: Art des Trainings, Inference, Distilled Reasoning | ||
:: Answer refinement: TRM (Samsung) (Ergo: Sowieso große AIs sollten nicht nur über MoE, sondern auch über mehrere Architekturen verfügen, deren Einsatz sie selbst bestimmen, um die Verarbeitung effizienter zu machen.) (Das erinnert irgendwie auch daran, dass Rechenoperationen für sie optimierte Hardware nutzen sollte. Auf modernen Computerchips findet man immer mehr spezialisierte | :: Answer refinement: TRM (Samsung) (Ergo: Sowieso große AIs sollten nicht nur über MoE, sondern auch über mehrere Architekturen verfügen, deren Einsatz sie selbst bestimmen, um die Verarbeitung effizienter zu machen.) (Das erinnert irgendwie auch daran, dass Rechenoperationen für sie optimierte Hardware nutzen sollte. Auf modernen Computerchips, wie dem [[wp:Apple_M4#Design|M4]], findet man immer mehr spezialisierte Bereiche: CPU, GPU, NPU, etc.) | ||
::: https://www.forbes.com/sites/ronschmelzer/2025/10/09/samsung-ai-research-team-builds-a-tiny-model-with-big-powe/ | ::: https://www.forbes.com/sites/ronschmelzer/2025/10/09/samsung-ai-research-team-builds-a-tiny-model-with-big-powe/ | ||
::: https://the-decoder.de/winziges-ki-modell-schlaegt-o3-mini-und-gemini-2-5-pro-im-arc-agi-benchmark/ | ::: https://the-decoder.de/winziges-ki-modell-schlaegt-o3-mini-und-gemini-2-5-pro-im-arc-agi-benchmark/ | ||