#deeplearning

spektrum@anonsys.net

Was künstliche Intelligenz leisten könnte und wo sie unbedingt eingehegt und kontrolliert werden sollte, erläutern Miriam Meckel und Léa Steinacker. Eine Rezension

Miriam Meckel und Léa Steinacker geben einen Überblick über Chancen und Risiken künstlicher Intelligenz. Ein guter Einstieg ins Thema. Eine Rezension (Rezension zu Alles überall auf einmal von Miriam Meckel, Léa Steinacker)#KünstlicheIntelligenz #ChatGPT #Chatbot #Alghorithmen #Algorithmus #Roboter #Informationstechnik #KI #Internet #Digital #Desinformation #BigData #DataScience #DeepLearning #LargeLanguage #Quantencomputing #AugmentedReality #DeepFake #Blockchain #CloudComputing #ITTech #Kultur #Mathematik #PsychologieHirnforschung
»Alles überall auf einmal«: An der Schwelle eines neuen Zeitalters

waynerad@diasp.org

AI can't cross this line on a graph and we don't know why.

The graph has the "error" that the neural net is trying to minimize as part of its training (also called the "loss") on the vertical axis.

On the horizontal axis, it has the amount of computing power thrown at the training process.

When switched to a log-log graph -- logarithmic on both axes -- a straight line emerges.

This is actually one of 3 observed neural network scaling laws. The other two look at model size and dataset size, and see a similar pattern.

Have we discovered some fundamental law of nature, like the ideal gas law in chemistry, or is this an artifact of the particular methods we are using now to train neural networks?

You might think someone knows but no one knows.

That didn't stop this YouTuber from making some good animations of the graphs and various concepts in neural network training, such as cross-entropy. It introduces the interesting concept that language may have a certain inherent entropy.

The best theory as to why the scaling laws hold tries to explain it in terms of neural networks learning high-dimensional manifolds.

AI can't cross this line and we don't know why. - Welch Labs

#solidstatelife #ai #llms #genai #deeplearning #neuralnetworks #scalinglaws

waynerad@diasp.org

The full text of Simon J.D. Prince's book Understanding Deep Learning is available online for free -- though the author asks that you buy the book and write a (positive, one would hope) review on Amazon. He will make a 2nd edition if sales are good.

The book is around 500 pages and a glance at the table of contents shows it goes from fundamentals to very advanced topics: Supervised learning, shallow neural networks, deep neural networks, loss functions (maximum likelihood, univariate regression, classification, cross-entropy, etc), gradient descent, stochastic gradient descent, initialization, the backpropagation algorithm, hyperparameters, regularization, convolutional neural networks, residual networks, transformers, graph neural networks, unsupervised learning, generative adversarial networks (styleGAN, etc), normalizing flows, variational autoencoders, diffusion models, reinforcement learning, why does deep learning work? and ethics. Appendices for notation, mathematics, and probability.

Simon J.D. Prince: Understanding Deep Learning

#solidstatelife #ai #deeplearning #sgd #backpropagation #genai #gans #aieducation

spektrum@anonsys.net

Wird künstliche Intelligenz Ärztinnen und Ärzte ersetzen können? Bekommt jede Praxis künftig einen eigenen Chatbot? Und ist KI wirklich intelligent, oder kann das weg? Teil drei der Jahreswechsel-Episoden vom »EvidenzUpdate«-Podcast. 🎙️#KI #AI #LLM #DeepLearning #KünstlicheIntelligenz #Corona-Update #Medizin
Corona-Update: Über böse Uhren und eine euphorisierte Zukünftigkeit

spektrum@anonsys.net

Angelika Zahn will den Nachwuchs fit machen für den Umgang mit künstlicher Intelligenz. Die Inhalte dürften Grundschulkinder dabei manchmal überfordern. Eine Rezension

Dieses Buch vermittelt jungen Lesern, dass künstliche Intelligenz keine Zukunftstechnologie ist, sondern ihnen im Alltag längst begegnet. Eine Rezension (Rezension zu Was ist Künstliche Intelligenz? von Angelika Zahn)#künstlicheIntelligenz #Kinder #KI #BigData #DeepLearning #Roboter #ChatGPT #Smartphone #AI #Chatbot #Datenschutz #maschinellesLernen #MINT #neuronaleNetze #Programmieren #Software #Sprachassistenz #Turing #ITTech #Kultur #PsychologieHirnforschung
»Was ist Künstliche Intelligenz?«: KI ist immer und überall