DreamUp：Web的无码替代品

如果你能想出一个应用程序并让它实时运行，而不需要编写任何代码，那不是很棒吗？如果给你这样一个工具，你敢建什么呢？

DreamUp是万维网的无码替代方案。你可以在我的网站上阅读完整的pdf格式的论文，并在这里和这里查看我的GitHub项目。在这篇博客文章中，我将只涉及一些基础知识，并从那篇论文中摘录一些内容。这个提案的目的是展示DreamUp可能是什么样子的想法，展示一些初步的技术发现，并从社区获得反馈。

DreamUp是用于创建和部署软件应用程序的概念。它的主要用途和与Web的不同之处在于，应用程序不是在代码中定义的。取而代之的是，作者将使用普通语言、图片和其他媒体来描述他们希望自己的应用程序的外观和行为。

例如，一款DreamUp应用程序可以是一个单独的文本文件，在黑色背景上，在屏幕中央以白色文字显示“Hi#39；Hi There！”字样。用户将通过使用一种新型浏览器--DreamUp浏览器--来体验这款应用程序，这种浏览器能够解释人类语言，从而实时生成应用程序。浏览器可以查看文本文件并理解作者试图描述的内容。它将把屏幕涂成黑色，并在中间用白色文本绘制“你好！”。

DreamUp是一个开放的网络，而不是一家公司，就像Web一样。任何想参与的人都可以在DreamUp上创建应用程序，没有人有权决定DreamUp应该如何发展。

上图显示了用户将如何体验一款简单的DreamUp应用程序。图中的文件系统显示了作者服务器上的文件结构。请注意，没有代码。作者只需要几张图片，以及一张用来描述应用程序行为的directions.txt。

这只是人们可能想要用DreamUp做什么的一个小例子。顾名思义，目标将是支持你能想象到的任何类型的数字体验。

最有可能的是机器学习，或其他形式的人工智能，将是用来使DreamUp成为可能的技术。将开发和培训机器学习模型，以查看这些自然语言应用程序，并生成生成所需体验所需的代码。这种转换需要近乎实时地进行，才不会让用户等待。有许多正在进行的从自然语言生成各种类型代码的尝试，OpenAI的GPT-3是最近令人印象深刻的一次。

鉴于当今机器学习研究的最新水平，DreamUp上的初始应用可能需要相当简单。然而，简单的应用程序仍然可以是有趣和神奇的，并吸引人们探索这一新的景观。

我已经开始试验一种自然语言到html的模型，该模型基于尹鹏程和格雷厄姆·纽比格的项目Tranx的一个分叉。通过我用Amazon Mechanical Turk生成的大约6000个源代码示例，该模型可以从自然语言句子中生成HTML<；video/>；标签。例如：

视频的来源是“election.mp4”。海报图片见“video o.jpg”。让它自动播放。高度是75%。

请使用“根据.mp4”中的视频。海报图片应该来自“owner.png”。让它自己播放。声音需要静音。

这项提议旨在发起对话，并激励DreamUp的发展。关于DreamUp的技术实现仍然有一些悬而未决的问题。

如果您对这方面的工作感兴趣，请联系并查看全文。