Devin是什么?
Devin 是由AI初创公司 Cognition 开发的全球首个全自主 AI 软件工程师,具备自主学习新技术、端到端构建和部署应用、自主查找和修复代码 Bug、训练和微调 AI 模型的能力。在 SWE-bench 基准测试中,Devin 展现出超越其他 AI 模型的性能,正确解决了实际编程问题。
官方介绍视频:
Devin的主要功能
Devin具备以下能力:
- 长期推理与规划:能够规划和执行需要数千个决策的复杂工程任务,记住每一步的相关上下文,随时间学习,并修复错误。
- 使用开发者工具:配备了包括 shell、代码编辑器和浏览器在内的常见开发者工具,在一个沙盒化计算环境中工作。
- 主动协作:能够实时报告进度,接受反馈,并根据需要与用户共同进行设计选择。
- 学习新技术:通过阅读博客文章等资料,学习如何使用不熟悉的技术。
- 端到端应用构建和部署:能够从头开始构建并部署应用程序,如模拟生命游戏的交互式网站,并将其部署到 Netlify。
- 自主查找和修复代码库中的 Bug:帮助维护和调试开源竞赛编程书籍。
- 训练和微调 AI 模型:设置大型语言模型的微调,只需提供一个 GitHub 研究仓库的链接。
- 处理开源仓库的问题:只需提供一个 GitHub 问题的链接,Devin 就能完成所有设置和上下文收集工作。
- 对成熟生产仓库做出贡献:作为 SWE-bench 基准测试的一部分,Devin 解决了 sympy Python 代数系统中的对数计算错误。
- 执行实际工作:在 Upwork 上完成实际的编程工作,编写和调试运行计算机视觉模型的代码,并在最后编译报告。
Devin的评测结果
Devin 在 SWE-bench 基准测试中的表现非常出色,这是一个挑战性的基准测试,要求参与者解决开源项目(如 Django 和 scikit-learn)中的实际 GitHub 问题。Devin 正确解决了 13.86% 的问题,这一比例远远超过了之前的技术水平,后者只能解决 1.96% 的问题。即使在只给定要编辑的确切文件的情况下,以往的最佳模型也只能解决 4.80% 的问题。Devin 在评估时是独立完成的,而其他模型则得到了辅助(即模型被告知需要编辑哪些文件)。这一结果显示了 Devin 在理解和解决实际编程问题方面的巨大优势。
如何使用Devin?
目前Devin还在内测中,感兴趣的用户可以访问Cognition的官网了解更多信息,并填写内测申请表以抢先体验。
申请通过后,即可在Devin官网体验:https://preview.devin.ai/
热门AI工具推荐: