前言
每天都要浏览大量AI相关新闻，是不是感到信息量爆炸，有效信息少？
这么多新产品和新工具，到底哪些是真正是有价值的，哪些只是浮躁的一时热点？
想参与AI产品和工具的开发，从哪里能够获得大量的灵感和思路？
我会把AI相关的新趋势、新想法、新思路，和成熟AI产品、工具、模型等整理在这里，帮助大家去除信息噪音，更高效的了解AI前沿发展。
主要围绕：
- AI业界趋势、想法、思路
- AI产品
- AI开发者工具
- AI模型
作为本期刊的第二期，我们主要围绕2023年5-6月发布的相关信息为主，观众朋友们请注意时效性。
想法/思路
大模型训练的材料会耗尽吗？
以下节选自阮一峰科技周刊中阮老师的个人思考，觉得蛮有意思。
下面的新闻也讨论了该问题，在这里节选片段。
https://m.thepaper.cn/newsDetail_forward_23467960
笔者认为，虽然训练材料耗尽离我们现在还很遥远，不过如果训练所需要的材料一直以指数级增长，而我们现有的材料又没有跟上时，确实有可能会提前碰到这种瓶颈。
OpenAI支持函数调用功能
关于OpenAI的函数调用功能，一个比喻： 以前让OpenAI回答数学题，只能靠催眠（你是数学专家），然后回答，常常答错； 现在让OpenAI回答数学题，同时给他一个计算器（他知道什么时候该用计算器，但是他自己不会用），当他识别出这是数学题时，会把数字吐给你，你自己再用计算器算结果，再把结果和问题扔给他做回答。这也是很多其他新模型会附带的功能，类似模型插件。
优点：准确又智能。结果是你自己的函数计算的，肯定错不了；
快速整理播客笔记
阿里的通义听悟可以快速整理音频的内容，转化为文字。
我们首先需要下载播客音频，将音频导入通义听悟平台，1 个小时的音频大概只需要 5 分钟导入和处理；
通义听悟处理后，自动生成章节和声音转录的文本（能够区分不同说话人），支持文本翻译成中文；
随后可以根据自动生成的章节或关键词快速跳转收听感兴趣的内容，不感兴趣的一律跳过；随时在右侧做笔记；
AI发明计算机算法
https://www.ithome.com/0/698/425.htm
谷歌人工智能部门 DeepMind 宣布，使用 AI 发现了一种新的算法 AlphaDev，把排序速度提高了 70％，细节可以看原文。
模型
如何给大模型排行？
随着大模型研究的流行，非常多模型在市面上大乱斗，也有非常多的模型排行榜。我们该如何科学的对模型进行排名呢？
在模型硬指标上，有以下几个方面需要对比：
- 模型大小
- 训练数据集
- 训练和推理效率
- 应用领域（单模态/多模态等）
- …
除开硬指标，我在网上了解了一下，目前针对LLM公认的权威排行机构和论文还比较少，比较知名的有LMSYS
https://chat.lmsys.org/
国内有一个CLUE排行榜，不过我看了下，感觉有点模仿国外的模型评测GLUE和SuperGLUE的感觉，大家可以参考，但是具体认可度有待观察。
https://github.com/CLUEbenchmark/SuperCLUELYB
文字转音频 Bark
https://github.com/suno-ai/bark
Bark 是由 Suno 创建的基于转换器的文本到音频模型。 Bark 可以生成高度逼真的多语言语音以及其他音频 - 包括音乐、背景噪音和简单的音效。 该模型还可以产生非语言交流，如大笑、叹息和哭泣。 截至6月20号Github已经20k Star。
简单来说，你可以写一段文本，并选择一种语调，给机器朗读。但与此同时，支持：
- 除了英语外，还支持他国语言
- 支持一些非文字的声音，比如清嗓子、大笑、哼哼等
- 通过加上音乐符号♪，让他用唱歌的形式朗读。
- 可以给他输入音频，他会输出模仿声调
- …（还有很多能力）
支持的语言：
| Language | Status |
|---|---|
| English (en) | ✅ |
| German (de) | ✅ |
| Spanish (es) | ✅ |
| French (fr) | ✅ |
| Hindi (hi) | ✅ |
| Italian (it) | ✅ |
| Japanese (ja) | ✅ |
| Korean (ko) | ✅ |
| Polish (pl) | ✅ |
| Portuguese (pt) | ✅ |
| Russian (ru) | ✅ |
| Turkish (tr) | ✅ |
| Chinese, simplified (zh) | ✅ |
我个人在HuggingFace试用了一下，真的很牛，不过一开始随便试用时候稍有不慎会出现很奇怪的合成音，听起来蛮恐怖。就和使用Stable Diffusion时画出了非人类的头一样…
生物医学领域大模型
LLaVA-Med：面向生物医学领域的大语言模型和视觉模型
微软发布了LLaVA-Med，要做医药领域的GPT-4，支持多模态。可以识别X光片的信息。
Github：https://github.com/microsoft/LLaVA-Med
北京智源研究院LLM Aquila-7B
Aquila-7B：北京智源研究院开放的国产可商用的LLM
支持中英双语知识、支持商用许可协议、符合国内数据合规要求。后续还会发布33B模型。
Github：https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila
智源研究院和智谱AI同源，后者目前掌握了GLM系列。目前看后续前者更主要做学术研究，后者主要做商业化。
Aquila语言大模型在技术上继承了GPT-3、LLaMA等的架构设计优点，Aquila语言大模型是在中英文高质量语料基础上从０开始训练的，通过数据质量的控制、多种训练的优化方法，实现在更小的数据集、更短的训练时间，获得比其它开源模型更优的性能。也是首个支持中英双语知识、支持商用许可协议、符合国内数据合规需要的大规模开源语言模型。
Aquila-7B和Aquila-33B开源模型使用 智源Aquila系列模型许可协议, 原始代码基于Apache Licence 2.0。
王小川 百川LLM
王小川组建的「百川智能」正式推出首个70亿参数中英文LLM——baichuan-7B。国产、开源、免费、可商用。
Github：https://github.com/baichuan-inc/baichuan-7B
产品
金融GPT：FinGPT
https://github.com/AI4Finance-Foundation/FinGPT
作者使用中国金融市场数据和美国金融市场数据，分别用ChatGLM和LLaMA模型，配合Lora训练，做出了FinGPT
能够实现如下应用：
- 智能投顾
- ChatGPT可以像专业人士一样进行投资建议。
- 在这个例子中，苹果的股价上涨与ChatGPT分析新闻的预测相符。
- 量化交易
- 我们还可以使用新闻、社交媒体推文或者公司公告来构建情感因子，右侧的部分是由Twitter推文和ChatGPT信号产生的交易结果，数据来自于一个称为stocknet-dataset的数据集。
- 正如您从图片中所看到的，由ChatGPT生成的交易信号非常出色，我们甚至可以仅通过根据Twitter情感因子交易而获得良好的结果。
- 因此，我们可以通过结合价格因素来获得更好的结果。
- 低代码开发
- 我们可以使用LLMs的帮助来编写代码。
- 右侧显示了我们如何快速高效地开发我们的因子和其他代码。
微软HuggingGPT
https://huggingface.co/spaces/microsoft/HuggingGPT
AI知识库
https://albus.org/
我自己试了试，有一个很好的思路。当大家写文章，或者做视频没灵感时，可以现在心里想一个主题，让AIbus开始发散思维，进行简单的头脑风暴。
你可以给他设定文字基调：
可以设定文案的阅读受众，生成对应理解力的语句：
假设我要写一篇关于Java String字符串的介绍的博客，我以Java String为关键词，下图是他为我一步步生成的文案，并且配图也是生成的。
我现在越来越觉得写技术博客越来越是个伪命题，尤其是基础知识相关的博客，就算写出来了也是给AI大模型输送营养。
AI视频换风格
给它一个原始视频，然后选择一种想要的风格，AI帮你自动生成新的风格视频。
我自己也用官方Demo视频试了试，它可以支持在生成后视频的基础上再次微调参数，修改提示词，进行迭代。我生成的效果不是特别理想，应该还需要调整。
工具
Vercel 推出AI SDK
Vercel 是知名的云开发服务商，这次它内置了与OpenAI、LangChain和Hugging Face Inference的协作模块，目的是让开发者专注于产品研发，而不是基础设施搭建。 一个预想不一定对：以后做web AI产品，用Vercel和OpenAI就够了。
https://vercel.com/blog/introducing-the-vercel-ai-sdk
通过SD将二维码变成图像
这个网站教你如何使用 Stable Diffusion，将二维码变成一幅图像。
我觉得这个很有意义，很多地方商家张贴各种二维码真的很丑，如果能够植入商家的宣传图片，比如美食，产品，人像，是真的有用，可以商业化。
https://stable-diffusion-art.com/qr-code/
参考
Meta360创新学院-AGI前夜
https://docs.meta360.vip
Github Trending
https://github.com/trending
本文链接：https://my.lmcjl.com/post/4589.html
4 评论