微软
重点新闻(0602～0608)
微软 Orca 生成式AI
微软发表130亿参数模型Orca，表现比ChatGPT还要好
微软日前发表一款130亿参数的语言模型Orca（虎鲸），还在一系列基准测试中赢过主流大型基础模型，像是ChatGPT、Bard，以及其他同参数量的Vicuna-13B、Alpaca-13B和LLaMA-13B等模型。进一步来说，微软想透过学习、模仿大型语言模型的推理过程，来提高小模型表现，於是，他们以GPT-4为标竿，让Orca学习GPT-4的推理过程，包括解释步骤、逐步（Step by step）思考模式和其他复杂指令，并由ChatGPT的老师模型来引导。
测试时，团队以GPT-4作为评分工具，来衡量Orca在严格的基准测试Big Bench Hard（BBH）中与其他SOTA模型的表现，发现比ChatGPT、Bard等要好，也在包含SAT、LSAT、GRE和GMAT等学术考试的AGIEval基准测试中，拿下不错成绩。（详全文）
函式库 Teams Copilot
微软推出AI函式库，开发者可用来打造Teams AI应用程式
微软不只在M 365生产力工具中加入Copilot扩充套件、用大型语言模型协助用户处理语言任务，现在还进一步扩展大型语言模型的支援，推出Teams AI函式库。Teams AI函式库是一个开发工具，以GPT-4为基础，能让开发者在Teams平台上打造具AI功能的Teams应用程式，也支援多种语言。Teams AI函式库包括进阶AI元件，如对话式AI、提示语管理和安全审查等功能，开发者可开发高度互动的应用程式。微软指出，该函式库的设计考虑了开发的简单性和灵活性，所以开发者不需花大量时间，理解复杂的协定或是编写自定义对话逻辑。（详全文）
Google Transformer 扩散模型
一句话一张图就能准确生成新图片，Google发表新文字生成图片模型StyleDrop
Google最近发表一款图片生成图片的AI系统StyleDrop，以Google先前发表的同类模型Muse为基础，可根据使用者给定的一张图和文字提示，来生成同样风格和纹理的图片，表现比扩散模型（如Stable Diffusion、Imagen）还要好。
进一步来说，有别於扩散模型，StyleDrop是一款基於离散Token的视觉Transformer模型。团队在训练模型时，采用了人工回馈和自动回馈方法，来提高产出品质，也就是说，团队对StyleDrop输入一张图片後，模型会产出一组同样风格的图片，团队手动挑选或用CLIP模型自动分类出品质最好的图片，再用这些图片来训练模型。与此同时，团队也利用Dreambooth模型来强化StyleDrop对物件图片的生成表现，由前者学习物件、後者学习风格，再整合为生成结果。Google表示，StyleDrop的强项在於能捕捉图片风格中的细微差异，像是色彩、阴影、图案设计等，并能按照该风格生成图片。他们评比发现，StyleDrop的风格转换表现比Textual Inversion、Dreambooth、LoRAs和Imagen等主流模型还要好。（详全文）
Falcon LLM SageMaker
阿拉伯联合大公国打造400亿参数LLM，霸榜OpenLLM排行榜
近日，阿拉伯联合大公国科技创新研究所（TII）用AWS机器学习服务SageMaker打造出400亿参数的语言模型Falcon-40B，在Hugging Face的OpenLLM排行榜上位居第一，赢过LLaMA、StableLM和RedPajama等模型，最近也开源了。
Falcon-40B是因果解码器，用将近5亿个Token训练而成。这些训练资料来自网路公开文件，为提高训练资料品质，团队还自建资料处理工作流程，透过过滤和去重复化来挑出高品质资料。此外，团队还采用了多重查询注意力（Multiqery attention）机制和FlashAttention注意力机制，来提高模型效率。简单来说，多重查询注意力机制可让模型对每个Token产生多个查询，来更好表示同一序列中，不同token之间的关系；FlashAttention则能加速自我注意力的运算、降低复杂性，进而提高模型整体的运算效率。
接着，团队使用SageMaker服务和384颗GPU来进行2个月的训练。经多个基准测试，表现比LLaMA、Vicuna和Alpaca好，目前开源的版本有Falcon-7B-Instruct和Falcon-40B-Instruct等。（详全文）
Google Cloud Chatbot 资料搜寻
Google云推生成式AI新服务，企业可自建Chatbot搜寻内部资料
Google Cloud推出一项AI服务Enterprise Search on Gen App Builder，使用者可用来开发聊天机器人，来搜寻企业内部资料。进一步来说，这款服务特别之处，在与用生成式AI聊天机器人模式来搜寻资料，可克服传统查询方法的痛点，如出现大量模式匹配连结、相关答案需要人力检查等。Enterprise Search on Gen App Builder可让开发者打造特定资料源的搜寻引擎，提高搜寻准确性和相关性，且可处理多模态资料，像是图片、影像，还能让用户控制答案输出。
Google也透露，美国医疗龙头梅约医学中心将采用Enterprise Search on Gen App Builder，来在几分钟内自建搜寻用的聊天机器人和语义搜寻应用程式，且几乎不需要写什麽程式，加速医师及研究人员搜寻医院内各种格式的文件，如病历、研究论文、临床指引和资料库作为研究、诊断及治疗之用。Google Cloud称，这项服务已符合HIPAA标准。（详全文）
微软 VS Code C#
微软推出全新C#开发工具包，新添AI开发功能
微软推出VS Code新C#开发工具包，可在Linux、macOS和Windows等作业系统上，提供更高效可靠的工具环境。C#开发工具包由一组VS Code扩充套件组成，这组扩充套件提供完整的C#编辑、AI开发、解决方案管理和整合测试功能。
在安装C#开发工具包时，系统会自动安装IntelliCode for C# Dev Kit，这个新IntelliCode比原本C#扩充套件中的IntelliCode还要好，而且，新添的AI功能还能依据开发者个人程式码库，提供整行程式码完成以及星形标签的建议，也会将最可能使用的内容，在C#专案的IntelliSense完成列表置顶。（详全文）
Nvidia 3D Neuralangelo
Nvidia公布能将2D影片转成3D的AI模型Neuralangelo
Nvidia最近发表可将2D影片片段转为3D的AI模型Neuralangelo，而且细节丰富、纹理清楚，如建筑、雕刻和其他真实物体，创作者可用来产生3D物件、汇入到设计应用，或是进一步编辑，应用於艺术、电玩开发、机器人或数位分身中。
Neuralangelo使用即时神经绘图原语来捕捉物体微妙的细节，能以不同角度拍摄的2D影片为素材，从中选择多个不同角度的影格，一旦决定每个影格的相机位置後，就会产出初步的3D再现影像，并加入细节、使其成型，产出的3D物件可用於VR应用、机器人等领域。Nvidia研究院预定在6月18到22日举行的电脑视觉盛会CVPR上发表这款模型，并在预定发布的影片中，展示模型如何重建米开朗基罗的着名雕刻《大卫》、平板拖车和建筑物室内装潢与室外设计。（详全文）
OpenAI AI幻觉 过程监督
OpenAI新训练方法可避免AI出现幻觉
OpenAI采用了一种称为过程监督（Process Supervision）的训练方法，来奖励每个正确步骤的推理，让模型能遵循人类认可的关联思考（Chain-of-Thought），产生更可靠的结果。
虽然近期大型语言模型的推理能力大幅度提高，但OpenAI指出，即便是最先进的模型，仍会产生逻辑错误，也就是幻觉（Hallucination），而解决幻觉是建置通用AI的关键。OpenAI先是评估2种监督方法，利用MATH测试集来衡量过程监督和结果监督，发现过程监督的效能比结果监督佳，而且当问题变得复杂，效能差距也会增加，整体来说，过程监督奖励模型更加可靠。（详全文）
图片来源／微软、Google、TII、Nvidia
AI近期新闻
1. Google发表AI系统的安全性概念框架
2. DeepMind AI模型不下围棋了，新AlphaDev模型可加速资料中心运算效率
3. WordPress Jetpack AI助理可帮忙写部落格
资料来源：iThome整理，2023年6月
