Google DeepMind 发布了一份长达150页的技能报告，具体介绍了 Gemini1.5Pro 和 Gemini1.5Flash 两个模型的功用特点和架构以及这个多模态大型模型的最新发展。
Gemini1.5于本年2月上线，通过工程优化、MoE架构等战略显著提高了功用和速度。该模型具有更长的上下文理解才能、更强的推理才能，可以处理跨模态内容。
1.png
报告中提到了两个新型号:
Gemini1.5Pro:在多个功用和基准测验中超越了2月份的版别。
Gemini1.5Flash:轻量级变体，旨在进步效率，功用丢失极小。
Gemini1.5Flash是一个Transformer解码器模型，拥有超过2M的上下文和多模态功用，优化了张量处理单元（TPU）的使用，并减少了模型服务延迟。它可以并行计算注意力和前馈重量，使用高阶预处理办法进步训练质量。
报告还评估了Gemini1.5在处理英语、中文、日语和法语查询时，每个输出字符的平均时刻。结果显示，Gemini1.5Flash在所有测验语言中实现了最快的生成速度。
(domain)此外，Gemini1.5在跨模态长上下文检索使命上实现了近乎完美的召回，进步了长文档问答、长视频问答和长上下文自动语音识别的最佳水平，并在一系列广泛的基准测验中匹配或超越了Gemini1.0Ultra的功用。
Gemini1.5Pro在5月份的版别在多个推理、编码、视觉和视频基准测验中进行了改进，(html版权符号)而音频和翻译功用坚持不变。
报告还介绍了Gemini1.5Pro数学增强版别的功用，它在Hendryck的MATH基准测验中取得了91.1%的突破性功用，处理了此前模型无法处理的亚太数学奥林匹克标题。
最终，报告强调了Gemini1.5在现实国际的使用潜力，展现了它与专业人士协作完成使命的才能，在10个不同的作业类别中可节约26-75%的时刻。此外，该模型还能学会将英语翻译成Kalamang，一种只要不到200人使用的语言，与人类学习者的水平适当。
Gemini1.5的技能报告展现了谷歌在大型多模态模型领域的最新发展，其功用的提高和使用潜力为未来的AI技能发展供给了新的方向。