从Transformer到GPT:AI如何学会理解人类语言
Google发表《Attention Is All You Need》论文,提出Transformer架构。
Google推出BERT,OpenAI推出GPT-1,开启预训练大模型时代。
1750亿参数的GPT-3发布,展现惊人泛化能力。
多模态大模型开始支持图像、音频等跨模态理解。
未来趋势:更小的参数、更强的能力、更低的成本Agent化、多模态融合、垂直领域专业化