天翼云是中国电信倾力打造的云服务品牌，致力于成为领先的云计算服务提供商。提供云主机、cdn、云电脑、大数据及ai等全线产品和场景化凯发app官方网站的解决方案。
- ·
- ·
- ·
- ·
- ·
- ·
- ·
- ·
- ·
- ·
分类： 云计算
2024-05-16 14:21:05
近日，meta公司发布了其zui新研发成果——开源大模型llama 3，共包含llama 3 8b和llama 3 70b两种规格，参数量级分别为80亿与700亿，并表示这是目前同体量下性能zui好的开源模型。相较于前代产品llama 2，llama 3在预训练数据上扩大了整整7倍（达到15t tokens），并且在数据质量与训练方式上也进行了深度优化，这无疑为开源大型语言模型（llm）领域发展再次书写了辉煌篇章。
为了方便广大ai技术爱好者与从业者快速上手学习与使用大语言模型技术，天翼云基于开源的meta-llama-3-8b-instruct模型以及text-generation-webui框架, 搭建了一键部署、开箱即用的云主机镜像。同时，天翼云cpu/gpu云主机近期即将上线llama 3大模型学习机，期望能够成为帮助用户打开大模型领域之门的di一把钥匙，让更多用户从此了解大模型、学习使用大模型，并利用大模型创造更多可能。
天翼云弹性云主机具备快捷易用、配置丰富、专有网络、安全稳定、多种镜像、高效管理和高性价比等优势，能够为用户提供优质服务体验。云主机支持动态调整计算资源，提供多种实例规格和存储类型，满足用户多元化业务需求；拥有灵活自定义的网络空间，以及多重安全防护，全面保障数据可靠性，助力业务批量快速部署。用户可以通过多种管理方式和多维度监控实现高效管理，并可根据需要灵活选择计费模式，享受专业运营团队的7*24小时服务。此外，天翼云还提供多样异构芯片和计算模型，为用户提供更优算力选择。
通过以下步骤，用户即可基于天翼云主机快速搭建llama 3的推理或微调环境：
(1) 登录天翼云主机控制台；
(2) 创建云主机, 使用指定的规格与llama 3镜像, 具体可参考部署文档https://www.ctyun.cn/document/10026730/10495072；
(3) 从浏览器登录到学习机页面, 使用llama 3模型。
天翼云llama 3大模型学习机在一键部署的基础上还提供以下各类功能, 戳凯发k8官网下载客户端中心官网还有更详细的帮助文档和教学视频哦！
(1)模型加载：支持加载主流基于transformers框架的模型，只需将模型下载并放置到指定目录下, 无需其他操作，镜像内已预装llama 3模型；
(2)模型推理：支持使用大语言模型进行多轮对话与文本生成，且支持多人同时使用；
(3)推理参数修改：支持修改大语言模型在推理时控制结果走向的temperature, top_k, top_p等参数；
(4)模型微调：支持基于基础大模型和私有数据，微调训练自己的lora小模型，使用小模型进行推理。
访问下方网址解锁更多相关功能！
https://www.ctyun.cn/document/10026730/10495063
通过天翼云大模型学习机
即可实现llama 3的丝滑应用
除了目前已发布的两种规格，meta公司宣布一个参数量超过400b的巨量llama 3也在训练中，并可能会在接下来的几个月内发布。可以预期，llama 3-400b将会继续推动大语言模型发展迈上新台阶。
在通用人工智能领域蓬勃发展的今天，天翼云将持续坚持科技创新，为行业用户提供可快速搭建大型模型推理或微调环境的凯发app官方网站的解决方案，以及高性能的ai算力集群，助力aigc产业实现降本增效，进而推动整个行业的繁荣发展。