Em 30 de junho, a Huawei anunciou a liberação do código de dois de seus modelos de linguagem: o Pangu 7B, com 7 bilhões de parâmetros, e o Pangu Pro MoE, com 72 bilhões. A empresa também abriu a tecnologia de inferência baseada nos chips Ascend.
De acordo com o site oficial da Huawei, os pesos do modelo Pangu Pro MoE 72B, o código-fonte para inferência e os arquivos para operação de modelos MoE em larga escala já estão disponíveis na plataforma de código aberto. A empresa informou que os arquivos referentes ao modelo Pangu 7B serão disponibilizados em breve.
Fonte: Yicai.com
Adicionar Comentário