[China, Shenzhen, 14 de xullo de 2023] Hoxe, Huawei presentou a súa nova solución de almacenamento de intelixencia artificial para a era dos modelos a gran escala, que ofrece solucións de almacenamento óptimas para o adestramento básico de modelos, o adestramento de modelos específicos da industria e a inferencia en escenarios segmentados. liberando novas capacidades de IA.
No desenvolvemento e implementación de aplicacións de modelos a gran escala, as empresas enfróntanse a catro grandes desafíos:
En primeiro lugar, o tempo necesario para a preparación dos datos é longo, as fontes de datos están dispersas e a agregación é lenta, xa que leva uns 10 días preprocesar centos de terabytes de datos. En segundo lugar, para modelos grandes multimodais con conxuntos de datos de texto e imaxes masivos, a velocidade de carga actual dos ficheiros pequenos masivos é inferior a 100 MB/s, o que resulta nunha baixa eficiencia para a carga do conxunto de adestramento. En terceiro lugar, os frecuentes axustes de parámetros para modelos grandes, xunto coas plataformas de adestramento inestables, provocan interrupcións do adestramento aproximadamente cada 2 días, o que fai que o mecanismo Checkpoint reinicie o adestramento e a recuperación leva un día. Por último, altos limiares de implementación para modelos grandes, configuración complexa do sistema, desafíos de programación de recursos e utilización de recursos da GPU a miúdo por debaixo do 40%.
Huawei está a aliñarse coa tendencia do desenvolvemento da IA na era dos modelos a gran escala, ofrecendo solucións adaptadas a diferentes industrias e escenarios. Presenta o OceanStor A310 Deep Learning Data Lake Storage e o FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage ten como obxectivo escenarios de lagos de datos de grandes modelos básicos e industriais, logrando unha xestión integral de datos de intelixencia artificial desde a agregación de datos, o procesamento previo ata a formación de modelos e aplicacións de inferencia. O OceanStor A310, nun único rack de 5U, admite un ancho de banda de 400 GB/s líder no sector e ata 12 millóns de IOPS, con escalabilidade lineal ata 4096 nodos, o que permite unha comunicación entre protocolos perfecta. O sistema de ficheiros global (GFS) facilita o tecido intelixente de datos entre as rexións, simplificando os procesos de agregación de datos. A informática preto de almacenamento realiza o preprocesamento próximo aos datos, reducindo o movemento de datos e mellorando a eficiencia do preprocesamento nun 30 %.
O dispositivo superconverxente de adestramento/inferencia FusionCube A3000, deseñado para escenarios de adestramento/inferencia de modelos grandes a nivel da industria, atende a aplicacións que inclúen modelos con miles de millóns de parámetros. Integra nodos de almacenamento de alto rendemento OceanStor A300, nodos de adestramento/inferencia, equipos de conmutación, software de plataforma de intelixencia artificial e software de xestión e operación, proporcionando aos socios de grandes modelos unha experiencia de implementación plug-and-play para unha entrega única. Listo para usar, pódese implementar en 2 horas. Tanto os nós de adestramento/inferencia como os de almacenamento pódense expandir de forma independente e horizontal para adaptarse a varios requisitos de escala do modelo. Mentres tanto, FusionCube A3000 utiliza contedores de alto rendemento para permitir múltiples tarefas de adestramento e inferencia de modelos para compartir GPU, aumentando a utilización de recursos do 40% a máis do 70%. FusionCube A3000 admite dous modelos de negocio flexibles: a solución Huawei Ascend One-Stop e a solución única de socios de terceiros con software de plataforma de computación aberta, redes e intelixencia artificial.
O presidente da liña de produtos de almacenamento de datos de Huawei, Zhou Yuefeng, afirmou: "Na era dos modelos a gran escala, os datos determinan a altura da intelixencia da intelixencia artificial. Como portador de datos, o almacenamento de datos convértese na infraestrutura fundamental para os modelos de IA a gran escala. Huawei Data Storage continuará innovando, proporcionando solucións e produtos diversificados para a era dos grandes modelos de IA, colaborando con socios para impulsar o empoderamento da IA nunha ampla gama de industrias.
Hora de publicación: 01-ago-2023
