我院獲得清華大學ChatGLM商業授權
時間
2023-07-28 10:39:33
智譜AI是由清華大學計算機系技術成果轉化而來的公司，致力于打造新一代認知智能通用模型，目前ChatGLM大模型屬于全球領先水平。我院正式獲得智譜AI ChatGLM商業授權，未來將致力于打造垂直行業領域AI服務。
ChatGLM的基座模型使用了GLM模型的混合目標函數，在1.4萬億中英文tokens數據集上訓練，并做了模型對齊，性能比第一代有了很大提升。在上下文支持方面，基于FlashAttention技術，基座模型的上下文長度由ChatGLM-6B的2K擴展到了32K，并在對話階段使用8K的上下文長度訓練，允許更多輪次的對話。在推理速度和資源使用效率方面，模型使用了Multi-Query Attention技術，能夠實現高效推理和更低的顯存占用。在官方的模型實現下，推理速度相比初代提升了42％，INT4量化下，6G顯存支持的對話長度由1K提升到了8K。
ChatGLM的基座模型使用了GLM模型的混合目標函數，在1.4萬億中英文tokens數據集上訓練，并做了模型對齊，性能比第一代有了很大提升。在上下文支持方面，基于FlashAttention技術，基座模型的上下文長度由ChatGLM-6B的2K擴展到了32K，并在對話階段使用8K的上下文長度訓練，允許更多輪次的對話。在推理速度和資源使用效率方面，模型使用了Multi-Query Attention技術，能夠實現高效推理和更低的顯存占用。在官方的模型實現下，推理速度相比初代提升了42％，INT4量化下，6G顯存支持的對話長度由1K提升到了8K。
