发布时间：2024-11-19 02:42:52 来源: sp20241119
5月17日，“全球首个大熊猫行为智能识别模型”及智慧管理系统在腾讯云生成式AI产业应用峰会上亮相，可智能识别大熊猫进食、喝水和睡觉等行为并生成报告，被称为“大熊猫AI奶爸”。
据介绍，这是广东工业大学（以下简称“广工”）信息工程学院电子信息工程班在中国大熊猫保护研究中心、腾讯云的支持和指导下，开展的人工智能+大熊猫保护探索项目。项目组的学生们在一阶段打造了全球首个大熊猫行为智能识别模型及智慧系统，识别圈养大熊猫进食、喝水和睡觉等日常行为，准确率超过了80%。
期间，腾讯云基于公有云、人工智能开发服务平台腾讯云TI-ONE及一站式研发管理平台CODING DevOps等产品和资源，为项目组提供从底层算力、训练环境部署、数据标注到模型训练的全链路技术与平台支持，帮助学生克服大熊猫行为标注、算法模型训练、协同开发、代码优化等难题，缩短算法模型训练时长，加速成果落地。
未来，广工“AI+大熊猫保护”项目组的学生们还将借助腾讯云大模型知识引擎，打造更智能、更专业的大熊猫“AI大模型奶爸”，助力大熊猫保护工作。
全球首个大熊猫AI奶爸，助力大熊猫保护
广工学生、“AI+大熊猫保护”项目组组长蓝学深介绍，项目组开发了智慧管理系统，部署了大熊猫行为智能识别模型，可识别大熊猫行为并生成日报、周报、月报、年报等，工作人员看一眼报告就能掌握大熊猫吃、喝、睡的基本情况。
以大熊猫彩云为例。模型识别后生成的报告显示，大熊猫彩云一天中大概有4到5个小时都在进食，喝了2次水，睡觉时间超过了12个小时。其中，彩云晚上8点左右开始睡觉，11点左右醒来进食，进食持续了1小时左右，12点左右继续睡觉。
大熊猫吃、喝、睡行为的识别和报告，对大熊猫保护工作有什么价值？
中国大熊猫保护研究中心专家介绍，大熊猫每日进食时间较长，拥有丰富的行为数据，且进食、喝水、睡觉等行为是判断大熊猫健康状况的重要依据，也是日常饲养过程中非常关注的。比如，长时间不进食或进食时间不足均可能会导致营养不良，有的行为和饮食异常也是生病的征兆。
这些大熊猫行为过去主要依靠人工现场观察和记录，饲养员在日常管理中需要每隔5分钟观察一次大熊猫的行为状态，估算进食量等等。因此，如果能用AI识别并记录这些行为的发生时间、时长和频率，将日常饲养数据记录智能化、数字化，帮助饲养员研究，对于大熊猫保护具有重大的意义。
全球首个大熊猫行为智能识别模型的背后，是全球首个大熊猫行为数据集。广工“AI+大熊猫保护”项目组学生们从5000小时的原始视频数据中精选出120小时有效行为视频，在腾讯云TI-ONE平台快速抽帧得到220万张大熊猫图片，构建起业内首个高质量的大熊猫行为数据集。借助腾讯云TI-ONE平台，学生们对数据集进行筛选、数据标注、清洗以及算法训练，最终训练出首个大熊猫行为智能识别模型。
“项目的顺利推进，离不开同学们的努力，离不开中国大熊猫保护研究中心专家的专业知识指导，也离不开腾讯云提供的技术指导和开发平台支持。” 项目指导老师、广东工业大学教授、博士生导师蔡念表示，行业出题，院校答题，腾讯助力，共建共享，这是一次产教融合教学模式的成功案例。
基于大熊猫行为智能识别模型的首创价值，在蔡念教授指导下，同学们为该算法模型申请国家发明专利，并与提供专业指导的大熊猫保护单位共享专利所有权。
借助腾讯云人工智能平台等，加速大熊猫模型训练部署
“AI+大熊猫保护”项目源于2023年暑假。在一次广东工业大学信息工程学院电子信息工程（腾创班）（简称“广工腾创班”）人工智能专业课结束后，几名学生找到蔡念教授提出“为大熊猫开发一个智能行为识别算法模型”的想法，希望能够识别大熊猫异常行为并及时预警。
广工腾创班是腾讯云和广东工业大学联合打造的本科创新班，打破学科专业壁垒，紧密贴合产业实际案例和技术前沿，设计课程体系和教学内容。在蔡念教授的鼓励下，蓝学深和另外10名同学一起组成项目组，并分成了前端组、后端组、算法组、云端组四个小组，展开了数据采集、算法训练、智慧系统开发等工作。
如何构建一个高质量的大熊猫行为数据集，是算法训练的第一步，也是让算法能够准确“找到”熊猫、“认出”大熊猫行为的关键。
这是同学们遇到的真正意义上的第一道挑战，其中最直接的难题是在当时看起来非常庞大的工作量——仅需要标注大熊猫行为的图片就有7.2万张，更别提还有数据清洗等任务。
一开始，项目组的同学们依靠手动操作，平均一小时才能完成1条视频的行为标注，效率十分低下。蓝学深记得，最忙的时候组织了8位组员协助算法组进行标注，但每天都要熬到凌晨四点才完成了当天计划的标注量。
事实上，完全通过人工手动标注来建立一个高质量、大规模的专业领域数据集，不仅成本高、效率低，更大的挑战在于无法保证数据标注的准确度——如果标注人员对于数据的理解存在偏差，打标签的范围大一点或者小一点，都会对标注的准确性和精度产生影响。
腾讯云教育行业高级架构师刘永杰介绍，腾讯云TI平台为数据标注的质效提升提供了关键的技术支撑。采用平台半自动标注功能，学生们得以提前完成大熊猫行为标注，并快速清洗筛选出具有鲜明行为特征的帧级图像数据，不仅提高了效率，也比手工标注更加精准。
借助TI平台半自动标注的能力，算法组2位同学只用了1天的时间就完成了7.2万张图片的大熊猫行为标注，而如果按照原计划手动标注，预估需要投入8人并且连续工作10天，效率提升了近40倍。
据了解，TI平台是腾讯云推出的一站式机器学习平台，致力于打通AI落地全流程链路，助力快速创建和部署AI应用，为了加速大模型产业落地，近期腾讯云TI平台进行了全面的工具链升级，预置了140个不同类型大模型精调任务场景的数据集，覆盖了数据清洗、优化、过滤和增强等环节，形成了完整的数据处理流程。
根据Forrester Wave《2023年第四季度中国人工智能/机器学习平台》报告，腾讯云TI平台在训练工具、训练评估、推理目标、应用工具、定价灵活性和透明度以及路线图等六项标准中获得了最高分，被评为“强劲表现者”。
“名师引领，真实场景，以赛促学，朋辈碰撞，这是一次产教融合教学模式的生动案例”， 广东工业大学信息工程学院张俊副院长表示，一直以来，广东工业大学秉承着培养有家国情怀、有国际视野、有坚实基础、有创新能力的高素质创新性复合型人才培养的理念开展教育工作，项目制是广工腾创班拔尖人才培养的模式，在实践情境下锻炼学生的思维方式，激发内生动力，培养解决复杂工程问题的能力。
未来接入大模型知识引擎，让“AI奶爸”更智能
“AI不是虚无缥缈的，必须与社会需求紧密结合并落地，才能不断推动AI技术发展。”蔡念教授表示，专利申请能为学生将带来更多的认可和价值感，但我们希望未来能够将研究成果真正应用到大熊猫保护管理工作当中。
腾讯云副总裁、腾讯云智能负责人吴运声表示，当前大模型尝鲜期已过，大模型技术如何落地更受行业关注。过去，通用大语言模型无法理解垂直领域或企业内部的专业知识，而训练一个企业专属的大模型则受到算力、成本、专业人才等多方面的制约。因此，腾讯云把AI大模型的能力封装成PaaS、API、智能应用等，推动生成式AI普惠落地，助力各行各业数字化、智能化、高质量发展。
目前，广工“AI+大熊猫保护”项目组的学生们在腾讯工程师的指导下，正探索基于腾讯云大模型知识引擎，对大熊猫的养殖数据图表、饲养经验、健康知识等进行解析和重组，探索打造一个信息全面、知识专业的“AI大模型奶爸”——既懂每一个大熊猫个体的特性，也掌握专业的饲养知识，能为饲养员们生成大熊猫“个性化餐单”等养殖建议。
据介绍，腾讯云大模型知识引擎是基于大语言模型的应用构建平台，通过开箱可用的应用模板和可被集成的原子能力API两种便捷使用方式，帮助不同开发能力的伙伴、客户，快速定制符合业务诉求的大模型知识问答、知识总结、知识创作应用。（小柯）
(责编：王连香、杨迪)