2024 年广东省老员工计算机设计大赛人工智能挑战赛
基于大模型的智能仿生机器人挑战赛赛项说明
V1.0
主办单位:广东省教育厅
承办单位:韦德官方网站
技术支持单位:广州市威控机器人有限公司
一、赛项介绍
(一)赛项简介
赛项名称:基于大模型的智能仿生机器人挑战赛
赛项组别:本科组/高职组
(二)竞赛背景
随着机器人与人工智能技术的持续革新,ChatGPT、Llama等大模型技术引领科技逐步进入通用人工智能(AGI)的全新时代。人工智能已崛起为全球经济增长的关键动力,推动各类产业实现 前所未有的智能化跃升。粤港澳大湾区作为全球制造业最为活跃的地区之一,湾区高校和企业对干新技术研究和应用有敏锐的触觉。2024年广东省老员工计算机设计大赛暨第17届中国老员工计算机设计大赛粤港澳大湾区赛《基于大模型的智能仿生机器人挑战赛》的独立赛题,是对湾区高校和企业对人才培养需求的及时反馈。
《基于大模型的智能仿生机器人挑战赛》由广州市威控机器人有限公司作为赛项技术支持单位协办,以仿生六足机器人为竞技焦点,巧妙融合大模型技术,旨在全面检验参赛员工在机械、电子、传感器、计算机软件及人工智能等跨领域的综合能力,并显著提升机器人的智能化水平,展现未来科技的无限潜能。
(三)挑战内容
本次竞赛要求选手将大模型融入仿生机器人,赋予其智慧大脑,让仿生机器人拥有自主思考能力,对运动控制和环境感知有自我认知能力,实现具身智能。
采用基于大模型的仿生机器人平台+“智能机器人应用平台”,围绕着大模型和机器人应用技能,考核参赛选手在适应赛场地形条件下,通过人机交互、边缘端平台部署、机器视觉、激光雷达等多传感器技术融合应用,结合人工智能深度学习的设计和训练以及大模型功能融入,实现工地人员检测和设备检测等智能化功能。
二、参赛要求
团体赛,以院校为单位组队参赛,不得跨校组队,校赛阶段校每个企业赛题上推不多于 5 件作品(若一个企业赛题报名不超过 5件作品,不需要进行校赛,直接上推;若一个企业赛题报名超过 5 件作品,需进行校赛评审)。省赛阶段每位作者最多参与不超过 2 个人工智能挑战赛赛项。 每支参赛队由 2 名选手和不超过 2 名指导教师组成。选手须为同校在籍员工,性别和年级不限。
三、竞赛内容与时间
本次竞赛为“预选赛+决赛”竞赛形式。
预选赛需要参赛队自行准备一个选手答题的工位和电脑套装(包含鼠标键盘),电脑需要安装ROS仿真环境(推荐使用ubuntu18.04、ROS Melodic)。预选赛阶段考核前会统一下发参考源码包,要求参赛队伍通过源码包独立完成竞赛内容,完成后将材料包(选手信息、演示视频、参赛队源码包)一并上传到规定的邮箱中,具体格式参考预选赛竞赛内容。
本科组决赛竞赛时间为 60 分钟。决赛要求参赛队伍在规定的时间内独 立完成大模型基础任务、边缘端部署、地图构建、全自主综合应用开发线下实操任务。
高职组决赛竞赛时间为 120 分钟。决赛要求参赛队伍在规定的时间内独 立完成机体安装与功能测试、边缘端部署与应用开发、大模型具身智能任务、自主巡检综合应用开发线下实操任务。
(一)预选赛竞赛内容
预选赛本科组及高职组考核模式一致,试题类型为仿真实操,在仿真平台(Gazebo)中完成,满分为 100 分。竞赛任务分为四大部分:导入模型、基本运动控制、导入感知模块、建图操作。
预选赛内容如下表所示:
模块编号 |
竞赛范围 |
竞赛内容 |
A |
导入模型 |
在仿真环境中导入仿生机器人模型 |
B |
基本运动控制 |
在仿真环境中控制仿生机器人进行基本运动操作 |
C |
导入感知模块 |
在仿真环境中导入环境感知模块,增加环境感知 |
D |
建图操作 |
在仿真环境中实现地图构建 |
模块A导入模型需要实现在仿真环境中正常显示仿生机器人模型,能清晰的看到机器人完整的结构组成;模块B基本运动控制需要实现编写ROS服务端节点,控制仿生机器人前进、后退、左平移、右平移、左旋转、右旋转六种运动控制;模块C导入感知模块需要实现导入激光雷达、摄像头、IMU模块三种感知模块,能清晰的展示激光雷达、摄像头、IMU模块实时检测情况;模块D建图操作需要实现在仿真环境中建立一个外围大小为8m*8m的封闭式地图,在地图中进行建图操作,需要同时展示Gazebo和Rviz显示界面,Gazebo界面需要清晰展示地图和机器人建图运动状态,Rviz界面需要显示激光雷达扫描、机器人模型、IMU姿态和建图情况,完成后保存地图,并且展示完整的地图。
材料包提交:
所有参赛队伍必须提交作品材料(电子版)一份,材料内容包括: 1.参赛队伍基本信息,包括学校/公司的名称、成员信息、作品名称;
2.四个仿真演示视频(每个视频时长控制在2分钟内),能够展现作品功能的运行效果;
3.源码包(整个工作空间)统一压缩(zip 格式)命名为“hexbot_ws.zip”;
4.以上材料统一打包为一个压缩文件 (zip 格式),命名为“基于大模型的智能仿生机器人挑战赛(本科)-院校名称-第一作者姓 名.zip”,邮件形式发送至(zhousuxia@vk-robot.com)处。选手需严格保证其中文件的真实性、原创性及有效性。
(二)本科组决赛竞赛内容
决赛要求参赛选手使用竞赛组委会提供的仿生机器人完成竞赛任务,任务内容包括大模型基础任务、边缘端部署、地图构建、全自主综合应用开发。本赛项具体包括以下内容:
模块编号 |
模块名称 |
一 |
大模型基础任务 |
二 |
边缘端部署 |
三 |
地图构建 |
四 |
全自主综合应用开发 |
任务一 大模型基础任务
参赛选手完成通过大模型接口,实现机器人规定的动作任务。
任务二 边缘端部署
完成人工智能边缘端环境部署、调试和应用开发。
任务三 地图构建
完成巡检区域的地图构建。
任务四 全自主综合应用开发
完成巡检区域的自主导航、目标检测、大模型具身智能,实现相关区域的巡检任务。
(三)本科组考核技术要点
大模型应用技术、边缘端应用技术、机器人通信技术、机器人运动控制技术、机器人建图导航技术、视觉识别技术。
(四)高职组决赛竞赛内容
决赛要求参赛选手使用竞赛组委会提供的仿生机器人完成竞赛任务,任务内容包括机体安装与功能测试、边缘端部署与应用开发、大模型具身智能任务、自主巡检综合应用开发。本赛项具体包括以下内容:
模块编号 |
模块名称 |
一 |
机体安装与功能测试 |
二 |
边缘端部署与应用开发 |
三 |
大模型具身智能任务 |
四 |
自主巡检综合应用开发 |
任务一 机体安装与功能调试
参赛选手完成机器人机体安装操作,安装完成后,需进行相关的功能测试。
任务二 边缘端部署与应用开发
完成人工智能边缘端环境部署、调试和应用开发。
任务三 大模型具身智能任务
完成机器人接入大模型,实现自主运动控制规划与环境感知。
任务四 自主巡检综合应用开发
完成巡检区域的自主导航、目标检测、大模型具身智能,实现相关区域的巡检任务。
(五)高职组考核技术要点
大模型应用技术、边缘端应用技术、机器人通信技术、机器人运动控制技术、机器人建图导航技术、视觉识别技术。
四、技术平台
(一)预选赛竞赛平台
本赛项预选赛统一自行安装仿真平台,在仿真平台完成考核任务。仿真平台推荐参数如下:
仿真平台 |
详细参数 |
仿真环境 |
ubuntu18.04、ROS Melodic |
(二)决赛竞赛平台(推荐)
本赛项决赛使用指定大模型智能六足机器人平台完成综合应用技术实操考核任务。大模型智能六足机器人平台参数如下(以具体实际情况为准):
设备名称 |
技术参数 |
人工智能大模型一体机 |
基本配置: CPU为I7,32GB内存,显存8G ,硬盘1T,显示器27寸 开发环境: (1)Ubuntu 20.04 LTD (2)VK-PytorchJupyterGPU容器镜像 (3)CUDA/CUDNN/Tensorflow等深度学习软件 (4)VK-LLM AGENT |
智能六足机器人(AI版) |
基本配置: (1)机体规格: 直径/高度/单条腿长:420mm/150mm/246mm (2)重量:3.5kg (3)机体材料:铝合金/碳纤维材料 (4)电池容量:12.6V 9600 mAh (5)自由度(DOF):18个 高性能运动关节: (1)最大旋转角度:180° (2)最大扭矩:20.0kg/cm 视觉传感器: (1)像素:800万 (2)视场角:160° 激光传感器: (1)测距频率:9000Hz (2)扫描频率:5-12Hz (3)最大测距范围:16m (4)扫描角度:360度 |
竞赛场景 |
(1)场景尺寸: 3.3m*3.3m (2)围墙高度: 40cm (3)围墙材料:木板、塑料 (4)道具:包含道具人、交通信号灯、贴纸、限高门等 |
五、成绩评定
成绩评定是根据竞赛考核目标、内容对参赛队或选手在竞赛过程 中的表现和最终成果做出评价,本赛项对参赛选手提交的竞赛成果, 依据赛项评价标准进行评价评分。
(一)预选赛评分
预选赛任务为仿真实操考核,采用上传演示视频内容+源码包考核的方式进行,满分为 100 分,各部分占比如下:
序号 |
名称 |
占比 |
1 |
导入模型 |
10% |
2 |
基本运动控制 |
30% |
3 |
导入感知模块 |
30% |
4 |
建图操作 |
30% |
(二)决赛评分
决赛任务为综合应用技能考核,本科组评分为四个部分:大模型基础任务、边缘端部署、地图构建、全自主综合应用开发,共计总分为 100 分。
序号 |
名称 |
占比 |
考核内容 |
1 |
大模型基础任务 |
15% |
编写大模型任务模块,实现机器人的基础运动控制 |
2 |
边缘端部署 |
15% |
完成环境部署、调试和应用开发 |
3 |
地图构建 |
15% |
完成工厂巡检区域的地图构建 |
4 |
全自主综合应用开发 |
55% |
完成相关区域的巡检任务 |
高职组评分为四个部分:大模型基础任务、边缘端部署、地图构建、全自主综合应用开发,共计总分为 100 分。
序号 |
名称 |
占比 |
考核内容 |
1 |
机体安装与功能调试 |
20% |
完成机器人安装并进行相应调试工作 |
2 |
边缘端部署与应用开发 |
20% |
完成环境部署、调试和应用开发 |
3 |
大模型具身智能任务 |
25% |
完成接入大模型并实现运动控制与环境感知 |
4 |
自主巡检综合应用开发 |
35% |
完成相关区域的巡检任务 |
六、其他
1. 大模型智能六足机器人平台为本赛项推荐硬件平台。赛事联 系人:周素霞老师,联系电话:18011929279(微信同号)。
2.其它未尽事宜,将在赛前向各参赛选手做详细说明。