2024-10-14
各学院(部)：
为更好开展新工科毕设项目，提升项目质量和水平，“基于智能视觉的管道机器人缺陷感知与控制”新工科毕业设计项目现面向全校教师和毕业班学生进行招募。现将有关事项通知如下。
一、项目背景、目的及意义
市政管道缺陷检测技术在很大程度上决定了市政管道使用寿命与安全，而长期以来该工作主要通过人工或回传照片后再由人工经验判断检测，费时费力。本项目旨在将神经网络与机器人结合，设计并实现一套适用于在市政管道照明条件下，图像自主增强、结构重建、缺陷检测与自动控制系统，实现机器人针对排水管道、检查井等真实场景下缺陷的高识别率，以及安全的自动寻路、避障功能，逐步实现市政管道缺陷检测常态化，提升市政管道安全性和稳定性。
二、项目已具备的条件
实验室已经具备项目研究所需要的各种硬件条件，进行了大量的计算机视觉的研究和建模，在模型的构建分析等方面具有良好的积累；与此同时，实验室与相关研究方向的国内外高水平课题组有密切联系。合作单位之一的天津市政院有良好的工作基础和充足的一线经验，可提供大量高质量的权威管道缺陷图片和视频数据集；指导教师在该领域有着多年的积累，其像素级缺陷识别方法和管道内图像去雾算法是当前该领域的主流方法之一。综上所述，具备完成目标任务的所需条件。
三、项目期限与目标
本期项目期限：2024年11月-2025年6月。
目标：
（1） 为解真实场景下市政管道内可视性不佳，导致缺陷识别的准确率过低的问题，完成一种改进的图像增强与目标识别结合的高精确度管道缺陷识别和结构重建算法，提高管道中多种缺陷识别的精确度和检测效率。
（2） 为实现不同形态管道内壁缺陷的识别任务，设计一种管道内窥视频拼合成内壁展开大图的方法，并以真实数据为基础构建数据集，在收集到的数据集上，实现多种形态、多种方向管道内壁缺陷的精准方法。
（3） 为提升机器人采集视频的操作效率，设计并实现一套适用于管道场景的机器人自动行驶控制算法，该算法适用于管道内场景，对于影响正常行驶的障碍物等有着较好的通过能力，对管壁上缺陷，实现良好的摄像头自动角度控制功能。
四、项目主要方向及任务
方向1：真实管道内视觉增强技术
市政管道内部环境光线条件较差，杂物较多，导致图像质量不佳，难以支持后续的缺陷检测与分析。为此，本研究将采用基于深度学习的图像增强技术，结合传统的图像处理方法（如直方图均衡化、Gamma校正等）进行融合优化。通过卷积神经网络设计自适应的去噪与去模糊模块，实现实时、动态的图像增强。此外，为提升系统的鲁棒性，将引入生成对抗网络（GAN）以生成高质量的对比增强图像，并进行风格迁移，以增强在低光和复杂背景下的图像质量。本部分研究将着重于开发高效、低算力的增强算法，以确保嵌入式检测系统在管道狭窄、光线不均匀环境下的实时处理能力，为后续缺陷检测算法提供高质量的数据输入。
方向2：管道内缺陷高精度目标检测方法
缺陷检测算法的核心在于开发一种能够应对多样化管道缺陷（如裂缝、腐蚀、沉降、变形等）的高精度检测模型。为此，本研究将设计基于图像分割的缺陷识别系统，并引入多尺度特征提取模块，以应对管道缺陷尺度不一和形态多样的挑战。同时，融合区域提取网络以实现精确定位和轮廓识别。为了提高模型的泛化能力，将采用迁移学习和自监督学习技术，利用预训练模型和大量模拟数据进行初始化，再进行实际数据的精调训练。此外，为保证检测的实时性与准确性，将引入模型压缩技术（如量化与剪枝）以优化模型的计算效率。
方向3：基于视觉感知的机器人自动行驶控制算法
在市政管道的复杂环境中，实现机器人行为的自主控制需要依赖视觉感知系统进行实时环境分析与决策。本研究将开发一种结合深度学习与传统路径规划的视觉感知自动控制算法。首先，通过单目或双目摄像头获取实时视频流，并利用深度卷积神经网络（CNN）进行障碍物识别、缺陷检测以及路径特征提取。随后，结合视觉SLAM（Simultaneous Localization and Mapping）技术构建管道环境的局部地图，实现机器人在未知管道中的定位与导航。其次，基于强化学习（如DDPG或PPO）开发行为决策算法，利用视觉感知数据进行实时路径规划与避障。为了提高算法的实时性和鲁棒性，将结合传统路径规划算法（如A*）与动态窗口法（DWA），以实现视觉信息和路径规划的高效融合。此外，利用模糊控制和PID控制器对机器人运动进行精确控制，确保在复杂场景下的稳定运行和高效检测。
方向4：单目可见光下的管道内部结构重建方法研究
本研究将探讨在单目可见光条件下实现市政管道内部三维结构重建的方法，旨在为缺陷检测与维护决策提供精确的结构数据支持。研究内容包括以下方面：首先，研究单目视觉数据采集方法，确定在管道狭窄和光照复杂条件下的最佳图像获取方案；其次，分析如何从单目视频中提取稳定特征点，并利用视觉SLAM（如ORB-SLAM）算法进行定位和追踪，生成初步的稀疏三维点云。此外，探索通过深度估计技术（如基于深度学习的单目深度估计）补充完善深度信息，从而提升重建精度。最后，对点云数据进行处理和优化，包括噪声滤除、密化与网格化，以形成高分辨率的三维模型。通过整合单目视觉和深度估计技术，构建市政管道的精细结构，为缺陷分析和维修策略提供依据。
五、招募要求：
拟招募选题学生的学院（专业）包括：未来技术学院、自动化学院、智算学部等。
报名及联系方式：
相关课题细节以及其他未尽事宜请咨询项目组联系人：潘刚（pangang@tju.edu.cn）
欢迎各位同学踊跃报名，期待你的加入！
基于智能视觉的管道机器人缺陷感知与控制
新工科毕设工作组
2024年10月14日