Программно-аппаратный комплекс «Подвижная гусеничная платформа с манипулятором с возможностью внешнего программирования и технологиями ИИ» представляет собой учебную самоходную гусеничную платформу с манипулятором и беспроводной FPV-камерой.
Этот комплекс предназначен для обучения и исследований в области робототехники, автоматизации и искусственного интеллекта. Он позволяет студентам и исследователям экспериментировать с управлением и программированием мобильных роботов, а также подключать внешние программные комплексы для программирования и управления на основе данных с датчиков. В основу проекта заложена гусеничная платформа с открытым исходным кодом и программным управлением через ROS. Для упрощения управления разработана дополнительная программная оболочка. На платформу интегрируется отдельная роботизированная рука с камерой, имеющая собственную параллельную систему управления, также интегрированную с ROS. Предполагается интеграция обеих систем в единый управляющий комплекс. Управление осуществляется с помощью бортового мини-ПК NVIDIA Jetson или Rpi 5, который способен обрабатывать изображения, работать с моделями искусственного интеллекта, а также передавать видеосигнал и другие данные на персональный компьютер оператора для удалённого управления и программирования через ROS. Связь осуществляется по Wi-Fi. Дополнительно предусмотрен независимый канал связи с аналоговой камерой, функционирующей по протоколу 5,8 ГГц, а также прямой канал управления тележкой и роботизированной рукой по радиоканалу для ручного управления. ROS (Robot Operating System) — открытая среда для разработки программного обеспечения в области робототехники. Это набор платформенно-независимых фреймворков, используемых для создания, интеграции и управления роботами.
Особенности и возможности комплекса:
- Возможность программирования и управления платформой напрямую через программное обеспечение.
- API для подключения внешних систем управления или сред моделирования и обработки данных, таких как MATLAB или SiminTECH.
- Использование встроенной камеры и датчиков для решения различных задач, включая распознавание объектов, навигацию и управление манипулятором.
- Возможность проведения исследований и экспериментов в области автоматизации, искусственного интеллекта и робототехники.
- Гусеничная платформа:
- Обеспечивает мобильность и устойчивость робота;
- Позволяет работать в различных условиях, включая пересеченную местность;
- Захват-манипулятор:
- Позволяет выполнять сложные манипуляционные задачи;
- Может использоваться для захвата, перемещения и позиционирования объектов;
- Набор датчиков и камер:
- Включает различные датчики для сбора данных об окружающей среде (УЗ сенсоры расстояния, специализированная цифровая камера глубины, лазерный лидар-дальномер;
- Дополнительная FPV-камера для передачи видео в реальном времени и получения изображений для анализа;
-
FPV-очки (First Person View):
- Позволяют оператору видеть изображение с камеры, установленной на платформе, в реальном времени;
- Обеспечивают более точное и интуитивное управление;
- Пульт управления:
- Предназначен для дистанционного управления платформой;
- Программное обеспечение на USB носителе (цифровой двойник):
- Виртуальная модель платформы, которая может использоваться для тестирования и симуляции различных сценариев;
- Помогает в разработке и отладке алгоритмов управления;
- Исходный учебный код для управления платформой:
- Пример кода для управления гусеничной платформой;
- Может быть использован как основа для разработки собственных алгоритмов;
- Исходный учебный код примера использования нейронных сетей:
- Пример использования нейронных сетей для решения задач, связанных с управлением платформой;
- Помогает понять принципы работы нейронных сетей и их применение в робототехнике;
- Персональный компьютер;
- Руководство пользователя и паспорт комплекса.