Танель Пярнама, как нейронные сети создают роботов на космическом корабле | Технология звездолета

Starship строит флот роботов, которые доставляют посылки по запросу. Чтобы добиться этого успешно, роботы должны быть безопасными, вежливыми и быстрыми. Но как этого добиться с небольшими вычислительными ресурсами и без дорогих датчиков, таких как лидары? Это инженерная реальность, которую вы должны освоить, если вы не живете в месте, где клиенты с радостью платят 100 долларов за доставку.

Во-первых, роботы начинают со сканирования мира с помощью радаров, нескольких камер и ультразвука.

Проблема, однако, в том, что большая часть этих знаний носит низкоуровневый и несемантический характер. Например, робот может чувствовать, что объект находится на расстоянии десяти метров, но, не зная категории объектов, трудно принять безопасное решение о вождении.

Машинное обучение с помощью нейронных сетей на удивление полезно для преобразования этих низкоуровневых неструктурированных данных в информацию более высокого уровня.

Роботы-звездолеты обычно путешествуют по тротуарам и переходят улицы, когда им нужно. Это создает другой набор проблем по сравнению с самоходными автомобилями. Движение по автомобильным дорогам более структурировано и предсказуемо. Машины движутся по полосам и слишком часто не меняют направление, при этом люди часто останавливаются внезапно, зигзагообразно, могут сопровождаться собакой на поводке и не сигнализировать о своих намерениях поворотниками.

Для понимания окружающей среды в реальном времени центральной частью робота является модуль обнаружения объектов — программа, которая вставляет изображения и возвращает список полей объектов.

Ничего страшного, но как написать такую ​​программу?

Изображение — это большое трехмерное поле, состоящее из бесчисленных чисел, представляющих интенсивность пикселей. Эти значения значительно меняются, когда снимок делается ночью, а не днем; при изменении цвета, масштаба или положения объекта, а также при усечении или закрытии самого объекта.

Слева — то, что видишь. Правильно — то, что видит компьютер.

Для некоторых сложных задач обучение более естественно, чем программирование.

В программном обеспечении робота есть набор обучаемых модулей, в основном нейронные сети, где код пишется самой моделью. Программа представлена ​​набором шкал.

Во-первых, эти числа инициализируются случайным образом, и вывод программы также является случайным. Инженеры являются образцом для подражания того, чего они хотели бы ожидать, и просят сеть улучшить в следующий раз, когда они увидят аналогичный вклад. Путем многократного изменения весов алгоритм оптимизации ищет программы, которые все более и более точно предсказывают ограничивающие прямоугольники.

Разработка программ, найденных в результате процедуры оптимизации.

Однако необходимо глубоко задуматься над примерами, которые используются для обучения модели.

  • Следует ли наказывать или вознаграждать модель, когда она обнаруживает машину в отражении окна?
  • Что ему делать, если он обнаруживает изображение человека на плакате?
  • Следует ли аннотировать автомобильный прицеп, заполненный автомобилями, как единое целое или аннотировать каждый автомобиль отдельно?

Это все примеры, которые произошли при создании модуля обнаружения объектов в наших robots.

Нейронная сеть обнаруживает объекты в отражениях и плакатах. Ошибка или функция?

При обучении машины больших данных просто недостаточно. Собираемые данные должны быть обширными и разнообразными. Например, использование только равномерно отобранных изображений и их последующих аннотаций позволит показать много пешеходов и автомобилей, но в модели не будет примеров мотоциклов или конькобежцев, которые могли бы надежно определять эти категории.

Команда должна извлечь особую пользу из сложных примеров и редких случаев, иначе модель не будет работать. Starship работает в нескольких странах, и разные погодные условия обогащают множество примеров. Многие были удивлены, когда во время метели сработали роботы-доставщики космических кораблей. в Великобритании однако аэропорт и школы оставались закрытыми.

Роботы доставляют посылки в разных погодных условиях.

В то же время аннотирование данных требует времени и ресурсов. В идеале лучше обучать и улучшать модели с меньшим количеством данных. Здесь в игру вступает архитектурная инженерия. Мы кодируем предыдущие знания в архитектуру и процессы оптимизации, чтобы уменьшить пространство для поиска программ, которые более вероятны в реальном мире.

Мы будем включать предварительные знания в архитектуру нейронных сетей, чтобы получить лучшие модели.

В некоторых приложениях компьютерного зрения, таких как сегментация пикселей, модели полезно знать, находится ли робот на тротуаре или на дороге. Чтобы помочь, мы кодируем глобальные руководства на уровне изображений в архитектуре нейронной сети; Затем модель определяет, использовать ее или нет, не изучая ее с нуля.

После проектирования данных и архитектуры модель может работать хорошо. Однако модели глубокого обучения требуют значительных вычислительных мощностей, и это большая проблема для команды, поскольку мы не можем воспользоваться преимуществами самых мощных графических карт в роботах с низкими затратами на доставку батареи.

Starship хочет, чтобы наши расходные материалы были дешевыми, а это значит, что наше оборудование должно быть дешевым. По этой же причине Starship не использует лидары (система обнаружения на основе радара, использующая лазерный свет), которые облегчили бы понимание мира, — но мы не хотим, чтобы наши клиенты платили больше, чем им нужно доставить.

Современные системы обнаружения объектов, опубликованные в научных статьях, работают со скоростью около 5 кадров в секунду. [MaskRCNN]и документы об обнаружении объектов в реальном времени не сообщают о скорости, значительно превышающей 100 FPS [Light-Head R-CNN, tiny-YOLO, tiny-DSOD]. Более того, эти числа показаны на одном рисунке; однако нам нужно понимание на 360 градусов (что эквивалентно обработке примерно 5 отдельных изображений).

Чтобы обеспечить перспективу, модели Starship показывают более 2000 кадров в секунду при измерении на графическом процессоре потребительского уровня и обрабатывают 360-градусное панорамное изображение за один проход. Это соответствует 10000 FPS при обработке 5 отдельных изображений с размером пакета 1.

Нейронные сети лучше людей во многих визуальных проблемах, хотя они все еще могут содержать ошибки. Например, ограничивающая рамка может быть слишком широкой, надежность может быть слишком низкой или объект может быть в действительно пустом месте.

Возможные проблемы в модуле обнаружения объектов. Как их решить?

Исправить эти ошибки непросто.

Нейронные сети считаются черными ящиками, которые сложно анализировать и понимать. Однако, чтобы улучшить модель, инженерам необходимо понимать случаи отказа и глубже вникать в особенности того, чему модель научилась.

Модель представлена ​​набором весов, и можно представить, что каждый нейрон пытается узнать. Например, первые слои звездолетной сети активируются по стандартным шаблонам, таким как горизонтальные и вертикальные края. Другой блок слоя обнаруживает более сложные текстуры, а более высокие слои обнаруживают автомобильные детали и твердые объекты.

То, как нейронная сеть, которую мы используем в роботах, улучшает понимание изображений.

С моделями машинного обучения технический долг приобретает все большее значение. Инженеры постоянно улучшают архитектуры, процессы оптимизации и наборы данных. В результате получается более точная модель. Тем не менее, изменение модели обнаружения на лучшую не обязательно гарантирует успех в общем поведении робота.

Существуют десятки компонентов, которые используют выходные данные модели обнаружения объектов, каждый из которых требует разной точности и уровня вызова, которые устанавливаются на основе существующей модели. Однако новая модель может работать по-разному. Например, на распределение вероятностей выходных данных могут влиять большие значения или они могут быть шире. Хотя средняя производительность лучше, для определенной группы, например больших автомобилей, она может быть хуже. Чтобы избежать этих препятствий, команда калибрует вероятности и проверяет регрессию на нескольких стратифицированных наборах данных.

Средняя производительность не расскажет вам всю историю модели.

Мониторинг обучаемых программных компонентов представляет собой другой набор проблем по сравнению со стандартным программным мониторингом. Мало внимания уделяется времени получения или использования памяти, потому что они обычно постоянны.

Однако основной интерес состоит в том, чтобы переместить набор данных — распределение данных, используемых для обучения модели, отличается от того, где модель развернута в настоящее время.

Например, электросамокаты могут сразу ездить по тротуарам. Если модель не учитывала этот класс, правильно его классифицировать будет сложно. Информация, полученная из модуля обнаружения объектов, не согласуется с другой сенсорной информацией, что приведет к запросам о помощи от людей-операторов, что замедлит доставку.

Основная проблема практического машинного обучения — данные для обучения и тестирования поступают из разных распределений.

Нейронные сети укрепляют роботов Starship на перекрестках дорог, избегая препятствий, таких как автомобили и тротуары, понимая все направления, в которых могут двигаться люди и другие препятствия.

Роботы Starship достигают этого за счет использования недорогого оборудования, что создает множество технических проблем, но делает доставку роботов сегодня мощной реальностью. Роботы Starship осуществляют настоящие доставки семь дней в неделю в большее количество городов по всему миру, и приятно видеть, как наши технологии постоянно приносят людям больше комфорта в их жизни.

[

among us hack
among us mod menu
watch online
watch online
free coin master SPINS
free coin master SPINS
watch online
xbox gift card generator
free fortnite skins generator
free coin master SPINS
free fortnite skins generator
free fortnite skins generator
psn free gift card generator
psn free gift card generator
free robux
robux free generator
robux free generator
free robux
robux free generator
robux free generator
free robux
robux free generator
robux free generator
free robux
robux free generator
robux free generator
free robux
robux free generator
robux free generator
free robux
robux free generator
robux free generator
free robux
robux free generator
robux free generator
free robux
robux free generator
robux free generator
free robux
robux free generator
robux free generator
free robux
robux free generator
robux free generator
free roblox gift cards generator working
free roblox gift cards generator working
free roblox gift cards generator working
free v bucks
clash royale hack
free v bucks
free v bucks
xbox gift card generator
xbox gift card generator
free fire hack
watch online
watch online
gta 5 free money
free netflix account generator
onlyfans premium account
free robux
robux free generator
robux free generator
free v bucks
watch online
watch online
watch online
watch online

]

Add a Comment

Ваш адрес email не будет опубликован. Обязательные поля помечены *