Autonomous Driving Systems with Large Language Models : A Comparative Study of Interpretability and Motion Planning

Abstract

In this master’s thesis, we investigate the integration of large language models into autonomous driving systems, with a particular emphasis on their potential to enhance interpretability, decision-making, and planning capabilities. We implement both data-driven and knowledge-driven models within the CARLA simulator across diverse scenarios, focusing specifically on the TransFuser and LMDrive frameworks. This study provides a comparative analysis of these models utilizing a range of metrics. The results indicate that while LMDrive exhibits certain limitations in motion planning, it demonstrates significant competence in interpretability, particularly in recognizing traffic light signals and detecting bumpy road conditions.

Tässä pro gradu -tutkielmassa tutkimme suurten kielimallien integrointia autonomisiin ajoneuvojärjestelmiin, erityisesti niiden potentiaalia parantaa tulkittavuutta, päätöksentekoa ja suunnittelukyvykkyyttä. Toteutamme sekä datalähtöisiä että tietämyslähtöisiä malleja CARLA-simulaattorissa erilaisissa skenaarioissa keskittyen erityisesti TransFuser- ja LMDrive-kehyksiin. Tämä tutkimus tarjoaa vertailevan analyysin näistä malleista käyttäen useita mittareita. Tulokset osoittavat, että vaikka LMDrive osoittaa tiettyjä rajoituksia liikkeen suunnittelussa, se osoittaa merkittävää osaamista tulkittavuudessa, erityisesti liikennevalojen tunnistamisessa ja epätasaisen tien havaitsemisessa.