Persberichten

Mitsubishi Electric ontwikkelt Scene-Aware Interaction TechnologyMeer natuurlijke en intuïtieve interactie tussen mens en machine dankzij scene awareness

Deze tekst is een vertaling van de officiële Engelse versie van dit persbericht en is uitsluitend bedoeld voor uw referentie of gemak. Raadpleeg de originele Engelse versie voor details en/of bijzonderheden. In geval van afwijkingen is de originele Engelse versie leidend.

VOOR ONMIDDELLIJKE PUBLICATIE Nr. 3365

TOKIO, 22 juli 2020 - Mitsubishi Electric Corporation (TOKIO: 6503) kondigde vandaag aan dat het bedrijf de volgens hen eerste technologie heeft ontwikkeld die bijzonder natuurlijke en intuïtieve interactie met mensen mogelijk maakt dankzij een scene-aware vermogen om multimodal sensing-informatie om te zetten in natuurlijke taal. De nieuwe technologie, Scene-Aware Interaction, integreert de door Mitsubishi Electric ontwikkelde Maisart®* compact AI-technologie om multimodal sensing-informatie te analyseren voor bijzonder natuurlijke en intuïtieve interactie met mensen door middel van contextafhankelijke productie van natuurlijke taal.

De technologie herkent contextuele voorwerpen en gebeurtenissen op grond van multimodal sensing- informatie, zoals foto’s en video’s gemaakt met camera’s, audiogegevens opgenomen met microfoons, en localisatiegegevens gemeten met LiDAR. Om voorrang te geven aan deze verschillende categorieën van informatie ontwikkelde Mitsubishi Electric de Attentional Multimodal Fusion-technologie, waarmee betekenisvolle unimodale informatie automatisch wordt gewogen ter ondersteuning van gepaste woordkeuze voor het nauwkeurig beschrijven van scènes. Tijdens benchmark testing door middel van een gebruikelijke test set maakte de Attentional Multimodal Fusion-technologie gebruik van audio- en visuele informatie om een Consensus-Based Image Description Evaluation (CIDEr)**-score te behalen die 29 procentpunten hoger lag dan bij enkel gebruik van visuele informatie. Door Attentional Multimodal Fusion te combineren met scene understanding-technologie en de productie van contextgebaseerde natuurlijke taal creëert Mitsubishi Electric een krachtig end-to-end Scene-Aware Interaction systeem voor bijzonder intuïtieve interactie met gebruikers in verschillende situaties.

  1. * Mitsubishi Electric's AI creates the State-of-the- ART in technology Maisart
  2. **CIDEr is een evaluatieparameter die de overeenstemming meet van een geproduceerde zin met een set van door mensen geschreven ‘ground-truth’ zinnen, waarbij aandacht besteed wordt aan woordsequenties die relatief frequent gebruikt worden door mensen.

Scene-Aware Interaction voor autonavigatie, één beoogde toepassing, biedt bestuurders intuïtieve routebegeleiding. Zo zou het systeem in plaats van de bestuurder de instructie “sla rechtsaf over 50 m” te geven scene-aware instructies geven, zoals “sla voor de postbus rechtsaf” of “volg die grijze wagen die rechtsaf slaat”. Bovendien zal het systeem gesproken waarschuwingen geven, zoals “een voetganger steekt de straat over”, wanneer voorwerpen in de buurt zich naar voorspelling op het traject van de wagen zullen bevinden. Om deze functie te gebruiken, analyseert het systeem scènes om herkenbare, visuele oriëntatiepunten en dynamische elementen van de scène te onderscheiden, en gebruikt daarna deze herkende voorwerpen en gebeurtenissen om intuïtieve zinnen te produceren als richtlijn.

Recente vooruitgang wat betreft technologieën voor voorwerpherkenning, videodescriptie, productie van natuurlijk taalgebruik en gesproken dialoog door middel van diepe neurale netwerken stellen machines in staat om een beter inzicht te krijgen in hun omgeving en om een meer natuurlijke en intuïtieve interactie met mensen tot stand te brengen. Scene-Aware Interaction technologie zal naar verwachting breed kunnen ingezet worden bij onder meer mens-machine-interface voor infotainment in de auto, interactie met robots bij automatiseringssystemen voor fabrieken en de bouwsector, systemen voor de opvolging van de gezondheid en het welzijn van mensen, bewakingssystemen die complexe scènes voor mensen interpreteren en ter bevordering van social distancing, ondersteuning voor handenvrije bediening van toestellen in publieke ruimtes, en nog veel meer.

Voorbeeld van Scene-Aware Interaction voor contextuele richtlijnen

Voorbeeld van Scene-Aware Interaction als ondersteuning bij het vermijden van gevaarlijke situaties


Opmerking

De inhoud van de berichten is correct op het moment van publicatie, maar kan zonder voorafgaande kennisgeving worden gewijzigd.


Vragen

Mediacontact

Vragen van klanten