WiMi Hologram Cloud Inc. kondigt een semantische segmentatiemethode aan voor image-fused puntenwolken, gebaseerd op een samengevoegd convolutiegrafisch netwerk, met als doel de verschillende informatie van afbeeldingen en puntenwolken te gebruiken om de nauwkeurigheid en efficiëntie van semantische segmentatie te verbeteren. Puntwolkgegevens zijn zeer effectief in het weergeven van de geometrie en structuur van objecten, terwijl beeldgegevens rijke kleur- en textuurinformatie bevatten. Door deze twee soorten gegevens samen te voegen, kunnen hun voordelen tegelijkertijd worden benut en kan uitgebreidere informatie voor semantische segmentatie worden verkregen.

Het fused graph convolutional network (FGCN) is een effectief deep learning-model dat tegelijkertijd beeld- en puntenwolkgegevens kan verwerken en efficiënt kan omgaan met beeldkenmerken van verschillende resoluties en schalen voor efficiënte extractie van kenmerken en beeldsegmentatie. FGCN kan multimodale gegevens efficiënter gebruiken door de semantische informatie van elk punt in de bimodale gegevens van de afbeelding en puntenwolk te extraheren. Met deze module kan FGCN de ruimtelijke informatie in de beeldgegevens gebruiken om de contextuele informatie in het beeld beter te begrijpen door de semantische informatie van de k dichtstbijzijnde buren rond elk punt te berekenen.

Hierdoor kan FGCN beter onderscheid maken tussen belangrijkere kenmerken en relevante ruis verwijderen. Daarnaast gebruikt FGCN een ruimtelijk aandachtsmechanisme om zich beter te concentreren op de belangrijkere kenmerken in de puntenwolkgegevens. Met dit mechanisme kan het model verschillende gewichten toekennen aan elk punt op basis van de geometrie en de relatie van naburige punten om de semantische informatie van de puntenwolkgegevens beter te begrijpen.

Door kenmerken op meerdere schalen samen te voegen, verbetert FGCN het generalisatievermogen van het netwerk en de nauwkeurigheid van semantische segmentatie. Dankzij de extractie van kenmerken op meerdere schalen kan het model informatie op verschillende ruimtelijke schalen in overweging nemen, wat leidt tot een uitgebreider begrip van de semantische inhoud van afbeeldingen en puntenwolkgegevens. Deze semantische segmentatie van image-fused puntenwolken met een convolutioneel netwerk van fusiegrafieken is in staat om de informatie van multimodale gegevens zoals afbeeldingen en puntenwolken efficiënter te gebruiken om de nauwkeurigheid en efficiëntie van semantische segmentatie te verbeteren, waardoor machine vision, kunstmatige intelligentie, fotogrammetrie, teledetectie en andere gebieden naar verwachting vooruit zullen gaan en er een nieuwe methode voor toekomstig onderzoek naar semantische segmentatie zal ontstaan.

Deze semantische segmentatie van puntwolken met fusion graph convolutional network heeft een groot aantal toepassingsmogelijkheden en kan op vele gebieden worden toegepast, zoals autonoom rijden, robotica en medische beeldanalyse. Met de snelle ontwikkeling van autonoom rijden, robotica, medische beeldanalyse en andere gebieden, is er een toenemende vraag naar verwerking en semantische segmentatie van beeld- en puntenwolkgegevens. Op het gebied van autonoom rijden bijvoorbeeld, moeten zelfrijdende auto's de omgeving nauwkeurig waarnemen en begrijpen, inclusief semantische segmentatie van objecten zoals wegen, voertuigen en voetgangers.

Deze semantische segmentatie van puntenwolken met een fusiegrafisch convolutie netwerk kan de perceptie en het begrip van de omgeving verbeteren en nauwkeurigere gegevensondersteuning bieden voor de besluitvorming en besturing van zelfrijdende auto's. Op het gebied van robotica moeten robots de externe omgeving waarnemen en begrijpen om verschillende taken te kunnen uitvoeren. Beeldfusie puntwolk semantische segmentatie met fusiegrafiek convolutie netwerk kan beeld- en puntwolkgegevens verkregen door robots samenvoegen om het vermogen om de externe omgeving waar te nemen en te begrijpen te verbeteren, wat robots helpt om taken beter uit te voeren.

Op medisch gebied vereist medische beeldanalyse nauwkeurige segmentatie en herkenning van medische beelden om de medische diagnose en behandeling beter te ondersteunen. De semantische segmentatie van puntwolken met fusion graph convolutional network kan medische beelden en puntwolkgegevens samenvoegen om de segmentatie- en herkenningsnauwkeurigheid van medische beelden te verbeteren en zo nauwkeurigere gegevensondersteuning te bieden voor medische diagnose en behandeling. In de toekomst zal WiMi-onderzoek de modelstructuur verder optimaliseren.

Tegelijkertijd zal het model worden gecombineerd met deep learning-technologie om te profiteren van deep learning-technologie om de prestaties van het model te verbeteren. En de multimodale gegevensfusietechnologie verder ontwikkelen om verschillende soorten gegevens samen te voegen (bijv. beeld, puntenwolk, tekst, enz.) om uitgebreidere en rijkere informatie te bieden en de nauwkeurigheid van semantische segmentatie te verbeteren. WiMi zal doorgaan met het verbeteren van de real-time verwerking van de semantische segmentatie van puntwolken met beeldfusie, met de mogelijkheid voor een convolutie netwerk om aan de vraag te voldoen.