WiMi Hologram Cloud Inc. kondigde de ontwikkeling aan van een algoritme voor beeldfusie op basis van convolutionaire neurale netwerken. De toepassing van convolutionele neurale netwerken op beeldfusie heeft duidelijke voordelen: het kan de extractie van kenmerken en de toewijzingsaspecten van beeldfusie verbeteren en de kwaliteit van samengevoegde beelden verhogen. Beeldfusie is de verwerking en fusie van twee of meer beelden die door verschillende sensoren zijn verkregen.

Beeldfusie kan aanvullende informatie tussen beelden bereiken en de beeldkwaliteit maximaliseren om inhoudrijke en meer visueel waarneembare samengevoegde beelden te genereren en vervolgens de analyse en verwerking van informatie te voltooien. CNN is een typisch diep lerend model. Het leert mechanismen voor kenmerkrepresentatie op verschillende abstractieniveaus van signaal- of beeldgegevens.

CNN extraheert kenmerken van het ingevoerde beeld door filters te leren om op elk niveau andere kenmerkkaarten te verkrijgen, en elke eenheid of coëfficiënt in de kenmerkkaart wordt een neuron genoemd. Verschillende berekeningsmethoden, convolutie, activeringsfunctie en pooling, worden doorgaans gebruikt om de kenmerkkaarten tussen aangrenzende niveaus te verbinden. Het belangrijkste voordeel van het op CNN gebaseerde beeldfusie-algoritme van WiMi is dat het de extractie van nuttige informatie uit het bronbeeld maximaliseert en deze in het resulterende beeld samenvoegt om een beeld van hoge kwaliteit te verkrijgen.

Het systeem verwerft eerst de beelden die moeten worden samengevoegd en bewerkt ze. Vervolgens worden de voorbewerkte beelden ingevoerd in het convolutionaire neurale netwerk voor training. Het systeem extraheert de kenmerken van de beeldfusie en gebruikt vervolgens de optimale drempelmethode om de fusiekenmerken te segmenteren en verschillende regio's van verschillende beelden dienovereenkomstig te fuseren om de uiteindelijke resultaten van de beeldfusie te verkrijgen.

Een volledige CNN is een meerlagenstructuur die bestaat uit een invoerlaag, een poollaag, een volledig verbonden laag en een convolutielaag. De convolutielaag is het meest kritische deel, dat meerdere neurale netwerkknooppunten bevat om de kenmerken voor beeldfusie te extraheren. De poolinglaag kan de kenmerken voor beeldfusie terugschalen, een nieuwe set van beeldfusiekenmerken verkrijgen en vervolgens de gewichten continu herhalen voor training en leren.

Voordat een optimale beeldfusie wordt uitgevoerd, segmenteert het systeem het beeld in verschillende gebieden. Het samen te voegen beeld wordt in verschillende regio's verdeeld door de optimale segmentatiedrempel, en de verschillende regio's worden samengevoegd om het resultaat van de beeldfusie te verkrijgen. De verwerkte beelden van dit systeem hebben een aanzienlijk hogere helderheid en helderheid, een betere signaal-ruisverhouding en een hogere beeldkwaliteit, waardoor betere visuele effecten kunnen worden verkregen.

Het systeem heeft duidelijke voordelen ten opzichte van de traditionele beeldfusietechnologie. Het CNN-algoritme voor beeldfusie is een fundamentele technologie voor beeldanalyse en computervisie geworden. Met de voortdurende verbetering van het hardwareniveau en gerelateerd onderzoek, zal de toepassing ervan op verschillende gebieden zich in de diepte blijven ontwikkelen.

Het WiMi-algoritme heeft een groot aantal toepassingsmogelijkheden in de doelherkenning, intelligente robotica, medische beeldverwerking, industrieel internet, enz.