Betydelsen av videokodning
Stort lagringsutrymme för originalvideodata, en 1080P 7 s-video kräver 817 MB
Den ursprungliga videodataöverföringen upptar en stor bandbredd och det tar 11 minuter att sända ovanstående 7 s video med en bandbredd på 10 Mbps
Efter H.264-kodning och komprimering är videostorleken bara 708 k, och 10 Mbit / s bandbredd behöver bara 500 ms, vilket kan tillgodose behoven av realtidsöverföring. Därför måste den ursprungliga videon som samlats in från videosamlingssensorn vara videokodad.
Grundläggande
Så varför kan en enorm originalvideo kodas till en mycket liten video? Vad är tekniken i detta? Innan vi pratar om teknik bör vi först fastställa begreppet video som är kontinuerliga bilder.
Kärnidén är att ta bort överflödig information:
Rumlig redundans: det finns en stark korrelation mellan intilliggande pixlar i en bild
Temporal redundans: liknande innehåll mellan intilliggande bilder i en videosekvens
Kodningsredundans: olika pixelvärden har olika sannolikheter
Visuell redundans: det mänskliga visuella systemet är inte känsligt för vissa detaljer
Kunskapsredundans: strukturen av regelbundenhet kan erhållas från förkunskaper och bakgrundskunskap
Video är i grunden en serie bilder som spelas kontinuerligt och snabbt, så det enklaste sättet att komprimera en video är att komprimera varje bildram. Till exempel är den äldre MJPEG-kodningen att komprimera varje bildruta i videon. Denna kodningsmetod Det finns bara kodning inom ram, som använder förutsägelse av rumslig prov för att koda. Bildmetaforen är att behandla varje ram som en bild och använda JPEG-kodningsformatet för att komprimera bilden. Denna typ av kodning tar endast hänsyn till komprimering av överflödig information i en bild.
På grund av tidskorrelationen mellan ramar har dock vissa avancerade kodare utvecklats som kan använda kodning mellan ramar. Enkelt uttryckt, vissa områden på ramen väljs genom sökalgoritmen, och sedan beräknas den aktuella ramen. Det är en form av kodning med vektordifferensen mellan de främre och bakre referensramarna. Genom följande två på varandra följande ramar i figur 2 kan vi se att skidåkaren skiftar framåt, men i själva verket skiftar snöscenen bakåt och P-ramen refereras till Ramar (I eller andra P-ramar) kan kodas, storleken efter kodning är mycket liten, och kompressionsförhållandet är mycket högt.
Referenslänk om ramen http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Vissa elever kan vara intresserade av hur dessa två bilder kom ifrån. Här är två rader med FFmpeg-kommandon att uppnå. För mer information om FFmpeg, se följande kapitel:
Den första raden genererar en video med en rörlig vektor
Den andra raden matar ut varje bild som en bild
Använd kommandot
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Förutom rumslig redundans och tidsmässig redundanskompression, finns det främst kodande kompression och visuell komprimering. Följande är huvudflödesschemat för en kodare:
Figur 3 och Figur 4 är två processer. Figur 3 är kodning inom ram, och Figur 4 kodning mellan ramar. Den största skillnaden sett från figuren är att det första steget är annorlunda. Faktum är att dessa två processer också kombineras. I allmänhet använder jag ram och P-ram kodning inom ram respektive kodning mellan ramar.
Val av kodare
Jag har ordnat upp kodarens princip och grundläggande process. Kodaren har upplevt decennier av utveckling. Det har utvecklats från att endast stödja kodning inom ramar till den nya generationen kodare som representeras av H.265 och VP9 idag. För närvarande analyseras några vanliga kodare, och vi tar dig att utforska kodarvärlden.
H.264
Beskrivning
H.264 / AVC-projektet avser att skapa en videostandard. Jämfört med den gamla standarden kan den ge högkvalitativ video med lägre bandbredd (med andra ord, bara hälften av bandbredden för MPEG-2, H.263 eller MPEG-4 del 2 eller mindre) utan att lägga till för mycket designkomplexitet Gör det är omöjligt att uppnå eller kostnaden för genomförandet är för hög. Ett annat syfte är att tillhandahålla tillräcklig flexibilitet för att användas i olika applikationer, nätverk och system, inklusive hög och låg bandbredd, höga och låga videoupplösningar, sändning, DVD-lagring, RTP / IP-nätverk och ITU-T multimediatelefonsystem.
H.264 / AVC innehåller en rad nya funktioner, vilket gör den inte bara effektivare än tidigare codec utan kan också användas i applikationer i olika nätverksmiljöer. Denna tekniska grund gör att H.264 blir den viktigaste kodeken som används av videoföretag online, inklusive YouTube, men att använda den är inte en mycket lätt uppgift. I teorin kräver det mycket pengar att använda H.264. Patentavgifter.
Patentlicens
Precis som den första och andra delen av MPEG-2 och den andra delen av MPEG-4, behöver tillverkare och tjänsteleverantörer som använder H.264 / AVC betala patentlicensavgifter till patentinnehavare. Huvudkällan till dessa patentlicenser är en privat organisation som heter MPEG-LA LLC. Denna organisation har inget att göra med MPEG-standardiseringsorganisationen, men den här organisationen hanterar också MPEG-2 Part One System, Part Two Video och MPEG-4 Part One. Tvådelad video- och annan patentlicens.
Andra patentlicenser måste gälla för en annan privat organisation som heter VIA Licensing, som också hanterar patentlicenser för ljudkomprimeringsstandarder som MPEG-2 AAC och MPEG-4 Audio.
Öppen källkodsimplementering av H.264
openh264 är ett öppen källkod H.264-kodningsprogram implementerat av Cisco. Även om H.264 kräver en hög patentavgift, finns det en årlig gräns för patentavgiften. När Cisco har betalat den årliga patentavgiften för OpenH264 är OpenH264 faktiskt gratis. Använd den fritt.
x264 är en videokodningsfri programvara licensierad under GPL. Huvudfunktionen för x264 är att utföra H.264 / MPEG-4 AVC-videokodning, inte som en avkodare.
Exklusive kostnadsfrågan för jämförelse:
CPU-användningen av openh264 är mycket lägre än för x264
openh264 stöder bara baslinjeprofil, x264 stöder fler profiler
HEVC / H.265
Beskrivning
High Efficiency Video Coding (HEVC) är en videokomprimeringsstandard (även kallad H.265), som anses vara efterträdaren till ITU-T H.264 / MPEG-4 AVC-standarden. År 2004 började ISO / IEC Moving Picture Experts Group (MPEG) och ITU-T Video Coding Experts Group (VCEG) utvecklas som ISO / IEC 23008-2 MPEG-H Part 2 eller ITU-T H.265. Den första versionen av HEVC / H.265-videokomprimeringsstandarden accepterades som den officiella standarden för International Telecommunication Union (ITU-T) den 13 april 2013. HEVC anses inte bara för att förbättra videokvaliteten utan också för att uppnå två gånger komprimeringshastigheten för H.264 / MPEG-4 AVC (motsvarande 50% minskning av bithastigheten under samma bildkvalitet) och kan stödja 4K-upplösning och till och med ultrahögupplöst TV (UHDTV), den högsta upplösningen kan nå 8192 × 4320 (8K upplösning).
Patentlicens
HEVC kräver att alla innehållstillverkare som använder H.265-teknik, inklusive Apple, YouTube, Netflix, Facebook och Amazon, ska betala 0.5% av deras innehållsintäkter som en teknikavgiftsanvändning. Hela marknaden för strömmande media når cirka 100 miljarder dollar varje år, och det fortsätter att. I tillväxten är avgiften på 0.5% definitivt en enorm avgift. Och de har inte släppt utrustningstillverkare, bland vilka TV-tillverkare behöver betala 1.5 US-dollar per enhet och tillverkare av mobila enheter 0.8 US-dollar per enhet i patentavgifter. De har inte ens släppt tillverkare som Blu-ray-spelare, spelkonsoler och videoinspelare, som måste betala 1.1 dollar vardera.
Öppen källkodsimplementering av H.265 / HEVC
libde265 HEVC tillhandahålls av strukturföretaget under open source-licensen GNU Lesser General Public License (LGPL), och tittarna kan njuta av bilder av högsta kvalitet med lägre internethastigheter. Jämfört med tidigare avkodare baserade på H.264-standarden kan libde265 HEVC-avkodaren ge ditt full HD-innehåll upp till två gånger publiken eller minska den bandbredd som krävs för streaming med 50%.
x265 är utvecklat av MulticoreWare och är öppet från GPL-avtalet.
VP8
Beskrivning
VP8 är ett öppet videokomprimeringsformat som först utvecklades av On2 Technologies och sedan släpptes av Google. Samtidigt släppte Google också det VP8-kodade implementeringsbiblioteket: libvpx, som släpptes i form av BSD-licensvillkor och lade sedan till rätten att använda patentet. Efter några argument bekräftades godkännandet av VP8 äntligen som ett open source-tillstånd.
För närvarande är webbläsarna som stöder VP8 Opera, Firefox och Chrome.
Patentlicens
I mars 2013 nådde Google en överenskommelse med MPEG LA och 11 patentinnehavare om att låta Google få VP8 och dess tidigare VPx och andra kodningar som kan bryta mot patent. Samtidigt kan Google också auktorisera relaterade patent gratis till VP8-användare. , Detta avtal är också lämpligt för nästa generation av VPx-kodning. Hittills har MPEG LA gett upp etableringen av en VP8-patentcentraliserad licensallians, och VP8-användare kommer att kunna bestämma sig för att använda den här koden utan att behöva oroa sig för eventuella patentintrångsroyalties.
Öppen källkodsimplementering av VP8
Libvpx är den enda open source-implementeringen av VP8. Den utvecklades av On2 Technologies. Efter att Google förvärvat den öppnade den sin källkod. Licensen är väldigt lös och kan användas fritt.
VP9
Beskrivning
Utvecklingen av VP9 började under tredje kvartalet 2011. Målet är att minska filstorleken med 50% jämfört med VP8-kodning under samma bildkvalitet. Ett annat mål är att överträffa HEVC-kodning när det gäller kodningseffektivitet.
Den 13 december 2012 lade Chromium-webbläsaren till stöd för VP9-kodning. Chrome-webbläsaren började stödja VP9-kodad videouppspelning den 21 februari 2013.
Google meddelade att det kommer att slutföra utvecklingen av VP9-koden den 17 juni 2013, när Chrome-webbläsaren kommer att styra VP9-koden som standard. Den 18 mars 2014 lade Mozilla till VP9-stöd i webbläsaren Firefox.
Den 3 april 2015 släppte Google libvpx1.4.0, vilket gav stöd för 10-bitars och 12-bitars bitdjup, 4: 2: 2 och 4: 4: 4 chroma sampling och VP9 multi-core kodning / avkodning.
Patentlicens
VP9 är ett öppet format, royaltyfritt videokodningsformat.
Öppen källkodsimplementering av VP9
libvpx är den enda open source-implementeringen av VP9, utvecklad och underhållen av Google. Några av koderna delas av VP8 och VP9, och resten är codec-implementeringarna av VP8 respektive VP9.
Jämförelse av VP9 och H.264 och HEVC
Jämförelse av HEVC och H.264 vid olika upplösningar
Jämfört med H.264 / MPEG-4 är den genomsnittliga bithastighetsreduktionen för HEVC:
Det kan ses att bithastigheten har sjunkit med mer än 60%
HEVC (H.265) har en större fördel i bithastighetsbesparing för VP9 och H.264, vilket sparar 48.3% respektive 75.8% under samma PSNR
H.264 har en enorm fördel i kodningstiden. Jämfört med VP9 och HEVC (H.265) är HEVC 6 gånger högre än VP9 och VP9 är nästan 40 gånger högre än för H.264.
