Utveckling och inlärning av ljud och video

 Vi antar först att någon har noll grund i ljud och video och aldrig har lärt sig någon kunskap om digital signalbehandling. Den matematiska grunden är i grunden gymnasienivå, men han är bekant med C / C ++ utveckling, åtminstone bekant med sammanställningen och felsökningen av IDE under en viss plattform.

Fokusera på de två öppna källkodsprojekten ffmpeg och webRTC, huvudsakligen titta på videodelen av ffmpeg och ljuddelen av webRTC.

För det första, börja med videoavkodning. Detta är det enklaste. Grundkoden för att anropa ffmpeg-videoavkodning är bara cirka 100 rader. Videoavkodning behöver bara förstå h.264, 80% + scener finns i detta kodningsformat, förstå grundläggande H.264 sps pps NAL och andra filformatbegrepp, förstå principen för YUV-bildformat och förstå konverteringen av YUV till RGB , Så du kan göra bildåtergivning, du kan uppnå en enkel videospelare. (I grund och botten i första etappen)

För att lära dig mer om videokodning rekommenderas att börja med x264, ett enkelt samtal till x264-kodningskod är mindre än 100 rader. Kodning är mer komplicerat än avkodning eftersom avkodning inte kräver några parametrar att konfigureras, och kodning har ett stort antal parametrar som behöver konfigureras. I början förstår du bara några grundläggande begrepp, som bildhastighet, vanliga flödeskontrollmetoder ABR CRF, GOP, I / B Vad betyder / P-ram respektive. (Bekant med X264-kodning igen)

Ljuddelens kodek liknar videon. I det inledande skedet behöver du bara förstå de två kodarna EAAC + och Silk, förstå begreppen ljudkanal, samplingshastighet etc. och förstå Wave-filformatet. Kan vara en enkel ljudspelare. (Skapa en ljudspelare)

Den komplexa delen av ljud är inte codec utan ljudeffekten. Ta en titt på Audio Processing-modulen i webRTC och förstå följande begrepp: denoising NS, echo cancellation AEC, mute detection VAD, automatic gain control AGC, and the built-in webRTC. Även om algoritmen inte är den bästa kan den lösa 90% + av problemen, och det är värt att lära sig. (Lär dig webrtc ljudbehandling)

Efter att ha lärt mig detta måste jag tänka på en fråga, om jag vill ta en ingenjörsväg eller en algoritmisk väg. Om det är en algoritmisk väg måste jag lära mig matematik. Bakom digital signalbehandling ligger ett stort antal grundläggande matematiska teorier. Om det är en teknisk väg måste du lära dig utveckling över flera plattformar, lära dig insamling, uppspelning och bearbetning av ljud och video under flera plattformar och lära dig optimering av monteringsspråk under flera plattformar. (Plattformsrelaterad)

Ljud och video är ett väldigt djupt fält, och du kommer aldrig att lära dig att lära dig under en livstid, men det här fältet har fördelen att kunskapsuppdateringens hastighet är relativt långsam, de lärda sakerna inte är lätta att eliminera och ackumuleringen av erfarenhet är mycket viktigt. v

Vår andra produkt:

Professionellt åskskyddssystem för Tower	Professionell utrustning för FM-radiostationer	FMUSER FU-1000C 1000W FM-sändare med USB-ljudingångsgränssnitt
FMUSER 200W FM-radiosändningspaket	Hotell IPTV-lösning	FMUSER FSN-1000T V5.0 1KW FM-radiosändare