Իրոք, որքանո՞վ է լավ WebRTC էկրանի փոխանակումը: Ես փորձարկման եմ դրել 4 կոդեկ

Ինձ միշտ հետաքրքրել է, թե ինչպես են տարբեր կոդեկները կուտակվում, երբ խոսքը վերաբերում է WebRTC-ով էկրանի համօգտագործմանը: Այսպիսով, ես որոշեցի ինքս պարզել՝ փորձարկելով չորս ամենատարածվածները՝ VP8, VP9, H.264 և AV1: Համոզվելու համար, որ արդյունքները ամուր են, ես փորձարկումներ անցկացրեցի բովանդակության տարբեր տեսակների և ցանցային պայմանների վրա: Ես հույս չունեի միայն վիզուալ տպավորությունների վրա. ես օգտագործել եմ կադր առ կադր համեմատություններ, հաշվարկել եմ գագաթնակետային ազդանշան-աղմուկ հարաբերակցությունը (PSNR) և մանրամասն WebRTC վիճակագրություն՝ պարզ, տվյալների վրա հիմնված տեսք ստանալու համար: Մի քայլ առաջ գնալու համար ես նույնիսկ ստեղծեցի հատուկ Chrome հավելված, որը հետևում է պրոցեսորի օգտագործմանը և՛ կոդավորման, և՛ ապակոդավորման ժամանակ: Դա ինձ լավ նայեց, թե ինչպես է յուրաքանչյուր կոդեկ ազդում համակարգի աշխատանքի վրա, քանի որ որակը հիանալի է, բայց ոչ այն դեպքում, երբ ձեր համակարգիչը կրակի մեջ է, փորձում է հետևել: Ես նայեցի հիմնական չափորոշիչներին, ինչպիսիք են բիթերի արագությունը, շրջանակի արագությունը, լուծումը, քվանտացումը (QP), PSNR-ը և պրոցեսորի բեռնվածությունը: Ելնելով այդ ամենից՝ ես հանդես եկա մի քանի գործնական առաջարկություններով՝ օգնելու բոլորին, ովքեր փորձում են օպտիմալացնել WebRTC էկրանի փոխանակումը սեփական օգտագործման դեպքերի համար: Փորձի մասին Ինչու Էկրանի համօգտագործումը այնքան էլ պարզ չէ, որքան թվում է Եթե տեսազանգի ընթացքում երբևէ կիսվել եք ձեր էկրանով և նկատել եք, որ որակն իջնում է, կամ տեսահոլովակը խափանում է, դուք միայնակ չեք: Էկրանի պարզ և սահուն համօգտագործումը իրականում ավելի բարդ է, քան թվում է: Խնդիրը. Ամեն ինչ բազմազանության մասին է: Որոշ բովանդակություն դեռևս է, օրինակ՝ սլայդերի տախտակամած կամ փաստաթուղթ: Այլ ժամանակներում դուք կիսվում եք բարձր շարժման տեսանյութով: Այս տարբեր տեսակի բովանդակությունը պահանջում է շատ տարբեր բաներ կոդեկից: Օրինակ, արագ շարժվող տեսանյութը խլում է մի տոննա թողունակություն, մինչդեռ ստատիկ պատկերներն ավելի զգայուն են սեղմման արտեֆակտների նկատմամբ, որոնք կարող են դրանք մշուշոտ կամ խցանված տեսք տալ: Ներդրեք իրական աշխարհի ինտերնետի խնդիրները, ինչպիսիք են փաթեթների կորուստը կամ թողունակության անկումը, և ամեն ինչ ավելի խառնաշփոթ է դառնում: Ահա թե ինչու ճիշտ կոդեկ ընտրելը և դրա աշխատանքի ճիշտ կարգավորումը շատ կարևոր է էկրանի համօգտագործումը և՛ բարձրորակ, և՛ արձագանքող դարձնելու համար: Արդեն շատ հետազոտություններ կան այն մասին, թե ինչպես են վիդեո կոդեկները գործում ընդհանուր հոսքային սցենարներում: Սակայն էկրանի փոխանակումն ունի իր առանձնահատկությունները: Խոսքը միայն տեսահոլովակ դիտելու մասին չէ, այն իրական ժամանակում փոխազդեցության մասին է, և բովանդակության տեսակներն ամենուր են: Դա նշանակում է, որ սովորական հետազոտությունը միշտ չէ, որ կիրառվում է: Այն, ինչ ես պատրաստվում էի անել Ես ուզում էի ավելի խորանալ այս կոնկրետ օգտագործման դեպքի մեջ: Իմ նպատակն էր տեսնել, թե ինչպես են տարբեր կոդեկները գործում, երբ խոսքը վերաբերում է էկրանի համօգտագործմանը, հատկապես իրական աշխարհի սահմանափակումների դեպքում, ինչպիսիք են բովանդակության տարբեր տեսակները և ցանցի անկանխատեսելի պայմանները: Դա անելու համար ես նախագծեցի մեթոդ՝ էկրանի համօգտագործման որակը հնարավորինս ճշգրիտ գնահատելու համար՝ ոչ միայն հիմնվելով դրա արտաքին տեսքի վրա, այլ հիմնված ամուր չափումների և տվյալների վրա: Ճանապարհին ես շատ բան սովորեցի այն մասին, թե որ կոդեկներն են ավելի լավ պահպանում և ինչպես կարգավորել իրերը իրական ժամանակի հավելվածներում ավելի լավ կատարման համար: Մի բան արագ պարզ դարձավ. էկրանի փոխանակման արդյունավետությունը իսկապես կախված է նրանից, եք կիսում: Արագ տեմպերով տեսանյութն իրեն շատ տարբեր է պահում ստատիկ փաստաթղթից կամ վեբ էջի վրա դանդաղ պտտվելուց: թե ինչ Իրերը արդար և հետևողական պահելու համար ես համոզվեցի, որ յուրաքանչյուր թեստ անցկացվի ճիշտ նույն պայմաններով. նույն լուծումը, նույն ելակետը և նույն տևողությունը: Այդ կերպ ես կարող էի վստահ լինել, որ արդյունքները վերաբերում են կոդեկի աշխատանքին, ոչ թե պատահական փոփոխականին: Ես ստեղծել եմ երկու տարբեր թեստային դեպքեր՝ իրական կյանքում էկրանի փոխանակման իրավիճակները մոդելավորելու համար. . Սա իսկական տեսահոլովակ էր, որտեղ մոտոցիկլավարները արագ են անցնում անտառով: Շատ արագ շարժումներ, մանրամասն դեկորացիա և անընդհատ փոփոխվող տեսողական միջավայր՝ կատարյալ սեղմման սահմանները ճնշելու համար: Բարձր շարժման տեսահոլովակ – Ես ստեղծեցի պարզ HTML էջ՝ տեքստով և պատկերներով, այնուհետև օգտագործեցի JavaScript՝ այն կայուն արագությամբ ոլորելու համար: Այն ընդօրինակում է սովորական օգտագործման դեպք, ինչպիսին է փաստաթղթի փոխանակումը կամ վեբ էջից կարդալը: Տեքստի ավտոմատ ոլորում Այս երկու տեսակի բովանդակությունը ինձ լավ խառնուրդ տվեց՝ ստուգելու, թե ինչպես է յուրաքանչյուր կոդեկ հաղթահարում տարբեր մարտահրավերներ՝ շարժման հետ պահելուց մինչև ավելի ստատիկ տեսարաններում պարզություն պահպանելը: Ինչպես եմ ամեն ինչ կարգավորել Կոդեկները ճիշտ փորձարկելու համար ինձ անհրաժեշտ էր ամուր կարգավորում, որը կարող էր ֆիքսել ՝ և՛ ուղարկվողը, և՛ ստացվածը: Ես սկսեցի կոչվող գործիքից (Ի դեպ, դուք կարող եք իմանալ այս գործիքի և շատ ավելին իմ մյուս գրառման մեջ. « »), որը հիանալի է WebRTC-ի ինտերիերը խառնելու համար: Ես ի վերջո մի փոքր շտկեցի այն, որպեսզի ավելի լավ կարգավորեմ էկրանի փոխանակումը և համոզվեմ, որ կարող եմ ձայնագրել ինչպես ելքային, այնպես էլ մուտքային վիդեո հոսքերը: Յուրաքանչյուր թեստային աշխատանք ինձ տալիս էր երկու վիդեո ֆայլ՝ մեկը ուղարկվածի և մեկը ստացվածի համար, որոնք ես հետագայում օգտագործեցի կողք կողքի վերլուծության համար: ամեն ինչ webrtc-sandbox WebRTC-ի պրակտիկայում սովորելը. լավագույն գործիքներն ու դեմոները Բայց ես չսահմանափակվեցի տեսանյութով. Ես նաև ուզում էի հետևել, թե ինչ է կատարվում գլխարկի տակ: Դրա համար ես քաշեցի մանրամասն WebRTC վիճակագրությունը անմիջապես Chrome բրաուզերից: Այս վիճակագրությունը ինձ պատուհան տվեց, թե ինչպես է գործել յուրաքանչյուր կոդեկ և ինչպես է վարվել մոդելավորված ցանցը յուրաքանչյուր թեստի ժամանակ: Փազլի մի մեծ մասը էր, և դա մի փոքր բարդ էր: Chrome-ի սովորական տարբերակը թույլ չի տալիս պլագիններին վերահսկել պրոցեսորի բեռնվածությունը առանձին ներդիրների համար, այնպես որ ես օգտագործեցի զննարկիչի մշակման կառուցվածքը և գրեցի իմ սեփական փլագինը, որպեսզի շրջանցեմ այն: CPU-ի օգտագործումն Ես հատուկ կենտրոնացա CPU-ի օգտագործումը չափելու վրա այն ներդիրից, որն ուղարկում կամ ստանում էր էկրանի համօգտագործումը: Այդ կերպ ես բացառեցի բրաուզերի այլ մասերից անկապ ներկայացման առաջադրանքները: Քանի որ և՛ ուղարկելը, և՛ ստացումը տեղի են ունեցել նույն ներդիրում, իմ ստացած թվերը համակցված տեսք էին, բայց դեռ բավականին մոտ են նրան, ինչ դուք կտեսնեք իրական աշխարհի օգտագործման դեպքում: (Սփոյլեր. կոդավորումը սովորաբար ավելի ուժեղ է հարվածում պրոցեսորին, քան ապակոդավորումը): Տվյալների հավաքում. 157 թեստային աշխատանք ավելի ուշ... Երբ կարգավորումը պատրաստ էր, ժամանակն էր իրականացնել իրական փորձերը, և ես դրանցից շատերն անցկացրի: Ես կրկնել եմ թեստերը միևնույն մեքենայի վրա, նորից ու նորից՝ օգտագործելով ցանցի տարբեր պայմաններ և կոդեկի կարգավորումներ՝ տեսնելու, թե ինչպես են ամեն ինչ պահպանվում: Ընդհանուր առմամբ, ես հավաքեցի ՝ համոզվելով, որ թեստի պայմանների յուրաքանչյուր համադրություն լավ ներկայացված է: 157 տվյալների միավոր Սա ինձ տվեց ամուր տվյալների բազա՝ աշխատելու համար և թույլ տվեց խորը վերլուծություն կատարել այն մասին, թե ինչպես է էկրանի համօգտագործումը վարվում WebRTC-ում տարբեր սցենարների դեպքում: Ահա թե ինչ էի ես հատուկ փորձարկում. . Ես օգտագործել եմ երկու տեսակի էկրանի համօգտագործման բովանդակություն՝ ընդհանուր օգտագործման դեպքերը արտացոլելու համար. Տեսանյութի տեսակը . տոննա պիքսելներով իրական աշխարհի կադրերը փոխում են յուրաքանչյուր կադր: Բարձր շարժման տեսահոլովակ - Հիմնականում ստատիկ վիզուալներ, բայց պիքսելների դիրքը փոխվում է տեքստի ոլորման ընթացքում: Ավտոմատ ոլորված տեքստ . Ես փորձարկել եմ էկրանի փոխանակման չորս ամենատարածված կոդեկները. Կոդեկ AV1 հ.264 VP8 VP9 . Քանի որ թողունակությունը հսկայական դեր է խաղում տեսանյութի որակի մեջ (հատկապես տեսազանգերում), ես մոդելավորեցի ցանցի մի շարք պայմաններ՝ տեսնելու, թե յուրաքանչյուր կոդեկ որքան լավ է կառավարում խիտ կամ տատանվող թողունակությունը: Ցանցի թողունակություն Այս փոփոխականները կառուցվածքային ձևով խառնելով և համապատասխանեցնելով, ես կարողացա ընդօրինակել իրական աշխարհի էկրանի փոխանակման սցենարները, որոնք դուք կհանդիպեիք տեսազանգերի ժամանակ, ուղիղ ցուցադրման ընթացքում կամ համատեղ հեռակառավարվող աշխատաշրջանի ժամանակ: Սխալների շտկում. ինչպես ես դարձրեցի թեստերն ավելի հուսալի Ինչպես փորձերի մեծ մասի դեպքում, առաջին մի քանի վազքներն այնքան հարթ չեն անցել, որքան ես ակնկալում էի: Երկու հիմնական խնդիր անմիջապես ի հայտ եկավ. Սկզբում ես սկսում էի էկրանի փոխանակումը ձեռքով` բառացիորեն սեղմելով կոճակը` գործերը սկսելու համար: Խնդիրը. Գրեթե անհնար էր համաժամեցնել ձայնագրության սկիզբը տեսաբովանդակության սկզբի հետ: Դա նշանակում էր, որ յուրաքանչյուր փորձնական վազք ուներ մի փոքր տարբեր ժամանակներ, ինչը շեղեց համեմատությունները: Ձեռնարկի սկիզբ = խառնաշփոթ ժամանակացույց: Նույնիսկ այն ժամանակ, երբ ճիշտ ժամանակն էր, իրական ժամանակի տեսանյութն ունի իր առանձնահատկությունները: Կոդավորման, վերծանման և ցանցի ուշացումների շնորհիվ ուղարկված և ստացված հոսքերը երբեք կատարյալ չեն դասավորվել: Սա գրեթե անհնարին դարձրեց կադր առ կադր որակի համեմատությունները: Ուղարկված ընդդեմ ստացված = Համաժամեցված չէ: Այս խնդիրները լուծելու համար ես կատարել եմ մի քանի հիմնական բարելավում. . ամեն ինչ ձեռքով սկսելու փոխարեն, ես որոշ կոդ գրեցի՝ տեսանյութի սկիզբը կամ տեքստը պտտելու ձայնագրման գործընթացի հետ համաժամեցնելու համար: Այսպիսով, յուրաքանչյուր փորձնական վազք սկսվեց ճիշտ նույն պահին երկու ծայրերում. խնդիրը լուծվեց: Ծրագրային համաժամացում . ապահամաժամացման խնդրի համար ես ավելացրի QR կոդի փոքր ծածկույթ համօգտագործվող տեսանյութին: Այս փոքրիկ նշիչը գործում էր որպես ժամանակի դրոշմակնիք. այն թույլ տվեց ինձ ճշգրտորեն համապատասխանեցնել շրջանակները ուղարկված և ստացված հոսքերի միջև: Հանկարծ շրջանակ առ կադր վերլուծությունը դարձավ հնարավոր (և ավելի ճշգրիտ): QR կոդի շրջանակի համընկնում Եվս մեկ բան պետք է հաշվի առնեի՝ : WebRTC-ի հիանալի առանձնահատկություններից մեկն այն է, որ այն ավտոմատ կերպով կարգավորում է տեսանյութի որակը՝ հիմնվելով հասանելի թողունակության վրա: Բայց այդ կարգավորումն անմիջապես տեղի չի ունենում. կայունանալու համար մի քանի վայրկյան է պահանջվում: Այսպիսով, ես մի փոքր ուշացում ավելացրի նախքան իրական ձայնագրությունը սկսելը: Սա համակարգին ժամանակ տվեց կարգավորելու նպատակային բիթերի արագությունը, այնպես որ արդյունքները կարտացոլեն իրական որակը, որը դուք կստանաք ամեն ինչ հարթելուց հետո: WebRTC-ի հարմարվողական բիթային արագությունը Այս փոփոխությունները փորձը դարձրին շատ ավելի հուսալի և ինձ վստահություն տվեցին, որ իմ հավաքած տվյալները իրականում արտացոլում են, թե ինչպես է էկրանի համօգտագործումը վարվում իրական աշխարհում: Ինչ եմ չափել (և ինչու է դա կարևոր) Այս թեստերի ընթացքում ես հավաքեցի շատ տվյալներ, բայց ամեն ինչ պարզ և համեմատելի լինելու համար, ես կենտրոնացա մի քանի հիմնական չափումների վրա, որոնք իսկապես պատմում են այն մասին, թե ինչպես է յուրաքանչյուր կոդեկ աշխատում էկրանի համօգտագործման սցենարում: Ահա թե ինչ նայեցի. Շրջանակի արագություն Սա ինձ ասում է, թե վայրկյանում քանի կադր է իրականում կոդավորվել, ուղարկվել և ստացվել: Դա լավ ցուցանիշ է, թե որքան հարթ է վիդեո հոսքը. ավելի բարձր կադրերի արագությունը սովորաբար նշանակում է ավելի հեղուկ փորձ: Բանաձեւ Բանաձևն այն է, թե որքան տեսողական մանրամասներ են պահպանվել: Ես հետևում էի յուրաքանչյուր փուլի մեկ կադրի պիքսելների քանակին (ուղարկված և ստացված), որպեսզի տեսնեմ՝ արդյոք կոդեկները պահպանում են պատկերի որակը, թե թողնում են այն՝ խնայելու թողունակությունը: Տեսանյութի որակ Այստեղ ես օգտագործել եմ մի քանի հիմնական չափումներ. – Ավելի ցածր QP, ընդհանուր առմամբ, նշանակում է ավելի լավ որակ: Քվանտացման պարամետր (QP) – Սա թվային պատկերացում է տալիս, թե որքանով է ստացված տեսանյութը տարբերվում բնօրինակից: Ավելի բարձր = ավելի լավ: Պիկ ազդանշան-աղմուկ հարաբերակցությունը (PSNR) CPU-ի օգտագործումը Կոդեկի կատարումը ոչ միայն այն է, ինչ տեսնում եք, այլ նաև այն մասին, թե ինչ է անում ձեր մեքենան կուլիսներում: Ես չափեցի, թե պրոցեսորի որքան հզորություն է օգտագործվել կոդավորման և վերծանման համար յուրաքանչյուր թեստի ժամանակ, որը նորմալացվել է ժամանակի ընթացքում, որպեսզի տեսնեմ, թե որ կոդեկներն են թեթև, և որոնք են ռեսուրսային խոզուկները: Այս ցուցանիշների հետ տարանջատելով՝ ես կարողացա համեմատել կոդեկները ոչ միայն որակի, այլև սահունության, արդյունավետության և պահանջկոտության առումով: Դա օգնեց պարզել, թե որտեղ է յուրաքանչյուր կոդեկ փայլում, և որտեղ է այն պայքարում, իրական աշխարհի էկրանի համօգտագործման պայմաններում: Վերջապես գալիս ենք Արդյունքներին Որքանո՞վ է կարևոր բովանդակության տեսակը: Շատ ավելին, քան դուք կմտածեիք Իմ փորձարկումների ամենազարմանալի արդյունքներից մեկն այն էր, թե որքանով է ձեր կողմից տարածվող բովանդակության ազդում էկրանի համօգտագործման աշխատանքի վրա՝ և՛ տեսանյութի որակի, և՛ ռեսուրսների օգտագործման առումով: Եվ սա ճիշտ էր իմ փորձարկած կոդեկի համար: տեսակն յուրաքանչյուր Դրա գաղափարը բավականին պարզ է. երբ ավելի շատ պիքսելներ փոխվում են շրջանակից կադր (ինչպես արագ շարժվող տեսանյութում), համակարգը պետք է ավելի շատ աշխատի: Դա նշանակում է, որ անհրաժեշտ է ավելի շատ թողունակություն, և ձեր պրոցեսորը պետք է ավելի շատ աշխատի, որպեսզի հետևի: Օրինակ վերցրեք : Երբ ես օգտագործում էի այն 1,5 մեգապիքսելանոց էկրանով կիսվելու համար, պահանջվող թողունակությունը շատ էր տարբերվում՝ կախված նրանից, թե ինչ էր կիսվում: Մի դեպքում, որտեղ բովանդակությունն ավելի դինամիկ էր, AV1-ը ստիպված էր զգալիորեն ավելի շատ տվյալներ մղել հոսքը հարթ պահելու համար: Ես սա ֆիքսեցի , որը ցույց է տալիս, թե որքան կտրուկ է բովանդակության բարդությունն ազդում թողունակության օգտագործման վրա: AV1-ը հետևյալ գրաֆիկում Բայց դա միայն թողունակությունը չէ. ձեր սարքավորումը նույնպես զգում է դա: ցույց է տալիս, թե ինչպես է փոխվում պրոցեսորի օգտագործումը՝ ելնելով համօգտագործվող բովանդակությունից: Կրկին, օգտագործելով AV1-ը որպես օրինակ, դուք կարող եք հստակ տեսնել, որ ավելի բարդ վիզուալները պահանջում են շատ ավելի շատ պրոցեսորի հզորություն, որպեսզի գործերը աշխատեն նույն կադրերի արագությամբ և լուծաչափով: Հաջորդ գրաֆիկը Սա նաև միայն AV1 բան չէ: Բոլոր կոդեկները հիմնվում են տեսանյութի կոդավորման և վերծանման նույն հիմնական սկզբունքների վրա, այնպես որ դուք պետք է ակնկալեք, որ նրանք կցուցաբերեն նմանատիպ վարքագիծ, բայց տվյալները այլ պատմություն են պատմում: CPU-ի ծանրաբեռնվածությունը չի փոխվում միայն բովանդակության հետ, այն փոխվում է նաև հիման վրա, որը դուք օգտագործում եք: այն կոդեկի Որպեսզի դա ավելի հեշտ լինի համեմատել, ես հավաքեցի , որը ցույց է տալիս, թե յուրաքանչյուր կոդեկ որքան պրոցեսոր է օգտագործում 1,5 մեգապիքսել վիդեո հեռարձակելիս մոտ 24 կադր/վրկ արագությամբ՝ բավականին տիպիկ կարգավորում՝ հարթ էկրանով կիսվելու համար: Արդյունքները ընդգծում են որոշ հիմնական տարբերություններ, թե որքան արդյունավետ է յուրաքանչյուր կոդեկ, երբ խոսքը վերաբերում է ձեր սարքաշարի օգտագործմանը: հետևյալ աղյուսակը Կոդեկ / պրոցեսոր AV1 H264 VP8 VP9 Շարժում 287% 213% 270% 364% Տեքստ 175% 130% 179% 198% Այսպիսով, եթե դուք կառուցում կամ օպտիմիզացնում եք ինչ-որ բան, որը հիմնված է WebRTC էկրանի համօգտագործման վրա, այն պարզ է. կարևոր է և՛ ձեր բովանդակությունը, և՛ կոդեկի ընտրությունը: Շատ. Codec Showdown. Frame rates, CPU-ի բեռնվածություն և որակի իրական ծախսեր Երբ խոսքը վերաբերում է էկրանի համօգտագործմանը, առաջին բաներից մեկը, որ դուք նկատում եք, այն է, թե որքան հարթ է (կամ ոչ) տեսանյութը: Հենց այստեղ է ի հայտ գալիս : Եթե դուք կիսվում եք բարձր շարժման բովանդակությամբ, օրինակ՝ տեսանյութերի նվագարկումով կամ անիմացիաներով, ապա ավելի բարձր կադրերի արագությունը կարևոր է, որպեսզի խուսափեք անկայուն և դժվար դիտվող հոսքերից: կադրերի արագությունը Փորձի այս մասի համար ես կենտրոնացա տարբեր կոդեկների շրջանակների արագության վրա, մինչդեռ մնացած ամեն ինչ անփոփոխ էր՝ նույն լուծաչափը (մոտ 1,5 մեգապիքսել) և նույն բովանդակությունը յուրաքանչյուր թեստի համար: Ես օգտագործեցի WebRTC կարգավորումը՝ համոզվելու համար, որ լուծումը կողպված է ամբողջ տախտակում: contentHint դուք կարող եք տեսնել, թե ինչպես են տարբեր կոդեկներ մշակում բարձր շարժման բովանդակությունը, քանի որ թողունակությունը մեծանում է: X առանցքի վրա՝ բիթային արագություն Մբիթ/վրկ-ով: Y առանցքի վրա՝ կադրերի արագությունը վայրկյանում կադրերով (fps): Հետևյալ նկարում Ահա թե ինչն է աչքի ընկել. և առաջ են քաշվել մեկ անգամ, երբ թողունակությունը հասել է 2 Մբիթ/վրկ կամ ավելի, երկուսն էլ ապահովելով 20+ կադր/վրկ. սահուն փորձ, որը հասանելի է նույնիսկ պատշաճ 3G կապի դեպքում: H.264-ը AV1-ը և նույնպես չեն պահպանվել: Նրանք նույն պայմաններում սավառնում էին կադրերի արագության մոտավորապես կեսի վրա, և իսկապես անհրաժեշտ էր 4 Մբիթ/վրկ կամ ավելի՝ օգտագործելի զգալու համար, ինչը միշտ չէ, որ իրատեսական է ցածր մակարդակի ցանցերում: VP8-ը VP9-ը Այնուհետև ես տեղափոխվեցի ՝ դանդաղ պտտվող տեքստային էջ՝ տեսնելու, թե ինչպես են աշխատում կոդեկները, երբ շրջանակների միջև շատ բան չի փոխվում: ցածր շարժման բովանդակություն Զարմանալի չէ, որ և՛ , և՛ ավելի լավ էին գործում այս սցենարում, և : Դա պայմանավորված է կոչվող ֆունկցիայի շնորհիվ, որը թույլ է տալիս AV1-ին բաց թողնել էկրանի չփոփոխված մասերի վերակոդավորումը: Այն աներևակայելի արդյունավետ է ստատիկ կամ կիսաստատիկ էկրանով կիսվելու համար: H.264-ը AV1-ն AV1-ը դուրս եկավ առաջին տեղում Intra Block Copy դուք կարող եք տեսնել, թե որքան արդյունավետ է AV1-ը կառավարում այս ցածր շարժման իրավիճակները՝ պահպանելով թողունակության օգտագործումը տպավորիչ ցածր՝ պահպանելով բարձր տեսողական որակը: Հաջորդ գրաֆիկում Բայց… կա փոխզիջում: AV1-ը կարող է ձեզ ավելի լավ տեսողական պատկերներ և սեղմում տալ, բայց : հստակ ցույց է տալիս սա. AV1-ի պրոցեսորի օգտագործումը անշեղորեն բարձրանում է, քանի որ բիթերի արագությունը մեծանում է՝ գերազանցելով H.264-ը երկար կրակոցով: H.264-ն այստեղ մեծ առավելություն ունի՝ շնորհիվ համատարած , որը պահպանում է իր պրոցեսորի ծանրաբեռնվածությունը ցածր և կայուն: այն նաև ավելի շատ պրոցեսոր է խլում Հաջորդ նկարը ապարատային արագացման Հետաքրքիր է, որ պրոցեսոր է օգտագործում, քան AV1-ը՝ հետևելով նմանատիպ միտումին, բայց ավելի բարձր գագաթներով: Թե՛ VP9-ը, և թե՛ AV1-ը հենվում են բարդ ալգորիթմների վրա՝ լավ որակ ապահովելու համար, բայց դա ունի ծախսեր. դրանք մեծ հարվածներ են հասցնում ձեր պրոցեսորին: VP9-ն ավելի շատ Մի շրջադարձ եղավ, երբ ես վերանայեցի : Այս անգամ իրականում բավականին արդյունավետ տեսք ունեին՝ օգտագործելով ավելի քիչ պրոցեսոր, քան AV1-ը, ինչպես ցույց է տրված : ցածր շարժման բովանդակությունը VP8-ը և VP9-ն հաջորդ գրաֆիկում AV1-ը, չնայած նախագծված էր էկրանի փոխանակման համար, այնուամենայնիվ օգտագործում էր ամենաշատ պրոցեսորը: Ինչո՞ւ։ Բոլոր այն օպտիմիզացիաները, որոնք օգնում են սեղմել բարձր շարժման տեսանյութերը, նաև ավելացնում են ծախսերը, նույնիսկ երբ էկրանին շատ բան չի կատարվում: Սրա մեծ պատճառ. : Թեև ապակոդավորումը համեմատաբար թեթև է, կոդավորումը դեռ հիմնականում կատարվում է ծրագրային ապահովման միջոցով, և դա պրոցեսորային աշխատանք է, հատկապես իրական ժամանակի սցենարներում, ինչպիսիք են էկրանի փոխանակումը, որտեղ և՛ կոդավորումը, և՛ վերծանումը տեղի են ունենում անընդհատ: AV1-ը դեռևս չունի ապարատային կոդավորման լայնածավալ աջակցություն Այստեղ է, որ համար, ինչպիսիք են նոութբուքերը և պլանշետները, ամեն ինչ բարդ է դառնում: Առանց ապարատային արագացման, AV1-ի նման կոդեկները կարող են արագ սպառել էներգիան և խոզի ռեսուրսները, ինչը իդեալական չէ, երբ դուք շարժման մեջ եք: Քանի դեռ ավելի լավ ապարատային աջակցությունը դառնում է ավելի տարածված, AV1-ի առաջադեմ գործառույթներն ունեն բավականին նկատելի կատարողական արժեք: դյուրակիր սարքերի Կոդեկներ և լուծում. ի՞նչ է պատահում, երբ առաջնահերթություն եք տալիս շրջանակի արագությանը: Մինչ այժմ, արդյունքները, որոնք ես կիսվել եմ, եկել են թեստերից, որոնք թույլ են տվել կայունություն: Երբ թողունակությունը սահմանափակվում էր, համակարգը կպատասխաներ՝ նվազեցնելով , ինչը իմաստ ունի այնպիսի բաների համար, ինչպիսիք են ստատիկ բովանդակությունը կամ տեքստը: Բայց ի՞նչ, եթե նպատակը է, նույնիսկ եթե դա նշանակում է լուծումը զոհաբերել: կադրերի արագությունը ամեն ինչ սահուն ընթացք տալն Սա ուսումնասիրելու համար ես փորձարկեցի մի նոր շարք, որտեղ WebRTC-ն կազմաձևված էր՝ փոխարենը առաջնահերթություն տալով : Դա արվել է WebRTC-ում պարամետրի միջոցով, որը թույլ է տալիս զննարկիչին ասել, թե որն է ավելի կարևոր՝ բարձր լուծաչափը կամ հարթ շարժումը: կադրերի արագությանը contentHint Ես նպատակ էի դրել պահպանել կադրերի արագությունը հետևողական , որը լայնորեն ճանաչված է որպես հարթ, հարմարավետ դիտման քաղցր կետ: Դրան հետևողականորեն ստանալը դժվար էր. հարմարվողական հոսքը նշանակում է, որ միշտ մի փոքր տատանումներ կան, բայց արդյունքները արժեքավոր պատկերացում տվեցին այն մասին, թե ինչպես է յուրաքանչյուր կոդեկ վարում այս փոխզիջումը: 30 կադր/վրկ Այս վարքագիծը վերլուծելու համար ես ներկայացրեցի նոր չափանիշ. Ուղարկված պիքսելներ վայրկյանում = Կադրերի արագություն × լուծաչափ Սա ավելի ամբողջական պատկեր է տալիս, քան միայն FPS-ին կամ լուծաչափին նայելը: Այն ցույց է տալիս, թե որքան տեսողական տվյալներ է իրականում կոդեկը փոխանցում վայրկյանում տարբեր պայմաններում: Բարձր շարժման տեսահոլովակների համար և նկատելի տարբերությամբ: Նույնիսկ ավելի ցածր բիթային արագությամբ, այն կարողացավ վայրկյանում զգալիորեն ավելի շատ պիքսել փոխանցել, քան ցանկացած այլ կոդեկ: Սա հստակ ցույց է տալիս, թե որքան լավ է AV1-ը կառավարում դինամիկ բովանդակությունը, երբ համակարգը ճնշման տակ է բարձր կադրերի արագությունը պահպանելու համար: Խնդրում ենք տեսնել . AV1-ը ևս մեկ անգամ հայտնվեց առաջին տեղում հետևյալ գրաֆիկը Երբ ես անցա ցածր շարժման բովանդակությանը, օրինակ՝ ոլորող տեքստով վեբ էջին, խաղադաշտը մի փոքր ավելի մակարդակ ստացավ: Բոլոր կոդեկների կատարումը դարձավ ավելի միատեսակ, ինչպես կարող եք գտնել : Այնուամենայնիվ, , հատկապես ավելի բարձր բիթային արագությամբ: Նրա սեղմման օպտիմալացումները օգնեցին նրան պահպանել հզոր թողունակություն՝ առանց ռեսուրսների օգտագործման էապես մեծացնելու: հաջորդ նկարում AV1-ը դեռևս պահպանել է առաջատարությունը Ի՞նչ է նշանակում այս ամենը գործնականում։ Դե, եթե ձեր օգտագործման դեպքը ներառում է դինամիկ, բարձր շարժման վիզուալներ, ինչպիսիք են վիդեո զննումները, կենդանի անիմացիաները կամ խաղերի հոսքը, , և AV1-ը հատկապես ունակ է այդ միջավայրում: առաջնահերթությունը կադրերի արագությունը կարող է մեծ տարբերություն ունենալ Նույնիսկ ավելի դանդաղ շարժվող բովանդակության դեպքում AV1-ը շարունակում է ուժ ցույց տալ: Թեև տարբերությունը կարող է ավելի փոքր լինել, այն հետևողականորեն կարողանում է ավելի շատ տեսողական տվյալներ ուղարկել, ինչը նշանակում է ավելի լավ որակ նույն կամ ավելի ցածր թողունակությամբ, շնորհիվ իր առաջադեմ սեղմման ռազմավարությունների: Երկու դեպքում էլ չափորոշիչն օգտակար է եղել հասկանալու համար, թե ինչպես են կոդեկները հավասարակշռում լուծաչափը և շրջանակի արագությունը, երբ թողունակությունը սահմանափակ է: Եվ AV1-ի աշխատանքը այս պայմաններում ավելի է ամրացնում այն որպես ամենահզոր տարբերակ՝ պայմանով, որ ձեր համակարգը կարողանա հաղթահարել CPU-ի լրացուցիչ պահանջները: «ուղարկված պիքսելներ վայրկյանում» Որքանո՞վ է մաքուր պատկերը: Եկեք խոսենք PSNR Կադրերի արագությունից, լուծաչափից և պրոցեսորի օգտագործումից բացի, էկրանի համօգտագործման գլուխկոտրուկի ևս մեկ կարևոր կետ կա. Հենց այստեղ է հայտնվում : որքանո՞վ է ստացված պատկերը մոտ բնօրինակին: գագաթնակետային ազդանշան-աղմուկ հարաբերակցությունը (PSNR) PSNR-ը լայնորեն օգտագործվող չափիչ է՝ սեղմված տեսանյութի որակը չափելու համար: Այն պատմում է ձեզ, թե որքան աղավաղում կամ «աղմուկ» է ներմուծվել կոդավորման ընթացքում: Այն չափվում է , և հիմնական կանոնը պարզ է՝ : Բարձր PSNR նշանակում է, որ պատկերը գրեթե նույնն է, ինչ բնօրինակը. ցածր միավորը նշանակում է, որ ավելի տեսանելի դեգրադացիա կա: դեցիբելներով (dB) որքան բարձր, այնքան լավ Դա համատեքստի մեջ դնելու համար ես փորձարկեցի PSNR արժեքները կոդեկների մեջ երկու տարբեր սցենարներով. մեկը, որտեղ առաջնահերթություն է, և մյուսը, որտեղ առաջատար է: Երկու թեստերն էլ օգտագործեցին նույն ՝ իրերը հետևողական պահելու համար: լուծումը շրջանակի արագությունը բարձր շարժման տեսանյութերի բովանդակությունը Այս կարգավորումներում, որտեղ հստակությունն է ուշադրության կենտրոնում (նույնիսկ եթե տեսանյութն ավարտվում է մի փոքր անկայուն), ՝ տրամադրելով սուր վիզուալներ՝ նվազագույն աղավաղմամբ: Դա ուժեղ ընտրություն է, երբ հարթությունը այնքան էլ կարևոր չէ: H.264-ը հատկապես լավ է հանդես գալիս Երբ նպատակը տեղափոխվում է հեղուկ շարժման պահպանում, , հատկապես ավելի բարձր բիթային արագությամբ: Այն կարողանում է պահպանել պատկերի որակը նույնիսկ ագրեսիվ սեղմելիս՝ հարվածելու կադրերի արագության թիրախներին: AV1-ն առաջ է գալիս Թեև կոդեկների միջև PSNR-ի տարբերությունները միշտ չէ, որ դրամատիկ են, դրանք ընդգծում են այն որոնք դուք անում եք կոդեկ ընտրելիս: Ոմանք առաջնահերթություն են տալիս սրությանը. մյուսները նպատակ ունեն հարթ շարժման, և կախված ձեր օգտագործման դեպքից, մեկը կարող է ավելի հարմար լինել, քան մյուսը: փոխզիջումները, Այնուհետև ես նորից անցկացրի նույն թեստերը, այս անգամ օգտագործելով . մի բան, որն իսկապես ընդգծում է լուծման և հստակության կարևորությունը: ոլորված տեքստի բովանդակությունը Երբ շարժումը առաջնահերթ է, PSNR արժեքները բոլոր կոդեկներում բավականին նման են: Բովանդակությունը շատ չի փոխվում, ուստի սեղմման ռազմավարության տարբերությունները մեծ ազդեցություն չեն ունենում ընդհանուր պատկերի որակի վրա: Այստեղ ամեն ինչ հետաքրքիր է դառնում: Որպես առաջնահերթ լուծում ունենալով՝ մյուս կոդեկներից՝ հատկապես ավելի բարձր բիթային արագությամբ: Այստեղ նրա կատարումը բացառիկ է։ AV1-ը շատ առաջ է անցնում Ինչո՞ւ։ AV1-ը ներառում է հատուկ օպտիմալացումներ՝ տեքստի նման ստատիկ, կրկնվող բովանդակության հետ աշխատելու համար: Դրանք թույլ են տալիս պահպանել , խուսափել արտեֆակտներից և ավելի արդյունավետ սեղմել: Դա AV1-ը դարձնում է ֆանտաստիկ ընտրություն օգտագործման դեպքերի համար, ինչպիսիք են փաստաթղթերի փոխանակումը կամ կոդերի զննումը՝ ամենուր, որտեղ այդ : ավելի բարձր պատկերի հավատարմություն հստակ, ընթեռնելի մանրամասներն իսկապես կարևոր են Մի խոսքով, PSNR-ն օգնում է ընդգծել էկրանի համօգտագործման որակի նուրբ, բայց կարևոր հարթությունը: Անկախ նրանից, թե դուք առաջնահերթություն եք տալիս շարժմանը կամ հստակությանը, հասկանալով, թե ինչպես են կոդեկներն իրենց պահում տարբեր սահմանափակումների ներքո, թույլ է տալիս ընտրել ճիշտը աշխատանքի համար: Ի՞նչ գործարք կա QP-ի հետ: Հասկանալով սեղմումն ընդդեմ որակի Մեկ այլ կարևոր գործոն էկրանի համօգտագործման որակի մեջ մի բան է, որը կոչվում է կամ : Եթե երբևէ մտածել եք, թե ինչն է վերահսկում, թե որքան մանրուք է կորչում սեղմման ընթացքում, սա է: Քվանտացման պարամետր QP Պարզ ասած, : QP-ն կոդավորողին ասում է, թե որքան ագրեսիվ կերպով սեղմի տեսանյութը նշանակում է ավելի քիչ սեղմում և ավելի լավ պատկերի որակ: Ցածր QP-ն նշանակում է ավելի շատ սեղմում, ինչը խնայում է թողունակությունը, բայց կարող է վատթարացնել տեսանյութը: Բարձր QP-ն Մինչ PSNR-ը մեզ տալիս է արդյունք՝ որքան պատկերի որակ է պահպանվել, : Այսպիսով, ես նայեցի երկուսին: QP-ն մեզ ասում է, թե ինչին էր ուղղված կոդավորիչը Այս ուսումնասիրության մեջ. վերցվել են ստանդարտ WebRTC չափիչներից: QP արժեքները չափվել է փաստից հետո՝ յուրաքանչյուր օրիգինալ շրջանակ համեմատելով իր ստացված տարբերակի հետ: PSNR-ը Ահա թե որտեղ են իրադարձությունները հետաքրքիր: , ինչը նշանակում է, որ այն պահպանում էր պատկերի որակը լավագույնս, բայց նաև ուներ քան մյուս կոդեկները: Դա առաջին հայացքից հակասական է թվում։ AV1-ն ուներ լավագույն PSNR միավորները QP արժեքներ մինչև չորս անգամ ավելի բարձր, Բայց ահա գրավչությունը. , ուստի արժեքներն ուղղակիորեն համեմատելի չեն: 50 QP-ն մի կոդեկում պարտադիր չէ, որ նշանակում է սեղմման նույն մակարդակը, ինչ 50 QP-ն մյուսում: յուրաքանչյուր կոդեկ տարբեր կերպ է սահմանում և մշակում QP-ն Այնուամենայնիվ, QP միտումները մեզ օգտակար բան են ասում: Բոլոր կոդեկներում ես նկատեցի, որ : Դա իմաստ ունի. ավելի շատ թողունակության առկայության դեպքում կոդեկները կարող են իրենց թույլ տալ նվազեցնել սեղմումը և բարելավել պատկերի որակը: երբ թողունակությունը մեծանում է, QP-ն նվազում է Այսպիսով, չնայած մենք չենք կարող շարել QP համարները կողք կողքի կոդեկների միջով, դրանք դեռ ցույց են տալիս, թե ինչպես է յուրաքանչյուր կոդեկ դինամիկ կերպով կարգավորում սեղմումը` հիմնվելով հասանելի ցանցի պայմանների վրա: Ստորին գիծ. : Բայց հետևելը, թե ինչպես է այն փոխվում թողունակության հետ, օգտակար պատկերացում է տալիս այն մասին, թե ինչ է անում կոդավորիչը կուլիսներում: Եվ PSNR-ի հետ համակցված, այն տալիս է կոդեկի վարքագծի ավելի ամբողջական պատկեր: QP-ն որակի գնահատական չէ, դա կարգավորում է Վերջնական մտքեր. ինչ է այս ամենը նշանակում WebRTC էկրանի համօգտագործման համար Այն բանից հետո, երբ խորը սուզվել է, թե ինչպես է WebRTC-ն աշխատում գլխարկի տակ, մի բան պարզ է. , և լավագույն ընտրությունն իսկապես կախված է ձեր առաջնահերթություններից և միջավայրից: ոչ բոլոր կոդեկներն են հավասար ստեղծված Ահա իմ փորձերի հիմնական ակնարկները. AV1. Լավագույն որակ, ամենաբարձր արժեքը AV1-ը հետևողականորեն ապահովում էր , անկախ նրանից՝ ես կիսվում էի արագ շարժվող տեսանյութով կամ դանդաղ պտտվում տեքստով: Նրա առաջադեմ սեղմումն ու օպտիմալացումն այն դարձնում են աներևակայելի արդյունավետ, բայց դա ունի գին: AV1-ը ունի, և քանի որ ապարատային աջակցությունը դեռ շարունակում է հասնել, այն իդեալական չէ ցածր էներգիայով կամ շարժական սարքերի համար: տեսողական լավագույն որակը պրոցեսորի կարիք դեռ H.264. The Solid All Rounder Եթե դուք , ապա H.264-ը դեռ հիանալի ընտրություն է: Այն լայնորեն աջակցվում է, ապարատային արագացված է շատ հարթակներում և լավ աշխատանք է կատարում գրեթե բոլոր սցենարներում, հատկապես, երբ մտահոգիչ են համակարգի ռեսուրսները կամ մարտկոցի ժամկետը: հավասարակշռություն եք փնտրում կատարողականի և արդյունավետության միջև Բովանդակությունը ավելի կարևոր է, քան կարծում եք Բովանդակության տեսակը, որը դուք կիսում եք, ունի կատարողականի վրա: Բարձր շարժման տեսանյութը շատ ավելին է պահանջում ձեր պրոցեսորից և թողունակությունից, քան ստատիկ բովանդակությունը, օրինակ՝ փաստաթղթերը կամ տեքստը: Ձեր բովանդակության համար ճիշտ կոդեկ և ճիշտ կարգավորումներ ընտրելը կարող է հսկայական տարբերություն ունենալ որակի և ռեսուրսների օգտագործման մեջ: մեծ ազդեցություն CPU-ի օգտագործումը պարզապես ծանոթագրություն չէ Շնորհիվ իմ ստեղծած «Chrome» հարմարեցված հավելվածի, ես կարողացա ճշգրիտ չափել պրոցեսորի օգտագործումը էկրանի համօգտագործման ժամանակ: Արդյունքները ցույց տվեցին , ինչը հատկապես կարևոր է դառնում շարժական սարքերում կամ էներգիայի նկատմամբ զգայուն միջավայրերում: մեծ տարբերություններ յուրաքանչյուր կոդեկի պահանջկոտության մեջ Ի՞նչ է հաջորդը: Ուր կարող է գնալ այս հետազոտությունը Այս փորձը դուռ բացեց մի քանի հետաքրքիր հաջորդ քայլերի համար: Ահա, որտեղ ես կարծում եմ, որ ապագա աշխատանքը կարող է ավելի մեծ ազդեցություն ունենալ. Փորձարկում բջջային սարքերի վրա Մինչ այժմ բոլոր թեստերն արվել են աշխատասեղանի վրա, բայց էկրանի փոխանակումը նույնքան տարածված է (եթե ոչ ավելի) վրա: Թեստավորումը, թե ինչպես են այս կոդեկները աշխատում բջջայինում, ավելի ամբողջական պատկերացում կտա, հատկապես արձագանքման և էներգիայի օգտագործման առումով: հեռախոսների և պլանշետների Էներգաարդյունավետություն Խոսելով էներգիայի մասին, կոդեկները ոչ միայն այրում են պրոցեսորը, այլև : Հետագա հետազոտությունները պետք է ուսումնասիրեն, թե որ կոդեկներն են , հատկապես շարժական սարքերում էկրանի փոխանակման երկար նիստերի համար: մարտկոցի կյանքը առավել էներգաարդյունավետ AI-Powered Codec Tuning Պատկերացրեք, եթե WebRTC-ն կարողանա ավտոմատ կերպով կարգավորել կոդեկների կարգավորումները՝ հիմնված ձեր ընթացիկ բովանդակության և ցանցի արագության վրա: ՝ դինամիկ կերպով իրական ժամանակում գտնելով կատարյալ հավասարակշռություն որակի և կատարողականի միջև: AI-ն կարող է դա հնարավոր դարձնել Փաթաթելով այն Կոդեկի ընտրությունն ավելին է, քան պարզապես տեխնիկական որոշում. այն ուղղակիորեն ազդում է էկրանի փոխանակման ձեր փորձի : Անկախ նրանից՝ դուք կառուցում եք տեսահամաժողովի գործիք, համագործակցության հարթակ, թե պարզապես օպտիմիզացնում եք ձեր սեփական աշխատանքային հոսքերը, հասկանալով, թե ինչպես են այս կոդեկներն իրենց պահում տարբեր պայմաններում, կարող է օգնել ձեզ ավելի խելացի և արդյունավետ որոշումներ կայացնել: որակի, սահունության և ռեսուրսների օգտագործման վրա Քանի որ WebRTC-ն շարունակում է զարգանալ, դրա շուրջ գործիքներն ու տեխնիկան նույնպես կզարգանան: Հուսով եմ, որ այս խորը սուզումն օգնում է մյուսներին ավելի լավ հասկանալ, թե ինչ է կատարվում կուլիսների հետևում և ինչպես առավելագույն օգուտ քաղել էկրանի համօգտագործման փաթեթից: Ցանկանու՞մ եք ինքներդ ուսումնասիրել տվյալները: Եթե դուք հետաքրքրված եք ավելի խորանալ արդյունքների մեջ կամ կատարել ձեր սեփական վերլուծությունը, ես այս ուսումնասիրության ամբողջական տվյալների բազան հասանելի եմ դարձրել այստեղ. Ներբեռնեք տվյալների հավաքածուն Kaggle-ում Այն ներառում է կադրերի արագության, լուծաչափի, PSNR-ի, QP-ի, պրոցեսորի օգտագործման և ավելին չմշակված չափումներ՝ բոլորը կազմակերպված են ըստ կոդեկի, բովանդակության տեսակի և թողունակության վիճակի: Ազատորեն օգտագործեք այն ձեր սեփական փորձերի, չափորոշիչների կամ պարզապես ուսումնասիրելու համար, թե ինչպես է WebRTC-ն իրեն պահում տարբեր սցենարներում: