Rapoarte anterioare din partea departamentului AVT
- Interesat de studiu
- Elevi
- Angajat
- Jurnaliști
- economie
- Institutul de tehnologie media
- Acasă AVT
- oameni
- Predarea
- cercetare
- Publicații
- Software/Descărcări
- Teze
- Arhiva
- Rapoarte anterioare din partea departamentului AVT
- Proiecte finalizate (înainte de 2013)
- Disertații și abilitări
- Evenimente
Rapoarte anterioare din partea departamentului AVT
Al 21-lea Simpozion Internațional IEEE pe Multimedia (2019 IEEE ISM), 9-11 decembrie 2019, San Diego, SUA
Rakesh Rao Ramachandra Rao, Steve Göring, Werner Robitza, Bernhard Feiten, Alexander Raake
AVT-VQDB-UHD-1: o bază de date de calitate video la scară largă pentru UHD-1
Ecranele de televiziune 4K sau chiar cu rezoluții mai mari sunt disponibile în prezent pe piață. Mai mult decât atât, furnizorii de streaming video sunt capabili să transmită videoclipuri în rezoluție 4K și nu numai. . În acest sens, în această lucrare, prezentăm un studiu de evaluare subiectivă și obiectivă a calității videoclipurilor de înaltă definiție 4K de scurtă durată, similar cu lungimile segmentului DASH.
Ca prim pas, am efectuat patru teste subiective de evaluare a calității pentru versiunile comprimate ale videoclipurilor 4K. Videoclipurile au fost codificate folosind trei codecuri video diferite, și anume H.264, HEVC și VP9. Rezoluțiile videoclipurilor comprimate au variat de la 360p la 2160p cu frecvențe variabile de la 15 fps la 60 fps. Tot conținutul sursă 4K a fost utilizat de 60 fps. Am inclus condiții de calitate scăzută în termeni de bitrate, rezoluție și framerate pentru a ne asigura că testele acoperă o gamă largă de condiții și că de ex. posibilele modele instruite pe aceste date sunt mai generale și aplicabile unei game mai largi de aplicații din lumea reală. Rezultatele evaluării subiective a calității sunt analizate pentru a evalua impactul diferiților factori, cum ar fi rata de biți, rezoluția, rata de cadre și conținutul.
În al doilea pas, s-au aplicat diferite modele obiective de calitate de ultimă generație la toate videoclipurile și performanța lor a fost analizată în comparație cu evaluările subiective, de ex. folosind VMAF-ul Netflix. Videoclipurile, scorurile subiective, atât MOS cât și intervalele de încredere pe secvență și scorurile obiective sunt făcute publice pentru utilizare de către comunitate pentru cercetări ulterioare.
Link către videoclipuri:
Al 21-lea workshop internațional IEEE privind procesarea semnalului multimedia (MMSP), septembrie 2019, Kuala Lumpur, Malaezia
A. Singla, W. Robitza și A. Raake
Compararea metodelor de testare a calității subiective pentru evaluarea omnidirecțională a calității videoclipurilor
Premiul pentru cea mai bună hârtie
Dominik Keller (Departamentul AVT), Tamara Seybold (ARRI München), Janto Skowronek (fost Departamentul AVT) și Alexander Raake (Departamentul AVT) au primit premiul pentru cea mai bună lucrare la cea de-a 11-a Conferință internațională privind calitatea experienței multimedia (QoMEX 2019) de la Berlin.
Premii de sponsorizare pentru absolvenții din domeniu
Pentru a doua oară, Förderverein Elektrotechnik und Informationstechnik e. V. Ilmenau în legătură cu Facultatea de Inginerie Electrică și Tehnologia Informației din TU Ilmenau premiul său de sponsorizare pentru teze remarcabile. Premiul înzestrat a onorat realizările studenților în timpul ceremoniei de dezinscriere de la sfârșitul lunii iunie. Din fericire, două teze ale Grupului de Cercetare în Tehnologia Audiovizualului, care au fost realizate cu parteneri industriali, au fost recunoscute ca fiind remarcabile datorită gradului ridicat de interdisciplinaritate și abordare științifică, precum și a execuției lor.
Felicităm câștigătorii premiului Anton Schubert, care s-a ocupat de implementarea unui codec audio de bandă largă comprimat pentru comunicarea șoferului în motorsport, și Dominik Keller, care a lucrat la identificarea și analiza dimensiunilor texturii în filmele cinematografice cu ajutorul metodelor de evaluare a senzorilor.
IMT la festivalul de vară al reprezentanței statului Turingia la Berlin
În 2019, Institutul pentru Tehnologia Media (IMT) a fost reprezentat la festivalul de vară al reprezentanței statului Turingia la Berlin. Două zone specializate au împărtășit standul. Departamentul de tehnologie audiovizuală a demonstrat diferitele efecte ale conținutului video în rezoluție Full HD și UHD cu conținut special creat. În plus, au fost prezentate videoclipuri 360 ° (realitate virtuală), care au fost create în teren și sunt utilizate pentru testele de percepție. O scenă audio spațială adecvată face parte, de asemenea, dintr-o percepție captivantă a realității virtuale. De aceea, departamentul de tehnologie electronică a folosit o matrice de microfoane pentru a arăta cum sunt realizate aceste înregistrări audio la 360 ° și a făcut ca rezultatul să fie audibil direct la stand.
În vremea verii, erau mulți vizitatori interesați. Printre altele, prim-ministrul turingian Bodo Ramelow i-a făcut pe prof. Brandenburg și prof. Raake să-i explice tehnologia. Au fost susținuți în timpul evenimentului de către Stephan Fremerey, Dr. Stephan Werner și Matthias Döring.
Dominik Keller, Tamara Seybold, Janto Skowronek și Alexander Raake
Evaluarea dimensiunilor texturii și a calității videoclipurilor în filme folosind tehnici de evaluare senzorială
Lucrarea care a ieșit din colaborarea dintre membrii Departamentului de Tehnologie Audiovizuală și câștigătoarea Oscarului ARRI (Arnold & Richter Cine Technik) a primit premiul pentru cea mai bună hârtie la 11th Int. Conferință privind calitatea experienței multimedia (QoMEX 2019).
Într-un studiu prezentat la conferința QoMEX 2019, comparăm impactul diferiților algoritmi de interpolare a mișcării (MI) asupra calității experienței video la 360 ° (QoE). Pentru aceasta, am efectuat un test subiectiv cu 12 spectatori experți în video, în timp ce a fost utilizată o metodă de testare a comparării perechilor. Am interpolat patru conținuturi diferite de 20 s de 30 fps 360 ° la sursa de actualizare nativă de 90 Hz a afișajelor populare montate pe cap folosind trei algoritmi MI diferiți. Ulterior, am comparat aceste videoclipuri de 90 fps unul cu celălalt pentru a investiga influența asupra QoE. În ceea ce privește algoritmii, am aflat că amestecul ffmpeg nu duce la o îmbunătățire semnificativă a QoE, în timp ce MCI și butterflow fac acest lucru. În plus, am concluzionat că pentru videoclipurile 360 ° care conțin mișcări rapide și bruște, MCI ar trebui să fie preferat în locul fluxului de unt, în timp ce fluxul de unt este mai potrivit pentru videoclipurile cu mișcare lentă și medie. În timp ce comparați timpul necesar pentru redarea videoclipurilor interpolate de 90 fps, amestecul ffmpeg este cel mai rapid, în timp ce MCI și butterflow necesită mult mai mult timp.
Publicat în cea de-a 26-a conferință IEEE privind realitatea virtuală și interfețele utilizatorilor 3D, martie 2019, Osaka, Japonia
A. Singla, R. R. R. Rao, S. Göring și A. Raake: Evaluarea QoE mass-media, a bolii și a prezenței simulatorului pentru videoclipuri omnidirecționale cu diferite protocoale de testare
QoE pentru videoclipurile omnidirecționale cuprinde componente suplimentare, cum ar fi boala și prezența simulatorului. În această lucrare, este prezentată o serie de teste care compară diferite protocoale de testare pentru a evalua calitatea integrală, boala simulatorului și prezența videoclipurilor omnidirecționale într-o singură încercare, utilizând HTC Vive Pro ca afișaj montat pe cap. Pentru evaluări de calitate, a fost utilizată scara ACR în cinci puncte. În plus, au fost utilizate metodele bine stabilite de chestionar pentru boala simulatorului și de prezența chestionarului, o dată într-o versiune completă și o dată cu o singură scală integrală, pentru a analiza cât de bine pot fi captate prezența și boala simulatorului utilizând doar o singură scară.
Ashutosh Singla în timp ce își prezenta posterul la conferința IEEE VR din Japonia
A 11-a conferință internațională privind calitatea experienței multimedia (QoMEX) (QoMEX 2019). Berlin, Germania. Iunie 2019
Steve Göring, Rakesh Rao Ramachandra Rao, Alexander Raake
nofu - Un model de calitate video ușor fără referință bazat pe pixeli pentru conținut pentru jocuri
Popularitatea serviciilor de streaming pentru videoclipuri de jocuri a crescut enorm în ultimii ani, de ex. Jocuri Twitch și Youtube. Comparativ cu aplicațiile clasice de streaming video, videoclipurile de jocuri au cerințe suplimentare. De exemplu, este important ca videoclipurile să fie transmise în direct cu o mică întârziere. În plus, utilizatorii se așteaptă la stagnare scăzută, timp de așteptare și, în general, calitate video ridicată în timpul streamingului, de ex. folosind streaming adaptiv bazat pe http. Aceste cerințe conduc la diferite provocări în ceea ce privește predicția de calitate în cazul videoclipurilor de joc în flux. Descriem funcțiile nou dezvoltate și un model de învățare automată fără calitate de referință a videoclipului, care utilizează numai videoclipul înregistrat pentru a prezice scorurile de calitate video. În diferite experimente de evaluare, comparăm modelul propus nofu cu modelele și valorile de referință reduse sau complete de ultimă generație.
În plus, am instruit un model de bază fără referință folosind funcții brisque + niqe. Arătăm că modelul nostru are o performanță similară sau mai bună decât alte modele. În plus, nofu depășește VMAF pentru predicția subiectivă QoE de joc, chiar dacă nofu nu necesită niciun videoclip de referință.
scatter_plot_mos_nofu: rezultate pentru setul de date de jocuri și predicția punctajului subiectiv
Al șaptelea atelier european privind prelucrarea informațiilor vizuale (EUVIP), Tampere (Finlanda), 26-28 noiembrie 2018 (http://www.tut.fi/euvip2018/)
Steve Goering, Alexander Raake
deimeq - Un model de calitate a imaginii hibrid bazat pe rețea neuronală profundă, fără referință
Modelele actuale de evaluare a calității imaginii de referință nu se bazează în principal pe caracteristici realizate manual (semnal, viziune computerizată ...) sau rețele neuronale profunde. Utilizarea DNN-urilor pentru predicția calității imaginii duce la mai multe probleme, de ex. dimensiunea intrării este restricționată; rezoluțiile mai mari vor crește timpul de procesare și consumul de memorie. Intrările mari sunt gestionate prin patch-uri de imagine și agregarea unui scor de calitate. Într-o abordare de patch-uri pure, conexiunile dintre sub-imagini se pierd.
De asemenea, este nevoie de un set de date imens pentru instruirea unui DNN de la zero, deși sunt disponibile doar seturi de date mici cu adnotări. Oferim o soluție hibridă (deimeq) pentru a prezice calitatea imaginii folosind
Extracția caracteristicii DNN combinată cu modele de pădure aleatorii. În primul rând, deimeq folosește un DN preinstruit pentru extragerea caracteristicilor într-o abordare ierarhică subimagine, evitând un set de date de antrenament imens. Mai mult, abordarea propusă sub-imagine a acestora ocolește o corecție pură, din cauza conexiunilor ierarhice dintre sub-imagini. În al doilea rând, deimeq poate fi extins folosind caracteristici bazate pe semnal de la modele de ultimă generație. Pentru a ne evalua abordarea, alegem o evaluare strictă a seturilor de date încrucișate cu seturile de date Live-2 și TID2013 cu mai multe DNN pre-instruite. În cele din urmă, arătăm că deimeq și variantele acestuia funcționează mai bine sau similar decât alte metode.
Viziunea umană și imagistica electronică 2019, Burlingame (California SUA), 13-17 ianuarie 2019 (http://www.imaging.org/site/IST/IST/Conferences/EI/Symposium_Overview.aspx)
Steve Göring, Julian Zebelein, Simon Wedel, Dominik Keller, Alexander Raake
Analizați și preziceți perceptibilitatea conținutului video UHD
720p, Full-HD, 4K, 8K,. rezoluțiile afișajului au crescut puternic în ultimul timp. Cu toate acestea, mulți furnizori de streaming video sunt în prezent fluxuri video cu rezoluție maximă 4K/UHD-1. Având în vedere că spectatorii video normali se bucură de videoclipurile lor în camerele de zi tipice, unde distanțele de vizionare sunt destul de mari, se pune întrebarea dacă o rezoluție este chiar mai ușor de recunoscut. În lucrarea următoare vom analiza problema perceptibilității UHD în comparație cu rezoluțiile mai mici. Ca prim pas, am efectuat un test video subiectiv, care se concentrează pe secvențe video scurte necomprimate și compară două metode de testare diferite pentru discriminarea în perechi a două reprezentări ale aceluiași videoclip sursă în rezoluții diferite.
Am selectat o metodă cu bandă extinsă și o metodă de comutare temporală. Am constatat că comutarea temporală este mai potrivită pentru a recunoaște conținutul video UHD. Mai mult, am dezvoltat caracteristici care pot fi utilizate într-un sistem de învățare automată pentru a prezice dacă există un beneficiu în afișarea unui anumit videoclip în UHD sau nu.
Evaluarea diferitelor modele pe baza acestor caracteristici pentru prezicerea diferențelor perceptibile arată performanțe bune la datele de test disponibile. Sistemul nostru implementat poate fi utilizat pentru a verifica materialul video sursă UHD sau pentru a optimiza aplicațiile de streaming.