Digital Content Authoring Ideas & Tools

1. Applets On-Line

(Dynamic/Interactive Visualization Ideas – Play the Game)

The top prominent web page on graphics education should be the SIGGRAPH page, including the HyperGraph and CGEMS educational projects and a selection of SIGGRAPH course notes. Patrick Min at Princeton University has developed two groups of applets - JAR versions (for Netscape 4 and up: Bézier applet, 2D Transforms applet, 3D Viewing applet, Cohen-Sutherland clipping applet, and Lighting applet) and in separate class files (for Netscape 3: Bézier applet, 2D Transforms applet, 3D Viewing applet, Cohen-Sutherland clipping applet, and Lighting applet). Last modified on Feb 9, 2001. The ten applets are at the ACM education web page [Min99]. They illustrate five parts of the graphics computing.

Tens of applets are at [Štugel01], based on the first Slovak book on computer graphics and image processing. These interactive applets were awarded in the international SUN Company competition and in fact they recorded many visits after being published. Their interactivity is highly appreciated by frequent visitors. Juraj Štugel at Comenius University developed the interactive page, which currently became very probably the most popular page among Slovak and Czech students of graphics. This is probably the largest group of computer graphics education applets. E. g., there are 15 applets for raster conversions: point drawing, DDA algorithm slope value, DDA algorithm increments, DDA algorithm slopes, Bresenham algorithm with zoom, Bresenham algorithm for moving endpoint, circle drawing and rasterizations by four methods, ellipse drawing, pixel neighborhoods, fill area, scan line demonstration, and scan line algorithm. There are 7 applets for clipping, 10 applets for various curves, 4 applets for surfaces, 10 applets for elementary image processing, 10 applets for transformations, 5 applets for projections, 3 applets for solid modeling, 5 visibility applets, 14 applets for color and illumination, 3 texturing applets and several fractal applets. This applet set rapidly grows.

Maybe, the world most popular applet is the face demo applet by Ken Perlin [Perlin01].

Tens of very remarkable applets are at the courseware pages of Andy Van Dam, Brown University [VanDam01] and Tomoyuki Nishita, Tokyo University [Nishita01].

References

[Min99] MIN, P. 1999. Computer Graphics Applets. http://www.cs.princeton.edu/~min/cs426/applets.html

[Nishita01] NISHITA, T. 2001. Graphics Applets. http://www.eml.hiroshima-u.ac.jp/~nis/javaexampl/java_eng.html

[Owen01] OWEN, S. 2001. HyperGraph Homepage. A project of the ACM SIGGRAPH Education Committee, the Hypermedia and Visualization Laboratory, Georgia State University, and the National Science Foundation, headed by G. Scott Owen. http://www.siggraph.org/education/materials/HyperGraph/hypergraph.htm

[Perlin01] PERLIN, S. 2001. http://mrl.nyu.edu/~perlin/facedemo/

[Štugel01] ŠTUGEL, J. 2001. Vyucba pocitacovej grafiky. http: //pg.netgraphics.sk

[VanDam01] VAN DAM, A. 2001. Exploratory: Applets. http://www.cs.brown.edu/exploratories/freeSoftware/catalogs/repositoryApplets.html

2. Free Authoring Tools

(Download & Enjoy)

- Point Clouds

- PointShop3D http://graphics.ethz.ch/pointshop3d/

- B-rep – several animation packages

- trueSpace - www.caligari.com

- Maya PLE - http://www.aliaswavefront.com/en/products/maya/ple/index.shtml

- G max - http://www.discreet.com/products/gmax/

- Volume data

- VolVis - http://www.cs.sunysb.edu/~vislab/volvis_home.html

- http://vg.swan.ac.uk/ - book

- Multiresolution modeling

- VRML – see below

- VDSlib - http://vdslib.virginia.edu/ - http://almond.srv.cs.cmu.edu/afs/cs/user/garland/www/multires/index.html

- Implicit Surfaces

- HyperFun www.hyperfun.org

- F-rep Home Page http://wwwcis.k.hosei.ac.jp/~F-rep/

Geometric Modeling – curves & surfaces

– Rhino - http://www.rhino3d.com/

Special Modeling

- Fractals – FractInt - http://spanky.triumf.ca/www/fractint/fractint.html

- Perlin noise – http://mrl.nyu.edu/~perlin/doc/oscar.html, source available

- Particle systems – true Space, Maya PLE, … (see above)

3. Professional Storytelling Tools

http://www.macromedia.com/software/authorware/

http://www.dramatica.com/

4. Additional Useful Links and/or Tools

http://www.web3d.org/fs_specifications.htm – VRML, X3D and other specifications

Global Illumination

– PovRay www.povray.org

– Radiance http://radsite.lbl.gov/radiance/

Image Based Rendering

http://www.apple.com/quicktime/gallery/cubicvr/ - cubic VR

http://www.photomodeler.com/demo01.html – IBR demos & downloads

Image Based Lighting

http://www.debevec.org/HDRShop/

Participating Media

? (I cannot recommend anything special, see Maya, trueSpace, gmax…)

Real Time Rendering

www.realtimerendering.com – algorithms for game developers

MAYA Resources

http://www.the-gnomon-workshop.com/scripts.html

http://www.highend3d.com/

… … … run Google with Maya MEL scripts… 4400 hits today

Others

http://www.tb-software.com/ - 3D file converter

Multimédiá

Kapitola z knihy RUZICKY, E. a kol. 1995. Pocitacova grafika a spracovanie obrazu.

Architektúra multimediálneho systému

Doposiaľ popisované systémy mali za cieľ maximálne efektívne spracovať grafickú infomáciu. Metódy a pojmy počítačovej grafiky a spracovania obrazu spadajú do širšieho rámca multimediálnej technológie, kde sa často využívajú. Multimediálna staqnica by mala integrovať funkčnosť počítača s funkčnosťou videorekordéra.

Multiméciá definuje ISO ako vytvárnie, úpravu, skladanie a/alebo prezentáciu produktov pozostávajúcich z akejkoľvek kombinácie médií. Médium je prostriedok, ktorým sa informácia vníma, vyjadruje, skladá alebo prenáša.

Multimédiá možno charakterizovať oblasťami záujmu (domains of interest), základnými komponentami (key-elements) a funkčnými blokmi resp. jednotkami (functional units) a štruktúrou inštalácie, [STU91].

Oblasti záujmu sú počítačová grafika, spracovanie obrazu, animácie, konvertia a ukladanie obrazu, spracovanie zvuku a multimediálne/hypermediálne (mm/hm) aplikácie.

Základnými komponentami sú procesory, optické pamäťové médiá na čo najlacnejšie ukladanie enormne rozsiahlych súborov obrazovej i zvukovej informácie. Dôležitým komponentom multimédií sú normy na kódovanie a prezentáciu mnohorakých foriem informácie: textu, dát, obrazu, zvuku a hudby, video, animácií, operácií a metód. Všetky dátové typy môžeme rozlišovať podľa kódovanosti, štrukturovanosti a formátovanosti. Multimédiá dedia všetky obmedzenia jednotlivých médií, napr. problém kompresie, no majú aj ďalšiu úroveň zložitosti, ktorá vzniká práve kombináciou médií.

Obrázok 20.1. ilustruje druhy dát a ich toky v typickej architektúre multimediálneho systému, [STUC91]. Štyri procesory, pamäti a disky v multimediálnom systéme môžu znamenať aj jediné fyzické zariadenie svojho druhu, ale treba zdôrazniť, že logicky pre každú dátovú zbernicu zo štyroch (syntetický a prirodzený obraz, syntetický a prirodzený zvuk) ide o iné spracovanie, čomu už zodpovedajú ďalšie, špecializované zariadenia. Podrobný rozpis funkčných blokov pre počítačovú grafiku a spracovanie obrazu sme uviedli v prvej kapitole. V multimediálnom systéme k nim patrí aj funkčný blok pre spracovanie zvuku, znázornený na obr. 20.2. Príbuzné oblasti sú hlasový výstup a rozpoznávanie zvuku, ktoré je však už zahrnuté do spodnej časti obr. 20.2. Funkčný blok pre hlasový výstup by sa ponášal na zjednodušenie obrázku 20.2. s obrátenými šípkami. Analógie so spracovaním grafickej informácie vidno na obr. 1.4. v kapitole 1.

Spracovanie zvuku

Od doteraz popísaných metód sa spracovanie informácie, potrebné pre multimediálne aplikáciu, principiálne odlišuje spracovaním zbuku, pri kotorom sa preto pristavíme podrobnejšie.

Spracovanie zvuku príslušnými funkciami si vyžaduje vhodné kódovanie. Medzinárodná norma sa nazýva MIDI (Musical Instruments Digital Interface) a umožňuje v vzájomné prepojenie syntetizátorov, sekvencerov, osobných počítačov, rytmerov, atř. MIDI normuje rozhranie, v podstate je to upravené počítačové rozhranie RS-232. Každý nástroj obyčajne obsahuje prijímač a vysielač. MIDI normuje nielen formát dátového súboru na kódovanie zvuku, ale aj hardver, oi. Dvojito odtienené káble s maximálnou dĺžkou 1,5 metrov, zakončené päťkolíkovým konektorom. Okrem kódovania MIDI existuje mnoho neštandardných kódovaní, avšak MIDI je svetová priemyselná norma, ktorá od svojho uverejnenia v roku 1985 (takmer súčasne s GKS) prakticky odstránila problémy s kompatibilitou. Nepochybne aj vďaka vtedy prekvapivej dohode popredných svetových výrobcov hudobnej elektroniky.

Podobne ako pri vytváraní obrázka a spracovaní obrazu rozlišujeme zvuk syntetický (kódovanú informáciu) a zvuk prirodzený (nekódovanú informáciu ). Za zvuk považujeme reč, hudbu a niekedy aj šum. Napr. pre syntetickú hudbu poznáme jej štruktúru, napr. notopis, kým v zázname nasnímanej (nekódovanej) hudby máme zachytené len jej znejúcu podobu, aj keď zachytenú v digitálnej konvencii.

Na analýzu hudby je potrebné kódovanie analytickej informácie, napr. zápis akordov, tonálnych úsekov a harmonických funkcií. Na vyjadrenie takýchto poznatkov nestačí notopis. Tomuto a ďalším cieľom, súvisiacim s hudbou, slpži aplikácia všeobecnejšej normy HyTime (ISO/IEC 10744), nazývaná Standard Music Description Language (SMDL, ISO/IEC 10744), ktorá umožňuje aj vyjadrenie notového záznamu v textovom kódovaní, zachytenie viacerých interpretácií tej istej skladby a ďalšie potrebné s hudbou spúvisiace informácie. Existuje už napr. program na konverziu dokumentu SMDL do jazyka povelov na riadenie syntetizátora.

Možno postrehnúť určité analógie funkčnosti pri spracovaní zvuku s funkčnosťou pre počítačovú grafiku a spracovanie obrazu, no pri zvládaní zložitosti multimediálneho prostredia sú jednotlivé druhy spracovania oddelené a zmyslovo bohatý multimediálny efekt vzniká až u operaátora. Človek má viac vstupných kanaálov rep. Druhov vnímania informácie a multimédiá sú cestou, ako maximálne skvalitniť komunikáciu človek-stroj.

Pre multimediálne GUI pribúdajú nové požiadavky, napr. WYPIWYP (what you play is what you print), tj. Tlač nôt, ktoré hrá skladateľ na klaviatúre syntetizátora. V animácii sa na susediacich obrázkoch vyskytujú javy analogické aliasingu a koherencii. Vznikajú aj kuriózne pojmy, napr. vykreslenie zvili (sound rendering), kde prezentácia autio média zdedila zaužívaný a pôvodne čisto grafický pojem.

Problémom zostáva inportabilita, neprenositeľnosť softveru z jednej na inú multimediálnu inštaláciu. Systémovým riešením, na ktorom sa intenzívne pracuje, budú medzinárodné normy. Na úrovni kódovania sú to už v kapitole 18 spomenuté normy MHEG a Hy Time resp. HyperODA. Veľkú pozornosť vzbudzuje vývoj normy na prezentáciu multimediálnych objektov – PREMO. Na záver odbočenia do spracovania zvuku pripomeňme, že animácia (syntetický film) ani video (nasnímaný film) už neprinášajú zhľadiska spracovania informácie novú kvalitu média, lebo kombinujú v čase obraz a zvuk. Novú kvalitu média prináša skôr výskum kódovania tanečnej informácie.

PREMO

Multimediálny objekt je objekt obsahujúci jeden alebo viac typov médií, ktoré možno prezentovať užžívateľovi. Prezentácia je transformácia média do formy vhodnej pre pozorovateľa. Jedným z prototypov multimediálneho objektu je miestnosť, v ktorej sa v reálnom čase modelujú všetky bežné informačné zariadenia a ich funkcie – televízor ukazujúci aktuálny program, počítač, telefón, rádio, hodiny videoprehrávač,...

PREMO je anagram Presentation Environment for Multimedial Objects (ISO/IEC ce 14782). Tento projekt vznikol z projektu PREGO (G skracovalo Graphical). Táto budúca norma integruje objektovo orientovanú technológiu a multimédiá, pričom sa má vyhovieť prezentačným požiadavkám CAD/DAM, medicínskeho zobrazovania, viruálnej reality ai., a takým prezentačným technikám ako animácia, súčasné používanie viacerých médií, GUI, vedeckotechnická vizualizácia, simulácia, apod. Motívom na rýchlu normailzáciu technológií, ktoré sa v mnohých ohľadoch ešte len vyvíjajú, je zložitosť multimédií. Problém inportability na úrovni kódovania i prezentácie multimédiálnych aplikácií sa ukazuje byt obzvlášť masívnou bariérou ďalšieho rozvoja. PREMO využíva na popis rozhrania medzi objektami IDL (Interface Design Language). Objekt PREMO vychádza z vlastností definovaných v dokumente Common Object Request Broker, ktorý v roku 1992 vydala OMG (Object Management Group). V podstate ide o mechanizmus, ktorým objekty transparentne vysielajú požiadavky a dostávajú odpovede. Zmyslom je dosiahnúť súčinnosť medzi aplikáciami na rôznych strojoch v distribuovaných prostrediach. Objekty PREMO sú dynamické, vytvárajú sa programovaním, ich životný cyklus je od vytvorenia po deštrukciu, pričom možno meniť ich referenciu (a pravdepodovne bude možné meniť aj ich typ). PREMO objekty sú inštanciami typov a možno ich špecializovať podtypmi s dovolenou viacnásobnou dedičnosťou. Majú byť schopné reprezentovať model akéhokoľvek druhu entity, napr. osobu, loď, dokument, časť obrázku, hodnotu farby, a reagovať na operátorov vstup. PREMO podporuje aj neobjektové typy, napr. celé čísla alebo udalosti.

Návrh normy má 4 časti – Fundamentals of PREMO: Foundation Component, Modeling and Presentation Component, Multimedia System Services Component. Norma je v prudkom vývoji. Diskutuje sa napr. či má mať špeciálnu časť PREMO Windows. PREMO je jedným z pokusov zachytiť včas rýchly vývoj a ponúknuť firmám i trhu kvalitnú koncepciu programovania multimediálnej prezentácie. Kým funkčné normy GKS a PHIGS reprezentujú 1. generáciu noriem, rozvíja sa metodológia pre 2. generáciu noriem. Túto etapu možno datovať od roku 1992 a charakteirzuje ju príklon k objektovej technológii programovania a integrácia počítačovej prafiky s inými médiami. PREMO na rozdiel od budovania predchádzajúcich grafických noriem ako uzavretých monolitov sa koncipuje ako otvorená norma, adaptabilná na nové technológie, čím by sa malo predísť zastarávaniu. PREMO pre programovanie grafiky popisuje ešte detailnejšie rozlíšené úrovne abstrakcie medzi aplikáciou a operátorom: konštrukčné prostredie na modelovanie, virtuálne prostredie pre grafické prvky nezávislo na zariadení, snímacie prostredie, logické prostredie, kde sa naviažu na zariadení závislé atribúty a realizačné prostredie, kde sa tvorba obrázku skončí a napr. konzultáciou v tabuľke farieb vzniká definitívny obraz. Týchto 5 prostredí je užítočných na popis postupnej transformácie geometrických súradníc z aplikačného modelu až do súradníc fyzického zariadenia. Multimediálne dáta prechádzajú tie isté vrstvy spolu s grafickými dátami.

Interaktívny vstup prechádza týmito vrstvami v opačnom poradí. Vstupom v aplikácii PREMO však môže byť hoci záznam z videokamery alebo mikrofónu.

Mediátorom medzi rôznymi komponentami modelovania a prezentácie je scéna. Upozornime, že už nie grafická, ale multimediálna scéna. Zdroje modelov môžu byť rozličné: modeler telies, animačný systém, modeler na fyzikálnej báze, virtuálna realita alebo modelery vytvárajúce multimediálne resp. hypermediálne modely z dokumentov podľa noriem MHEG alebo HyperODA. Zo všetkých takýchto zdrojov multimediálnych objektov sa komponujú objekty scény, ktoré sa prezentujú operátorovi prostredníctvom rendererov potrebného zamerania: 2D, 3D, zvuk, video, a iné.

Dve multimediálne aplikácie

Multimediálne a hypermediálne aplikácie integrujú a skladajú rôzne médiá na riešenie daného aplikačného problému. Uvedieme príklady aplikácií v noninvazívnej diagnostike [STUC91] a v komunikáciách [PAVL95].

Automatická rekonštrukcia povrchu 3D objektov z CT rezov (získaných počítačovou tomografiou) má dve fázy.

1. Pre každý 2D tomogram sa vykoná zistenie obrysu, stenčovanie a segmentácia obrysu. Výstupom z tejto fázy je aproximácia obrysu hľadaného objektu v danom 2D reze, teda nejaký polygon.

2. Obrysy v susedných rezoch sa triangulujú, čím vznikne 3D teleso, repezentované triangulovaným povrchom. Takto sa získa drôtový model, ktorý možno vytieňovať a následne animovať. Už v tejto mediálnej prezentácii môže lekár diagnostikovať podľa rekonštruovaného objektu. Ak je objekt priveľmi zložitý, možno ho previesť do ďalšej mediálnej reprezentácie buď prostredníctvom stereoskopického zobrazenia alebo výrobou stereolitogramu, čím vznikne 3D model z umelej hmoty, ktorý možno ďalej už fyzicky - nie informačne – spracovávať alebo využiť vo vyučovaní diagnostiky.

World Wide Web – hypermediálna globálna komunikácia. Spoločnosť na prahu 21. storočia čím ďalej tým viac závisí na informácii prenášanej cez telekomunikačné siete. V roku 1969 sa podarilo preniesť prvú elektronickú spávu na sieti ARPANET, ktorá sa dodnes rozrástla na globálnu sieť INTERNET, prepájajúcu desiatky miliónov užívateľov. Elektronická pošta (e-mail) a ďalšie služby (ftp, telnet), založené na modeli klient-server, sa čoskoro začali používať na prenos obrázkov i hudby. V roku 1989 Tim Berner-Lee prišiel s ideou využiť hypertext na uľahčenie sieťovej komunikácie. Podstatou nevídaného úspechu projektu WWW (World Wide Web) bolo znova odformalizovanie práce s informáciou, GUI pre túto aplikáciu. Užívatelia tohto druhu komunikácie nepotrebujú študovať nijaký formalizmus, ani hľadať sieťové adresy. Stačí im zvoliť si v hypertexte, tj. texte zovšeobecnenom o ďalšie media a o system odkazov (hyperlink), príslušné kľúčové “slovo”, teda hoci aj časť obrázku. (Dokument, obsahujúci hyperlinky na iné ako textové informácie, sa nazýva hypermediálny.) Požadovaná multimediálna informácia sa vyhľadá a prenesie.

Hyperdokumenty vo WWW sa kódujú v jazyku HTML (Hyper Text Markup Language), súvisiacom s normou SGML (Standard Generalized Markup Language). Web server a Web klient komunikujú spolu cez HTTP (Hyper Text Transmission Protocol), ale všetko kódovanie I komunikácia ostane pre bežného užívateľa skryte – Web klient, napr. Populárny Mosaic, od užívateľa vyžaduje naozaj iba ineraktívnu prácu s myšou a klávesnicou. Web klient sám podľa hyperlinku vyhľadá príslušný server a ten na požiadanie odošle hľadanú informáciu. Užívateľ sa v žargóne nazýva “surfer”, lebo pomocou WWW ”surfuje” na informačnom “oceáne”, hnaný vetrom vlastných volieb.

Práve popísaná aplikácia je jednou z tých, ktoré opodstatňujú prognózy o vzniku Globálnej informačnej autostrády (global information highway). Počet Web serverov sa podľa [PAVL95] každých 56 dní zdvojnásobuje…

Najnovšie trendy

Popri vývoji PREMO sa intenzívne pracuje aj v iných smeroch rozvoja myslenia o spracovaní obrazovej a multimediálnej informácie. Očakávajú sa špecifikácie New API (Application Programming Interface) – prvej normy grafického systému 2. generácie. Možno čakať, že na rozvoj budúcich noriem budú mať silný vplyv nasledujúce rapídne sa rozvíjajúce metodológie: Windowing, Object Oriented Programming, Hypermedia a Multimedia, Modern User Interface Methodologie, Modern Hardware Facilities (vrátane 3D), protokoly v súlade s OSI (Open Systems Interconnection) a kompatibilitou medzi normami. V týchto trendoch však PREMO zostane jedným z vedúcich projektov s cieľom anticipovať ďalší vývoj myslenia o grafike v rámci multimediálnej technológie.

Na trhu sa prejavuje nesporný nárast multimediálnych i pseudomultimediálnych aplikácií. Predpovedá sa napr. revolúcia vo vzdelávaní na báze multimédií. Na trhu sú už prvé multimediálne a hypermediálne CD namiesto kníh a MHEF karty na dekódovanie filmov na obrazovku a zvukovú kartu počítača. Zatiaľ sú však multimediálne aplikácie veľmi drahé a vízia osobného počítača s kompletnou multimedialitou za masovo prijateľné ceny naráža na množstvo obmedzení. Príkladom neuspokojivo vyriešených praktických problémov je prenos dynamických dát (zvuk, video) na väčšie vzdialenosti a kooperatívna multimediálna práca, tj. Problémy pri prechode multimediálnej technológie do otvorených a distribuovaných prostredí.

Spracovanie informácie je, a vždy bolo, základom každého podnikania – v priemysle, ekonomike, armáde, vede, školstve, politike, umení a sociálnej sfére. Od polovice storočia možno hovoriť o automatizácii spracovania ifnromácie. Tri základné kvalitatívne zmeny umožnili vznik modernej informačnej technológie: objav mikroprocesora, rozvoj komunikácií a koncepcia otvorených systémov (open systems), ktorá vznikla v 70. rokoch.

V tomto rámci možno predpovedať vo všetkých aplikačných oblastiach hľadanie maximálneho prínosu z multimedializácie. Z tohto hľadiska stojíme na prahu prevratných zmien v našich komunikačných systémoch.