Torsadg 26/5: Vi fortsatte med å regne eksamensoppgaver på wavelets, bilder, tensorprodukter, konveksitet, og ikkelineær optimering. Dette var den siste forelesningen. Regneøvelsene går helt frem til eksamen.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 23/5: Jeg regnet de fleste av eksamensoppgavene (2012-2015) som berører del I av kurset. Jeg fortsetter med å rene eksamensoppgaver torsdag som er relatert til wavelets, bilder, konveksitet, og ikke-lineær optimering.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 19/5: Jeg repeterte de viktigste tingene fra del III av kurset: Det generelle optimeringsproblemet og KKT-betingelsene, konveksitet, numeriske metoder som steepest descent og Newton, med eksakt linjesøk og backtracking line search. Vi repeterte også Newtons metode med betingelser, samt barriermetoden. Vi avsluttet med et eksempel med KKT-betingelsene ved optimering med ulikhetsbetingelser. Neste uke regner jeg eksamensoppgaver på begge forelesningene.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 12/5: Vi avsluttet kapittel 6 med to eksempler: En der vi kjørte barriermetoden numerisk for å finne en løsning, og en der vi kunne finne minimum av både barrierproblemet og det opprinnelige problemet ved regning, og sjekke for hånd at løsningen av barrierproblemet konvergerte mot løsningen av det oprinnelige problemet når barrierparameteren mu gikk mot 0. På torsdag neste uke tar jeg repetisjon av del III.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 9/5: Vi startet kapittel 6 med å se på hvordan Newtons metode kan anvendes på et problem med likhetsbetingelser. Deretter hopper vi over på metoder for å løse problemer med ulikhetsbetingelser. Vi definerte barrierfunksjonen og barrierproblemet, som er tilnærminger til det opprinnelige problemet, der ulikhetsbetingelsen blir erstattet med en "straff" når en ulkihet nærmer seg å være aktiv. Vi viste hvordan vi kan få gode estimater til løsningen ved å løse barrierproblemet med små barrierparametre. Neste gang skal vi se på et par eksempler, et par flere algoritmer, samt regne et par flere oppgaver i kap. 6, før vi begynner på repetisjon fra del III.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 2/5: Vi tok et par generelle eksempler til på oppsett av KKT betingelsene, der objektivfunksjonen var kvadratisk eller lineær. Deretter fortsatte vi på konveks optimering i seksjon 5.3, der vi definerte det duale problemet, og viste en sammenheng mellom løsningen på det primale og det duale problemet. Vi tok også for oss et eksempel der vi regnet ut den duale objektivfunksjonen, og så at de primale og duale problemene kan se høyst forskjellige ut. Vi starter på kap. 6 neste uke.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 28/4: Vi fortsatte i kapittel 4 med litt mer rundt beviset for optimering med kun likhetsbetingelser. Deretter formulerte vi de tilsvarende resultatene når vi også har ulikhetsbetingelser, der hovedforkskjellene var at regulære punkter defineres annerledes, og at Lagrangeparametrene for ulikhetsbetingelsene kunne være >= 0. Vi gikk så gjennom et bevis som forklarer alt dette bortsett fra det at de nye Lagrangeparametrene er >=0. Det siste krever en del mer arbeid, og jeg gikk gjennom hovedlinjene i dette også (har oppdatert kompendiet med dette og). Vi avsluttet med et par enkle eksempler på optimering med ulikhetsbetingelser. Vi starter med et par slike eksempler til på mandag, før vi avslutter kapittel 5 med seksjon 5.3.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 25/4: Vi avsluttet kapittel 4 ved å skissere beviset for et resultat om at Newtons metode med backtracking line search for konvekse funksjoner konvergerer kvadratisk under visse (tekniske) betingelser. Deretter begynte vi på kapittel 5, der vi startet med optimering med kun likhetsbetingelser. Vi gikk gjennom det meste av beviset for at en gradientlikning er oppfylt i et regulært minimumspunkt, men det var et en del detaljer i dette beviset vi hoppet over. Poenget var at et optimeringsproblem med betingelser kan oversettes til et problem uten betingelser, som lar seg løse ved å sette gradienten til null. Vi fortsetter i kap. 4 neste gang, og satser på rekke gjennom stoffet med ulikhetsbetingelser da (oppgaver på dette er høyst eksamensrelevant).
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 21/4: Vi startet på kapittel 4. Først viste vi at lokale minimum er stasjonære, og at Hessematrisen er positiv semidefinit i minimum. Deretter viste vi en setning som går motsatt vei. Vi viste også at, for konvekse funksjoner, så er alle lokal minima også globale minima, og at alle stasjonære punkter også er minimumspunkter. Deretter så vi på to linjesøkmetoder: steepest descent- og Newtons metode. Vi så også på to metoder for å finne steglengde: eksakt linjesøk og backtracking line search. Vi skal avslutte kapittel 4 på mandag ved å vise at Newtons metode med backtracking line search har kvadratisk konvergens for konvekse funksjoner.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 18/4: Vi gikk gjennom kapittel 3. Vi så på hvordan en Lipschitz betingelse setter oss i stand til å fikke fikspunkt ved hjelp av iterasjon, og vi repeterte Newtons metode, og vi så på betingelser for når Newtons metode konvergerer mot en løsning. På torsdag skal vi begynne på kapittel 4.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 14/4: Vi gikk gjennom kapittel 2 i del III. Vi definerte konvekse mengder og konvekse funksjoner, og viste eksempler på begge deler, som at "baller" og sublevel mengder er konvekse, og at sammensetningen av affin og konveks funksjon er konveks. Vi forklarte også at konvekse funksjoner automatisk er kontinuerlige, og at deriverbarhet for slike er det samme som eksistens av de partielle deriverte. Vi avsluttet med en karakterisering av konvekse funksjoner, som sa blant annet en funksjon er konveks hvis og bare hvis den ligger over Taylortilnærmingen av første orden (tangenten). Vi fortsetter med kapittel 3 på mandag.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 11/4: Vi startet på del III av kurset ved å gå gjennom kapittel 1 i tilleggskompendiet som er lagt ut. Vi forklarte hovedsettingen i teorien om optimetring, og ga et par eksempler på porteføljeforvaltning og maximum likelihood. Deretter repeterte vi begreper som gradient, Hessmatrise og Jacibimatrise, og forklarte hvordan disse dukker opp i taylorsetninger i flere variable. Vi fortsetter neste gang med kapittel 2.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 7/4: Jeg forklarte først litt rundt bruken av DWT i FBI's standard for kompresjon av fingeravtrykk. Resten av timen ble brukt til å repetere stoff fra del II av kurset, blant annet oppsettet av en multiresolusjonanalyse, utregning av projeksjon som gir koordinatskiftene i DWT/IDWT for wavelet for stykkevis konstante funksjoner, hvordan vi kan lese ut de tilhørende filtrene fra DWT/IDWT-matrisene, samt hvordan vi utvider teorien til 2D og bilder ved hjelp av tensorproduktet. På mandag begynner vi på del III.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 4/4: Vi definerte tensorprodukter av funksjoner og funksjonsrom, og tensorprodukt for basiser av slike. Teorien her var ganske lik det vi så for tensorprodukt av vektorer, og vi utledet på samme måte et resultat på hvordan vi kan gjøre koordinatskifte på et tensorprodukt av funksjonsrom. Fra dette kunne vi definere to-dimensjonal DWT som et koordinatskifte i et tensorprodukt av funksjonsrom, og vi tolket dette koordinatskifte ved hjelp av lavpass/høypassfilter-tolkningen av DWT. Vi gikk deretter gjennom en del eksempler på bilder. Vi avslutter kapittel 10 neste gang ved å snakke litt FBI's standard for kompresjon av fingeravtrykk, før vi runder av del II av kurset med repetisjon.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 31/3: Vi anvendte tensorprodukter av filtre på bilder, og så hvordan vi kunne glatte ut bilder i begge retninger. Hvis vi deriverte et bilde i en retning så svarte det til å anvende et høypassfilter i den retningen, og vi så hvordan dette kunne brukes til å fremheve horisontale og vertikale kanter. Til slutt definerte vi basiser for tensorprodukter, definerte koordinatmatriser, og viste hvordan vi kunne regne ut koordinatskifter ved hjelp av samme type formel som vi brukte til å filtrere et bilde vertikalt og horisontalt. Jeg fikk ikke laget noen pdf fra dagens forelesning, siden pennen på skjermen streiket.
Opptak: PC, nettbrett, mobil, lyd.
Torsdag 10/3: Jeg starter med å forklare litt mer om forsvinnende momenter og hvorfor vi bør prøve å konstruere wavelets med mange slike. Deretter begynte vi på kapittel 9, der fokus var bilder. Vi forklarte hvordan vi kan vise frem bilder og lese og skrive dem til fil, samt hvordan vi kan justere kontrast i bilder, konvertere til gråtonebilder, og trekke ut fargekomponenter. Vi rakk såvidt begynne på filtere anvendt på bilder, og viste en sammenheng med det vi definerte som tensorprodukter.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 7/3. Vi regner ut frekvensresponsen til filtern for den første waveleten for stykkevis konstante funksjoner, og så at filteret G_1 hverken var et høypass- eller lavpassfilter. Vi fortsatte så med å endre litt på psi-funksjonen i dette oppsettet slik at vi fikk to forsvinnende momenter, og regner ut nye filtre, plottet ny frekvensrespons, og så at vi nå fikk et høypassfilter. Vi hørte på sample-lydfile vår ved hjelp av playDWT, for alle tre waveleter, og kunne kanskje høre en viss forbedring med vår nye wavelet. På torsdag hopper vi videre til kapittel 9.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 3/3. Vi forklarte at både DWT/IDWT-matrisene for stykkevis konstante og lineære funksjoner hadde en bestemt form, der annenhver rad/søyle repeterte seg, og vi kalte slike matriser for MRA-matriser (some r kort for MultiResolusjonsAnalyse, som vi også snakket litt om som en generalisering). Denne repetisjonen minner om strukturen i matriser for filtre, og vi utledet hvordan vi kan regne ut en DWT ved hjelp av to filtre H_0, og H_1, og hvordan vi kan regne ut en IDWT ved hjelp av to filtre G_0 og G_1. Jeg hadde et ganske løst argument for at G_0 var et lasvpassfilter pg at G_1 var et høypassfilter. Vi avsluttet med å regne ut filtrene for Haar-waveleten, og vi så ved å plotte frekvensrespons at ihvertfall her G_0 et lavpassfilter og G_1 et høypassfilter.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 29/2. Jeg avsluttet stoffet om stykkelivis konstante wavelets med et par eksempler, før jeg fortsatte med å definere stykkevis lineære wavelets i seksjon 5.4. Mye av teorien var her lik, men våre nye basisfunksjoner var ikke lenger ortogonale, slik at vi ikke kunne bruke ortogonalt dekomposisjonsteorem direkte til å regne ut projeksjoner. Vi definerte en alternativ avbildning for dette, som utfylte denne rollen, og med denne så vi hvordan vi kunne gjøre en alternativ oppsplitting som gir oss noe en tilsvarende Diskret Wavelet Transform. på torsdag starter vi med å sette opp de tilhørende koordinatskiftematrisene, eksperimenterer litt med den nye waveleten på lyd, og forklarer generaliseringer og litt om sammenhengen mellom wavelets og filtre.
Opptak: pdf, PC, nettbrett, mobil, lyd
Torsdag 25/2: Vi fortsatte å regne med basisfunksjonene for resolusjonsrommene for stykkevis konstante funksjoner, og definerte diskret wavelet transform som koordinatskiftet vi får ved å skrive noe fra et høyere ordens resolusjonsrom som en sum av en tilnærming fra en lavere resolusjon, og detaljer på de forskjellige resolusjonene. Vi viste algoritmer for DWT og IDWT, og forklarte hva vi bør se når vi kjører disse på lyd. I prinsippet svarer en DWT til at vi regner ut gjennomsnitt og differenser: Gjennomsnittene svarer til lavresolusjonstilnærmingen, mens differansene svarer til detaljene. På regneøvelsene i morgen tenkte jeg dere skulle sitter med oppgave 5.18 og 5.19 for å teste ut DWT på lyd, og jeg tenkte også regne eksempel 5.18, 5.20, og 5.21 for dere på tavla. Ikke bare oppgaveregning i morgen med andre ord. På mandag begynner vi så på seksjon 5.4 (stykkevis lineære wavelets).
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 22/2: Vi begynte på kapittel 5 ved å bruke et bilde fra Google Earth til å motivere en multiresolusjonsanalyse - der vi splitter opp et bilde i en tilnærming med lavere oppløsning, og ekstra detaljer ved forskjellige oppløsninger. Vi startet med å bruke stykkevis konstante funksjoner for våre resolusjonsrom, vi fant ortonormale basiser for disse, og fant ut hvordan vi kunne projisere oss fra et høyere ordens resolusjonsrom ned i et lavere ordens resolusjonsrom. Dette vil være basis for den diskrete wavelet transformen, som vi vil komme til på torsdag.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 18/2: Jeg repeterte de viktigste tingene fra del I av kurset (kapittel1-3).
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 15/2: Vi gikk gjennom seksjon 3.4. Vi så på filtre som la til ekko, samt glidende middel filtre. Disse var de første filtrene som var eksempler på det vi definerte som lavpassfiltre.Deretter så vi på ideelle lavpassfiltre, og filtre der filterkoeffisientene var tatt fra Pascals trekant, og argumenterte for at disse var bedre som lavpassfiltre. Til slutt så vi at vi kunne lage høypassfiltre ved å legge på alternerende fortegn i lavpassfiltre, og vi så på de tilsvarende filtrene med koeffisienter fra Pascals trekant her også. På torsdag reptererer vi hele del I. Vi begynner på del 2 på mandag. Jeg legger ut stoffet for del 2 i løpet av et par dager.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Torsdag 11/2: Vi startet med å vise at egenverdiene til et filter kan regnes ut ved hjelp av en DFT, og regnet eksempler på å regn ut utgangen til et filter. Deretter fortsatte vi med å definere den kontinuerlige frekvensresponsen, og forklarte sammenhengen mellom denne og vektor-frekvensresponsen.Vi plottet et par frekvensresponser, og forklarte hvordan vi kan regne ut filterkoeffisientene til et produkt av to filter ved hjelp av frekvensresponsene. Vi bruker morgendagens forelesning til oppgaver fra sek. 3.3 og 3.4. Jeg foreleser sek. 3.4 på mandag.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 8/2: Vi definerte filtre på en måte i seksjon 3.1 ved hjelp av formler som involverer det vi kalte for filterkoeffisienter, og så at matrisene for disse var det vi kalte for sirkulante Toeplitzmatriser. Deretter begynte vi på seksjon 3.2, der vi definerte filter mer formelt ved at Fourierbasisvektorene skal være egenvektorer. Vi viste til slutt at denne definisjonen var ekvivalent med definisjonen fra 3.1 via sirkulante Toeplitzmatriser, og også ekvivalent med en tredje formulering som går på tidsinvarians. Vi fortsetter i 3.2 på torsdag.
Opptak: pdf, PC, nettbrett, mobil, lyd
Fredag 5/2 ble brukt til oppgaveregning.
Torsdag 4/2. Vi gikk gjennom seksjon 2.4 om FFT. Vi utledet algoritmen fra uttrykket for DFT, og skrev dette på blokkmatriseform. Vi sammenlignet med en rett-fram implementasjon av DFT, og kom fram til at algoritmen reduserte antall regneoperasjoner fra 8M^2 til 5Nlog_2 N. Vi så også på en generell implementasjon, der bitreversering av indeksene også spiller en sentral rolle. Morgendagens forelesning bruker vi på oppgaver.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Mandag 1/2. Vi sa mer om sammenhengen mellom DFT og Fourierrekker. blanat annet hvordan vi kan regne ut Fourierkoeffisientene til en funksjon i V_(M.T) ved å ta en DFT på samplene til funksjonen. Etter litt mr regning ga denne sammenhengen opphav til samplingsteoremet, som er en interpolasjonsformel for å uttrykke funkssjon ved dens sampler, gitt at vi vet noe om hvor høye frekvensene i signalet kan være. Vi avsluttet med å bruke DFT til å eksperimentere med lyd, med blant annet å endre lyden ved å nullstille DFT-koeffisienter for lave/høye frekvenser. På torsdag tar vi for oss seksjon 2.4 om FFT.
Opptak: pdf, PC, nettbrett, mobil, lyd.
Fredag 29/2 ble brukt til oppgaveregning.
Torsdag 28/2: Jeg gikk gjennom det meste av seksjon 2.2, der vi definert de grunnleggende begrepene i diskret Fourieranalyse. Spesielt definerte vi N-punkts Fourierbasis og Diskret Fouriertransform, og utledet egenskaper parallelle til de for Fourierrekker. Vi utledet også sammenhengen mellom frekvens og DFT indeks. Jeg foreleser ikke nytt stoff i morgen fredag, men fortsetter på mandag med seksjon 2.3, der vi skal bruke DFT til å gjøre operasjoner på lyd.
Opptak: pdf, PC, nettbrett, mobil, lyd
Mandag 25/2: Vi startet med oppgave 1.12, for å bli operative på komplekse Fourierrekke som vi definerte sist. Vi gikk så gjennom seksjon 1.4, der vi spesielt så på egenskaper ved Fourierrekker. Vi gjorde også oppgave 1.17 som drill på dette. Vi så litt på Fourierrekker og derivasjon av disse, og hvordan resultater på dette kan brukes til å forklare hvorfor trekantpulsens Fourierrekke konvergerer raskere enn firkantpulsens. Vi definerte den symmetriske utvidelsen til en funksjon, som kan brukes til å "speede opp" konvergensen i Fourierrekker. Vi er nå ferdig med kapittel 1, og fortsetter i seksjon 2.2 neste gang.
Opptak: PC, nettbrett, mobil, lyd, pdf
Fredag 22/2: Vi brukte litt over en time på oppsett rundt programmering, og testing med enten matlab eller python. Som sagt velger dere selv hvilket miljø dere vil bruke, og jeg skal hjelpe dere så godt jeg kan videre med oppsettet. Matlab på OCene i aud. 3 skulle uansett fungere uten at man må gjøre annet enn å laste ned all kode og sette userpath. Vi gikk også gjennom seksjon 1.3 (komplekse Fourierrekker), og gjorde oppgave 1.9.
Opptak: pdf
Torsdag 21/1: Vi gikk gjennom seksjon 1.2, der vi definerte Fourierrekker som minste kvadraters tilnærminger fra det vi kalte Fourierrom, og repeterte ortogonalt dekomposisjonsteorem, som gjorde oss i stand til å regne ut Fourierkoeffisienter. Vi regnet ut Fourierrekka til firkantpulsen, og sammenlignet med selve firkantpulsen, både ved å plotte funksjonene, og ved å høre på lydene. Vi observerte også at firkant og trekantpulsens Fourierrekker var rene sinus/cosinus-rekker, og regnet litt på hvorfor det var slik. I morgen fortsetter vi på seksjon 1.3, men har mye fokus på å gjøre oppgaver på eksperimentering med lyd.
Opptak: PC, nettbrett, mobil, lyd, pdf
Mandag 18/1: Jeg startet med en intro til kurset og en del praktiske opplysninger, slik som obligatoriske oppgaver, ukesoppgaver, programmering etc.. Deretter gjennomgikk vi seksjon 1.1 om hva som karakteriserer lyd, og gjorde oppgave 1.1. Deretter hoppet vi over på kapittel 2.1 om digital lyd, og testet ut en del enkle operasjoner på lyd ved å kjøre gjennom matlab-noteboken fra kodebasen til kurset. På torsdag fortsetter vi med å eksperimentere med kode, og videre i kapittel 1.
Opptak: PC, nettbrett, mobil, lyd, pdf