Hauntography: Algorithmic Presence and the Out of Joint in Music AI

Abstract

Artificial Intelligence (AI) has developed at a rapid pace over the last decade. Accessible computing power and increasingly large datasets, coupled with recent advancements in machine learning techniques, have led to its extensive application in creative domains, including music and the arts. Among AI architectures, the deep learning subset has recently gained prominence. Deep learning models feature multiple processing layers that make them capable of identifying complex statistical patterns in large amounts of data. This architectural complexity makes these systems akin to black boxes, obscuring the processes that lead to the generation of their outputs. For this reason, explainable AI (XAI) has emerged as a prominent field of investigation. While XAI research often focuses on breaking open the AI black box, this dissertation takes a different stance and investigates the creative and epistemological value of AI’s opacity, using it as a theoretical probe to query AI itself. This dissertation asks (i) how the inherent opacity of deep learning systems can come to represent a creative resource, (ii) how this perspective can contribute to reassessing shifting notions of agency, authorship and intentionality in human-AI co-creation, and (iii) how insights from artistic practice may be used to understand the general impact of AI technologies on our society. The dissertation introduces two new interfaces for musical expression (NIMEs) designed to perform with real-time neural audio synthesis (NAS), a deep learning synthesis technique that has recently come to the fore due to its high fidelity and low latency. Three original artistic works based on NAS are then offered and discussed. This corpus, together with works from other artists, is used to answer the first research question, illustrating how artists often leverage AI’s opacity as a creative resource, and increasingly project presences of different kinds onto the hidden layers of AI models. To mobilise the insights from practice and answer the second research question, the dissertation draws on hauntology theory, and through a practice-informed comparative reading of Jacques Derrida and Mark Fisher, develops a framework I term hauntography. Central to this framework are Fisher’s notions of the weird and the eerie, which through Derrida I frame as two co-constitutive modes of phenomena viewed as spectral. Hauntography thus provides an extended vocabulary applicable to creative practice and critical analysis of phenomena from the perspective of epistemological and ontological liminality. To answer the third research question, the theoretical framework is operationalised through thematic analysis of interviews with artists whose practices involve generative AI, and with whom I collaborated during the research. This analysis offers three interrelated insights. First, I observe how AI musical interfaces are often valued by artists insofar as they introduce a weird and eerie perspective on the sonic world represented by the training data. I then develop the notion of spectrophonia to describe how AI outputs bear the deferring traces of the source material, pulverised and reconfigured into something other, yet eerily familiar. Finally, I extend spectrophonia beyond music AI to reflect on AI more broadly. Through a hauntographic reading of Marx, supported by the interviews and by practice, I describe AI as a spectral commodity. While commodities typically conceal the social relations they reify, AI is structurally unable to do so, since these, inscribed in its training data, have to be re-enacted through use.Gervigreind hefur þróast á miklum hraða undanfarinn áratug. Aðgengilegt reikniafl og sífellt stærri gagnasöfn, ásamt stórstígum framförum á sviði vélanáms (e. machine learning), hafa leitt til víðtækrar notkunar gervigreindar í skapandi greinum, þar á meðal í tónlist og myndlist. Meðal gervigreindarkerfa hefur djúpnám (e. deep learning) nýlega rutt sér til rúms. Djúpnámslíkön einkennast af mörgum vinnslulögum sem gera þeim kleift að greina flókin tölfræðileg mynstur í miklu magni gagna. Þetta flækjustig gerir kerfin áþekk svokölluðum „svörtum kössum“, þar sem ferlin sem leiða til framsetningar efnis eru hulin. Af þessum sökum hefur útskýranleg gervigreind (e. Explainable AI, XAI) nýlega orðið áberandi rannsóknarsvið. Þó að rannsóknir á XAI beinist oft að því að opna svarta kassann, tekur þessi ritgerð aðra stefnu. Í henni er sjónum beint að skapandi og þekkingarfræðilegu gildi ógagnsærrar gervigreindar, og notar í fræðilegri nálgun til að kanna gervigreindina sjálfa. Þessi ritgerð spyr (i) hvernig innbyggt ógagnsæi djúpnámskerfa geti orðið uppspretta sköpunar, (ii) hvernig sú sýn geti stuðlað að endurmati á síbreytilegum hugmyndum um atbeina, höfundarvald og ásetning í samsköpun manns og gervigreindar, og (iii) hvernig innsýn úr listrænni iðkun geti nýst til að skilja almenn áhrif gervigreindartækni á samfélagið. Ritgerðin gerir grein fyrir tveimur nýjum viðmótum til tónlistarsköpunar (e. New Interfaces for Musical Expression, NIMEs) sem hönnuð eru til flutnings með tauganetstengdri hljóðgervingu í rauntíma (e. Neural Audio Synthesis, NAS), en sú djúpnámsaðferð hefur nýlega rutt sér til rúms vegna mikilla hljóðgæða og snerpu. Því næst eru sett fram og rædd þrjú frumsamin listaverk byggð á NAS. Þessi verk, ásamt verkum annarra listamanna, eru nýtt til að svara fyrstu rannsóknarspurningunni og sýna hvernig listamenn nýta oft ógagnsæi gervigreindar sem skapandi auðlind og varpa í auknum mæli ólíkum tegundum viðveru (e. presence) inn í hulin lög gervigreindarlíkana. Til að virkja innsýnina úr listrænni iðkun og svara annarri rannsóknarspurningunni styðst ritgerðin við kenningar vofufræðinnar (e. hauntology) og þróar fræðilegan ramma sem ég nefni vofuritun (e. hauntography). Í kjarna þessa ramma eru hugtök Fishers um hið undarlega (e. the weird) og hið óhugnanlega (e. the eerie), sem ég set fram í gegnum kenningar Derrida sem tvö samverkandi birtingarform fyrirbæra er skilja má sem vofukennd (e. spectral). Vofuritun býður þannig upp á breikkaðan orðaforða fyrir skapandi iðkun og gagnrýna greiningu fyrirbæra út frá þekkingarfræðilegri og verufræðilegri jaðarstöðu. Til að svara þriðju rannsóknarspurningunni er fræðilegi ramminn virkjaður í þemagreiningu á viðtölum við listamenn sem vinna með skapandi gervigreind og ég hef átt í samstarfi við á rannsóknartímabilinu. Þessi greining leiðir í ljós þrjár samtengdar niðurstöður. Í fyrsta lagi sýni ég hvernig listamenn meta gjarnan tónlistarviðmót byggð á gervigreind að því marki sem þau bjóða upp á undarlega og óhugnanlega sýn á þann hljóðheim sem þjálfunargögnin endurspegla. Í framhaldinu þróa ég hugtakið vofuhljómur (e. spectrophonia) til að lýsa því hvernig verk gervigreindarinnar bera með sér frestuð spor (e. deferred traces) hins upprunalega efnis, brotið niður og endurskipulagt í eitthvað annað, en þó óhugnanlega kunnuglegt. Að lokum beiti ég vofuhljómi út fyrir svið gervigreindartónlistar og ígrunda gervigreind í víðara samhengi. Með lestri á Marx að hætti vofuritunar, sem studdur er af viðtölum og listiðkun, geri ég grein fyrir gervigreind sem vofukenndum varningi. Rannsóknirnar sýna að þótt varningur hylji jafnan þau félagslegu tengsl sem hann hlutgerir, er gervigreindin ófær um það þar sem tengslin eru innbyggð í þjálfunargögnum hennar og því ávallt endurtekin í notkun.