Maskininlärning i materialfysiken

Härom veckan läste jag ett teknikoptimistiskt blogginlägg på temat maskininlärning av den amerikanske skeptikern Steven Novella. Han skrev bland annat om en amerikansk forskargrupp som lärt ett neuralt nätverk bestämma egenskaper hos dopat grafén, alltså grafén där några av kolatomerna är utbytta mot andra ämnen, utifrån placeringen på dopatomerna. Novella valde att framställa det som att det neurala nätverket utförde decennier av forskning inom loppet av några dagar och skulle kunna ge oss praktiska tillämpningar av grafén betydligt tidigare än om man inte använt maskininlärning.

Naturligtvis var jag tvungen att leta rätt på artikeln och ta reda på vad forskargruppen egentligen hade gjort.

Själva forskningsfrågan
 
Artikeln i fråga är publicerad i npj Computational Materials (den är för övrigt tillgänglig gratis) och enligt titeln handlar den om att förutsäga storleken på det så kallade bandgapet i material som består av en kombination av grafén och bornitrid. Bornitrid är ett material som består av två sorters atomer, bor och kväve, som sitter ihop i ett hexagonalt mönster precis som kolatomerna i grafén. Bornitrid kan också precis som grafén förekomma som ett enda supertunt lager av atomer. De här likheterna mellan de båda materialen är en av anledningarna till att man försöker kombinera dem.

Den andra anledningen är att medan grafén leder elektrisk ström väldigt väl är det svårt att få bornitrid att leda någon ström alls. Den här skillnaden kommer sig av att det krävs rätt lite energi för att få elektronerna i grafén att börja flytta på sig, medan elektronerna i bornitrid behöver ett stort energitillskott för att kunna röra sig alls. Det här energitillskottet som krävs för att elektronerna ska kunna röra sig kallas också bandgap, eftersom det motsvarar ett 'gap' i energi mellan olika tillstånd som elektronerna kan befinna sig i. Grafén har alltså ett extremt litet bandgap, bornitrid ett stort bandgap. Genom att kombinera de två materialen vill man skapa ett hybridmaterial med ett lagom stort bandgap, som man sedan kan använda i t.ex. elektronik.

Emellertid har det visat sig att man inte bara kan ersätta några kolatomer med bor och kväve hur som helst. Hur bor- och kväveatomerna är placerade i förhållande till varandra spelar roll för hur stort bandgapet blir. Vad den amerikanska forskargruppen försökt göra är att förutsäga hur stort bandgapet blir baserat på placeringen av bor- och kväveatomer med hjälp av artificiella neurala nätverk, mer specifikt så kallade CNN (convolutional neural networks - man skulle kunna kalla dem faltningsnätverk på svenska men det skulle antagligen inte göra dem lättare att förstå).

De neurala nätverken
 
CNN är en typ av neurala nätverk som tagits fram för att plocka ut karaktäristiska drag ur bilder och sedan klassificera bilderna utifrån dem - de är till exempel användbara för ansiktsigenkänning och när självkörande bilar ska se skillnad på en fotgängare och en vägskylt. Den grundläggande principen i ett CNN kan liknas vid att jämföra små områden i en bild med mindre, enklare bilder och ge en positiv respons om de liknar varandra. Om du till exempel har en bild av ett hus och den mindre bilden innehåller ett lodrätt streck så kan du få en positiv respons när du kommer till hörnen, fönstren eller dörren eftersom de alla innehåller raka, lodräta partier. I ett CNN måste man dock represenera båda bilderna som matriser av tal, och man har flera 'lager' där resultatet av en jämförelse i sin tur jämförs med fler matriser (detta behövs för att man ska kunna känna igen mer komplicerade former i en bild, t.ex. ansiktsdrag).

För att kunna använda CNN till grafénproblemet ovan valde forskarna att använda datormodeller där par av olika atomer representeras av siffror. När de introducerar bor- och kväveatomer i grafén sitter de ofta i par, med en bor och en kväve bredvid varandra. Detta gör det möjligt att låta ett bor-kvävepar motsvaras av en etta och de vanliga kol-kolparen av nollor, för att på så sätt göra en 'bild' som olika typer av CNN kan hantera. De konstruerade också sina nätverk till att ge storleken på bandgapet som utdata.

Neurala nätverk behöver tränas med relevant data för att funka, vilket oftast innebär att automatiskt jämföra nätverkets utdata med det önskade resultatet, räkna ut avvikelsen och med hjälp av den justera det neurala nätverket till att ge ett bättre svar. För att kunna träna sina neurala nätverk genererade forskarna därför flera tusen möjliga konfigurationer i form av datormodeller och räknade ut bandgapet för varje konfiguration med hjälp av simuleringar. De färdigtränade nätverken användes sedan för att förutsäga bandgapet för ytterligare ett antal konfigurationer som man visste det beräknade bandgapet för men som inte användes i träningen. Resultaten visade sig vara mycket lovande.

Vad man lär sig av detta
 
Så vad blir effekten av den här forskningsstudien? Man har lyckats visa att det går att förutsäga vissa egenskaper hos material med hjälp av neurala nätverk, vilket borde innebära att de som forskar på grafén och andra tvådimensionella material får ytterligare ett verktyg som de kan använda i sin forskning. Det är fortfarande en lång väg från den här studien till elektronik baserad på grafén och bornitrid, men eventuellt kan den göra det enklare att veta vad som är rätt material att satsa på.

En annan intressant sak med den här studien är vad den mellan raderna säger om maskininlärningens begränsningar. För att det alls ska fungera behöver de neurala nätverken få all relevant data i en form som kan behandlas, vilket innebär att det krävs mycket kunskap om grafén och bornitrid för att ens formulera problemet på ett sätt som kan angripas med neurala nätverk. I den här studien har forskarna t.ex. fokuserat helt på var par av bor och kväve befinner sig i förhållade till varandra och skalat bort alla andra drag hos materialet, antagligen baserat på vad man redan vet om de här materialen. 

En annan och rätt välkänd begränsning hos neurala nätverk är att det är svårt att förstå varför de fungerar som de gör, ens när de ger bra resultat. I en sådan här studie hade det varit väldigt intressant att se vad som är gemensamt för konfigurationer som ger lågt respektive högt bandgap, men det är inte information man enkelt kan få från det neurala nätverket och artikelförfattarna verkar inte ha gjort någon ansats att försöka. Jag misstänker starkt att en metod för att förstå vad som händer inne i nätverken är nödvändig om den här typen av studier ska kunna hjälpa oss att förstå materialen man studerar.

Som ni kanske förstår håller jag inte med Steven Novella om att denna enda och egentligen rätt begränsade studie motsvarar decennier av forskning och i sig tar oss betydligt närmre grafén-elektronik, men resultaten i den är ändå intressanta som ett exempel på hur neurala nätverk kan användas inom materialfysiken.