Deze open-source AI-tool isoleert snel de zang in elk nummer

Perfect voor het maken van karaoke-backingtracks en mashups

Lollapalooza-festival 2019 Foto door Gregor Fischer/fotoalliantie via Getty Images

Het splitsen van een nummer in afzonderlijke zang en instrumenten is altijd een probleem geweest voor producers, dj's en iedereen die met geïsoleerde audio wil spelen. Er zijnveel manierenom het te doen, maar het proces kan tijdrovend zijn en de resultaten zijn vaak onvolmaakt. Een nieuwe open-source AI-tool maakt deze lastige taak sneller en gemakkelijker.



De software heet Spleter en is ontwikkeld door muziekstreamingdienst Deezer voor onderzoeksdoeleinden. Gisteren bracht het bedrijf het uit als eenopen source pakket, zet de code opGithubvoor iedereen om te downloaden en te gebruiken. Voer Spleeter gewoon een audiobestand in en het spleets splitst het in twee, vier of vijf afzonderlijke audiotracks die bekend staan ​​​​als stengels. De resultaten zijn niet perfect, maar ze zijn bij uitstek bruikbaar en Spleeter zelf is erg snel. Wanneer het op een speciale GPU draait, kan het audiobestanden 100 keer sneller dan realtime in vier stammen splitsen.



Hieronder kun je een voorbeeld beluisteren van de software die werkt aan David Bowie's Changes. Er zijn een paar audio-artefacten in zowel de vocale-only als de band-only stengels, maar de algehele resultaten zijn fantastisch. En als Bowie niet jouw ding is, hier isnog een Spleeter-voorbeeldvoor die tijdloze ballade van liefde en verlies: Scatman (Ski-Ba-Bop-Ba-Dop-Bop).

Technoloog Andy Baio schreef een uitstekendeblogpostover Spleeter met veel van zijn eigen voorbeelden. Baio zegt dat de geïsoleerde zang die door de software wordt geproduceerd soms een robotachtig autotuned-gevoel krijgt, maar de hoeveelheid bloeding is schokkend laag in vergelijking met andere oplossingen. Je kunt hieronder luisteren naar een voorbeeld gegenereerd door Baio met Spleeter die draait op I Heard It Through the Grapevine van Marvin Gaye. (Maar klik zeker door naar zijn originele bericht als je meer geïsoleerde vocale nummers van Lil Nas X, Lizzo, Led Zeppelin en anderen wilt horen.)



samen spelen op afstand via steam
Marvin Gaye - Ik hoorde het door de wijnstok

Marvin Gaye (alleen zang)

vuur embleem ios

Marvin Gaye (alleen muziek)

Baio wijst erop dat Spleeter ook erg handig zal zijn voor iedereen die mashups wil maken, aangezien hij zichzelf demonstreert met een onheilige unie van deVriendenthemamelodie (I'll Be There for You van de Rembrandts) met de tekst van Billy Joel's We Didn't Start the Fire.



Deze tool lijkt buitengewoon capabel, maar wees gewaarschuwd: je hebt wat technische expertise nodig om hem te gebruiken. Tenzij je regelmatig speelt met software zoals Python of Google's AI-toolkit TensorFlow (die werd gebruikt om Spleeter te trainen), moet je een paar programma's downloaden om alles aan de gang te krijgen.Enje zult je comfortabel moeten voelen bij het gebruik van een opdrachtregelinvoer (zij het een heel eenvoudige) in plaats van een meer toegankelijke visuele interface.

Deezer merkt op dat dit niet de eerste keer is dat mensen machine learning hebben gebruikt om deze taak te automatiseren, en dat de prestaties van het bedrijf zijn gebaseerd op veel eerder onderzoek. Spreken metDe randvia e-mail, zegt Aurelien Herault, Chief Data and Research Officer van Deezer, dat het bedrijf zijn software heeft getraind op 20.000 muziektracks met vooraf geïsoleerde zang in verschillende genres. Uit deze informatie leerde de software hoe de sporen zelf te isoleren.

Al met al is Spleeter weer een fantastisch voorbeeld van hoe AI-tools onhandige stukjes creatief werk eenvoudiger kunnen maken. Machine learning wordt momenteel gebruikt om een ​​reeks tijdrovende taken te automatiseren, van:achtergronden op afbeeldingen verwijderentot het opschalen van texturen in oude videogames. En steeds vaker worden deze tools opgenomen in consumentensoftware, van Adobe's Photoshop tot nieuwe concurrenten zoals Runway ML .

mensen amazon prime

Deezer zegt dat het geen plannen heeft om van Spleter een consumententool te maken, maar anderen zouden hun werk kunnen overnemen en er een eenvoudige interface op kunnen plakken. De voor de hand liggende toepassingen zijn voor DJ's en producers die geïsoleerde zang in mixen willen integreren, of voor mensen die zelfgemaakte karaoke-backingtracks willen maken. (Dergelijke activiteiten zijn mogelijk niet in overeenstemming met de auteursrechtwetgeving, afhankelijk van hoe het eindproduct wordt gedistribueerd.)

Deezer gebruikt Spleeter zelf voor een reeks onderzoekstoepassingen die zijn streamingdienst helpen verbeteren. Intern gebruiken we het als een pre-processing tool voor complexe onderzoekstaken zoals muziekcategorisatie, transcriptie en taaldetectie, zegt Herault.

Of je kunt het natuurlijk gewoon gebruiken om de Scatman beter onder de knie te krijgen. Ski-bi dibby dib yo da dub dub.