VideoUrls der Streams aus Soundcloud extrahieren

Hey,

ich bin dabei mir ein kleines Programm zu erstellen, welches mir etwas Arbeit abnehmen soll. Ich möchte die Video-URLs der Streams auf der Seite StreamCloud aus dem dem Sourcecode extrahieren. Bisher hab ich das immer manuell gemacht, indem ich mir über den Browser den Seitenquelltext angezeigt habe und dort die URL rausgenommen hab. Möchte ich mithilfe von C# den Seitenquelltext einer Seite laden funktioniert das nicht ganz so gut, denn ich bekomme nicht den selben Code.

Mein URL ziehe ich aus diesem Code-Block

jwplayer("mediaplayer").setup({
    provider: "http",
    flashplayer: "http://streamcloud.eu/player/player.swf",
    file: "XXXXX.mp4",
    image: "XXXXX.jpg",
    height: 537,
    width: 900,
    abouttext: "Help",
    aboutlink: "XXXXX",
    startparam: "start",    
});

wenn ich mir mithilfe von C# den Code lade werden einige Javascript Elemente einfach nicht beachtet bzw. sind nicht im String enthalten. Andere Javascript abschnitte sind wiederum da. Ich habe den Vorgang bereits auf verschiedenen Wegen probiert aber es hat nie funktioniert. Es kam immer der selbe Sourcecode dabei raus.

Ich hoffe Ihr könnte mir helfen
Mit freundlichen Grüßen
Dennis

Schon die Forensuche benutzt? Müsstest Du eigentlich, denn Du wurdest vor dem Erstellen dieses Threads nochmals explizit danach gefragt.
Das Thema wurde schon gefühlt 1000 mal hier im Forum behandelt 😉

Ja ich hab schon nachgeschaut. Nur beziehen sich die Probleme dann hauptsächlich auf das Senden von Daten an einen Webserver. Bei Themen wo es ums herunterladen von Seitenquelltext geht habe ich niemanden gefunden mit dem selben Problem.

Ich habe bereits vorher schon im WWW nachgeschaut, da kommen aber immer die selben Ratschläge. Entweder ganz normal über WebClient oder WebRequest (was nicht funktioniert) oder über den WebBrowser mithilfe von DocumentCompleted. Aber das liefert das selbe Ergebnis wie die ersten beiden Möglichkeiten.

Zu aller erst: was Du vor hast, verbietet SoundCloud.

Es kann sein, dass sie Methoden haben, um solche Versuche zu unterbinden.
Identisches Problem, andere Seite: HTML.Datei wird nicht komplett eingelesen

Ansonsten inhaltlich

HTML Code auslesen
WebBrowser JavaScript
WebClient DownloadString mit dem Download warten?
Daten von Webseiten auslesen, wenn diese per Javascript angezeigt werden

Du musst analysieren, wie der DOM zustande kommt.

Da es wie gesagt durch die SoundCloud Regeln verboten ist, was Du willst, kann ich Dir nicht mehr helfen.

SoundCloud hat aber eine API, vielleicht findest du dort eine Lösung für dein Problem: HTTP API Guide

Was wollt ihr eigentlich die ganze Zeit mit Soundcloud? Der Mann will nur die Videos von StreamCloud direkt speichern...ich denke nicht, dass das ein Anwendungsbereich ist, wo er hier auf Hilfe bauen sollte.

Da StreamCloud pro Views bezahlt bleibt trotzdem die Frage offen, was der Threadersteller wirklich tun will.
Denn sein Vorhaben kann für den Missbrauch der Seite genutzt werden.