VBA Web Scraping - Wie verschrotte ich Websites mit Excel VBA?

Inhaltsverzeichnis

Excel VBA Web Scraping

VBA Web Scraping ist eine Technik zum Zugreifen auf Webseiten und zum Herunterladen der Daten von dieser Website auf unsere Computerdateien. Web-Scraping ist durch Zugriff auf externe Anwendungen wie Internet Explorer möglich. Wir können dies auf zwei Arten tun, dh Frühbindung und Spätbindung.

Web Scraping mit VBA bedeutet, dass bei Verwendung von VBA zum Abrufen der Daten aus den anderen Quellen im Web möglicherweise Anmeldungen für die Datenquellen erforderlich sind. Dazu müssen jedoch zunächst die Verweise aus dem Abschnitt Tools in aktiviert werden den VBA-Editor für die Microsoft HTML-Bibliothek, um von VBA aus auf das Web zuzugreifen.

Nicht viele von uns wissen, dass wir von Excel aus auf die Webseiten zugreifen und die Daten von diesen Webseiten abrufen können. Ja, du hast es richtig gehört. Wir können Webseiten durchsuchen, auf Browseranwendungen zugreifen und vieles mehr. In diesem Artikel zeigen wir Ihnen detailliert, wie Sie einen Excel-VBA-Code für das Web-Scraping schreiben.

Normalerweise öffnen wir die Webseiten, kopieren die Daten und fügen sie in unsere Dateien wie Excel, Word oder einige andere Dateien ein. In diesem Artikel zeigen wir Ihnen jedoch, wie Sie von Excel aus auf Websites zugreifen und viele andere Dinge tun können.

Wie werden Website-Daten mit VBA verschrottet?

Wenn wir von Excel aus auf andere Anwendungen zugreifen möchten, können wir dies auf folgende Weise tun, z. B. "Frühbindung" und "Spätbindung". In der Anfängerphase ist es immer sicher, die „Early Binding“ -Technik anzuwenden.

Für den Zugriff auf die Website benötigen wir Browseranwendungen, z. B. " Internet Explorer ". Da es sich um ein externes Objekt handelt, müssen wir zuerst die Referenz festlegen.

Befolgen Sie die folgenden Schritte, um Web Scrap.

Schritt 1: Definieren Sie die VBA-Variable und weisen Sie den Datentyp " Internet Explorer " zu.

Code:

Sub Web_Scraping () Dim Internet_Explorer As Internet End Sub

Wie Sie oben sehen können, wird beim Versuch, den Verweis auf Internet Explorer festzulegen, "Internet Explorer" nicht angezeigt. Dies liegt daran, dass "Internet Explorer" ein externes Objekt ist und wir den Verweis festlegen müssen.

Schritt 2: Um die Referenz festzulegen, gehen Sie zu " Extras " und wählen Sie " Referenzen ".

Scrollen Sie im folgenden Fenster nach unten und wählen Sie " Microsoft Internet Controls ".

Schritt 3: Aktivieren Sie das Kontrollkästchen "Microsoft Internet Controls" und klicken Sie auf "OK". Jetzt sollten wir diesen Objektnamen in der IntelliSense-Liste sehen.

Code:

Sub Web_Scraping () Dim Internet_Explorer As inter End Sub

Schritt 4: Wählen Sie "InternetExplorer".

Code:

Sub Web_Scraping () Dim Internet_Explorer As InternetExplorer End Sub

Schritt 5: Als nächstes müssen wir die Referenz festlegen, um Internet Explorer zu aktivieren. Da dies eine Objektvariable ist, müssen wir das Schlüsselwort " Set " verwenden, um die Referenzen festzulegen.

Code:

Sub Web_Scraping () Internet_Explorer als InternetExplorer dimmen Setzen Sie Internet_Explorer = New InternetExplorer End Sub

Schritt 6: Mit der Variablen " Internet_Explorer " können wir nun die Eigenschaften und Methoden des Internet Explorers verwenden.

Geben Sie den Variablennamen ein und setzen Sie einen Punkt, um die IntelliSense-Liste anzuzeigen.

Code:

Sub Web_Scraping () Internet_Explorer als InternetExplorer dimmen Setzen Sie Internet_Explorer = Neuer InternetExplorer Internet_Explorer. End Sub

Schritt 7: Um die Internet Explorer-Anwendung anzuzeigen, müssen Sie die Eigenschaft " Sichtbar " auswählen und den Status " Wahr " festlegen .

Code:

Sub Web_Scraping () Internet_Explorer als InternetExplorer dimmen Set Internet_Explorer = New InternetExplorer Internet_Explorer.Visible = True End Sub

Führen Sie nun den Code aus, und Sie sollten sehen, dass ein Internet Explorer auf Ihrem Computer geöffnet wird.

Schritt 8: Da keine Webadresse angegeben wurde, wird nur eine leere Seite angezeigt. Um dem Internet Explorer die Webadresse zu geben, müssen wir die Navigationsmethode verwenden.

Code:

Sub Web_Scraping () Internet_Explorer als InternetExplorer dimmen Set Internet_Explorer = New InternetExplorer Internet_Explorer.Visible = True Internet_Explorer.Navigate (End Sub

Step 9: As you can see above “Navigation” method asking which URL to be navigated in internet explorer. Now I need to open the website “Wallstreetnmojo,” and I can give the URL address as follows. “https://www.wallstreetmojo.com/”

Code:

Sub Web_Scraping() Dim Internet_Explorer As InternetExplorer Set Internet_Explorer = New InternetExplorer Internet_Explorer.Visible = True Internet_Explorer.Navigate ("https://www.wallstreetmojo.com") End Sub

Now run the code, we should see the mentioned web address page in internet explorer.

Here we have a problem that once the web page is opened, our code needs to wait until the page web page fully opened.

Step 10: We need to use the “Do While” loop in VBA to actually wait for our code to go any further until the mentioned page is fully loaded.

So, add below the “Do While” loop to force the macro to wait until the mentioned web page comes to the “Ready State Complete” mode.

Code:

Sub Web_Scraping() Dim Internet_Explorer As InternetExplorer Set Internet_Explorer = New InternetExplorer Internet_Explorer.Visible = True Internet_Explorer.Navigate ("https://www.wallstreetmojo.com") Do While Internet_Explorer.ReadyState READYSTATE_COMPLETE: Loop End Sub

Step 11: Now, let’s try to get information about the website in a single line. To get the information about the mentioned web address information, we need to use the “Location Name” property.

Code:

Sub Web_Scraping() Dim Internet_Explorer As InternetExplorer Set Internet_Explorer = New InternetExplorer Internet_Explorer.Visible = True Internet_Explorer.Navigate ("https://www.wallstreetmojo.com") Do While Internet_Explorer.ReadyState READYSTATE_COMPLETE: Loop MsgBox Internet_Explorer.LocationName End Sub

Run the code, and in the message box, we would get the information about the website.

Step 12: Now, at the bottom, we can also print website addresses as well.

Code:

Sub Web_Scraping () Dim Internet_Explorer As InternetExplorer Set Internet_Explorer = New InternetExplorer Internet_Explorer.Visible = True Internet_Explorer.Navigate ("https://www.wallstreetmojo.com") Do While Internet_Explorer.ReadyState READYSTATE_COMPLETB & Internet_Explorer.LocationURL End Sub

Dies wird nun über die Website-Beschreibung berichten und zeigt auch die Website-Adresse.

Dinge, an die man sich hier erinnern sollte

  • Web-Scraping ist durch Zugriff auf externe Anwendungen wie Internet Explorer möglich.
  • Wir können dies auf zwei Arten tun, nämlich Frühbindung und Spätbindung. Mit der frühen Bindung können wir die IntelliSense-Liste sehen, aber mit der späten Bindung können wir die IntelliSense-Liste überhaupt nicht sehen.

Interessante Beiträge...