Social Media Monitoring Teil 2: Quellen der Suche

Hintergrund

In einer Beitragsreihe in diesem Blog werden die Social Media Monitoring Tools

„Com Monitor“* von der Schweizer Firma NetBreeze* (www.netbreeze.ch)

„socialMeme“* von dem Berliner Startup Mediametrics* (www.social-meme.com)

*alles geschützte Zeichen

an Hand einiger Muster-Cases vorgestellt und verglichen. Die Aussagen beruhen auf Beispiel-Searches, die im Juli und August 2012 auf Testaccounts dieser Produkte von Vianova-Company durchgeführt wurden.

Das Ziel: Klarheit darüber gewinnen, ob eines der Produkte für die praktische Arbeit eines Social Media Verantwortlichen (intern oder extern) besonders geeignet ist und ob sich ein entsprechender Invest lohnt.

An wen richten sich diese Blog-Beiträge?
An jeden, der vor einer Kauf-Entscheidung in Sachen Social Media Monitoring steht. Auch wenn die beiden Produkte hier vielleicht gar nicht auf der Einkaufs-Shortlist stehen – interessante Anregungen für die eigene Bewertung werden sicher enthalten sein.

Im vorangegangenen Beitrag ging es um die Funktionalitäten des Search Edits, der Definition der Such-Aufträge.

In diesem Beitrag werden die Quellen der Suche beleuchtet.

Search-Sources: welche Quellen werden abgesucht?

 

Hat man einen Search definiert, dann starten Programme, z.B. sog. „Crawler“, die über die API-Schnittstelle der angezielten Quellen deren Texte, Beiträge, Posts auslesen. Hier gibt es sehr offene Plattformen (Twitter z.B.), die praktisch jeden Tweet öffentlich verfügbar machen und rigidere, die dies nur bei Zustimmung des Autors tun. Facebook zum Beispiel erlaubt aus privaten Accounts nur das Auslesen öffentlicher Beiträge. Bei Facebook Fanpages kann man alle Antworten auf Beiträge auslesen.

Sucht man also zum Beispiel nach der TV-Krimi-Serie „Tatort“ in Facebook, so kann man das entweder auf die offizielle Tatort-Seite beziehen (http://www.facebook.com/Tatort) und diese als explizite Facebook-Quelle angeben. Oder man sucht in sozialen Netzwerken nach „Tatort“ und erhält dann als Treffer u.a. Facebook-Beiträge von privaten Accounts, die für „public sharing“ markiert wurden.

Aber natürlich gibt es sehr viel mehr da draußen als Facebook und Twitter.

socialMeme bietet für die Source-Auswahl eine lange Liste unterschiedlicher Quell-Typen sowie alternativ einen dediziert ausgewählten twitter-Account oder eine Facebook (Fan)page.

Stand 15.8.2012; Quelle socialMeme by Mediametrics

Unter „Extra Sources“ unten links ist dabei ein besonderes Schmankerl versteckt: hier kann man gesprochenes Wort aus TV und Radio selektieren. socialMeme kauft dazu die digitalisierten Texte von über 100 Sendern (7×24-Scanning!) und analysiert diese dann weiter wie andere digitale Quellen. In der kostenfreien Testversion standen diese Quellen nicht zur Verfügung.

Wenn auch noch digitalisierte Print-Medien dazu kommen (geplant), hat man eine 360° Abdeckung der gesamten öffentlichen Medien-Kommunikation.

 

Bei NetBreeze ist die allgemeine Liste kürzer (Twitter, Facebook, Foren, Youtubes, News und Blogs), dafür besteht mehr Flexibilität, weitere, nicht im Standardscan enthaltene Quellen zu definieren.

Stand 15.8.2012, Quelle Com Monitor by NetBreeze

Dedizierte Facebook-Accounts oder Twitter-Accounts können ebenfalls hinzugefügt werden.

Zusammenfassend muss man sagen, dass die Source-Auswahl bei socialMeme zum einen deutlich differenzierter wirkt und zum anderen durch den Einschluss von Offline-Medien eine echte Killer-Funktionalität besitzt.

Aus diesen Gründen besteht im Prinzip in Sachen Quellen bei socialMeme ein klarer Vorsprung.

Doch das ist nur die halbe Wahrheit.

Denn beide Tools sind wenig transparent, wenn es um die exakten Quellen für die Suche geht. Hier gibt es keine Webseite, auf der alle Quellen explizit angezeigt werden. NetBreeze verweist für Foren und Blogs auf die Liste von www.boardreader.com (aber die kann man auch nicht vollständig einsehen) und für News auf news.google.com. Begründung: Relevante Quellen gibt es tausende und täglich neue hinzu, deren Audience und damit Reichweite ist sehr dynamisch, das kann man gar nicht transparent machen. Bei den Treffern könne man ja nachlesen, wo was gefunden wurde.

Stimmt, aber der besonders kritische Leser wüsste vielleicht auch gern, wo gesucht und NICHT gefunden wurde. Schließlich gibt es ja auch Medien- und Autoren-Vergleiche. „Kein Treffer bei xyz“ sollte zuverlässig bedeuten, dass da auch nichts war.

Im Zuge dieser Untersuchung konnte jedenfalls nicht geklärt werden, wie die Qualitätssicherung eigentlich erfolgt, d.h. wie die Tools sicherstellen, dass nicht Wesentliches übersehen wurde. Theoretisch könnte das ja durchaus geschehen – und die Provider dieser Tools würden es vermutlich gar nicht bemerken.

Ein Vergleich zweier formal sehr ähnlicher Searches zeigt, dass man sich einen Rest Skepsis durchaus bewahren sollte, was die Ergebnis-Qualität angeht.

Stand 17.8.12, 16:30 Uhr; Quelle NetBreeze und SocialMeme

Die Frage war schlicht: wie oft werden im Social Web (Blogs, Microblogs, Social Networks) die beiden TV-Krimiserien „Tatort“ und „Polizeiruf 110“ erwähnt?

Links die Treffer von socialMeme, rechts die von NetBreeze. Ganz offensichtlich sind die Ergebnisse nicht gleich sondern bestenfalls ähnlich: Den einsamen Tatort-Peek von NetBreeze am 12.8.12 (30 Treffer!) sucht man vergeblich bei socialMeme, ebenso wie der 23-Article-Top von socialMeme am 16.8.12 (gestern) bei NetBreeze nicht zu erkennen ist.

Wie ist das zu erklären und was bedeutet es für die Auswahl eines Tools? Hier einige Erklärungen (eine vollständige Durchdringung und Aufklärung dieser Effekte wäre ein hervorragendes Thema für eine Master-These):

  • Die Suchalgorithmen und Crawler müssen sich durch Millionen von Seiten und Blogs und Tweets etc. arbeiten, das dauert. Wenn man einen Search definiert, stellen sich die ersten Ergebnisse nach 5-6 Stunden ein. Unterschiedliche Abarbeitungsreihenfolgen und Geschwindigkeiten können bei einzelnen Beiträgen zu „Abgrenzungs-Differenzen“ führen: So kann es in Einzelfällen geschehen, dass ein Beitrag von Tool A dem 15.8. und von Tool B schon dem 16.8. zugerechnet wird.
  • Obwohl identische Search-Bedingungen hier die essentielle Vergleichs-Voraussetzung waren, haben die Tools das (in kleinem Umfang) verhindert. Bei NetBreeze ist die Anzahl der „Inklusion“-Begriffe auf 6 begrenzt, für die hier verwendeten 9 musste eine zweite AND-Bedingung angefügt werden. Das sollte eigentlich keine Auswirkungen haben, hatte es aber möglicherweise doch.
  • Die Liste der Blogs etc. die abgesucht wird, ist eben de facto nicht identisch und so weichen auch die Ergebnismengen von einander ab.

Für den potenziellen Tool-Käufer bedeutet das:

  • Sehr genau spezifizieren, welche Quellen für die konkreten Aufgaben wichtig sind und mit dem Lieferanten prüfen, in wieweit dieses Zielfeld abgedeckt wird
  • Mustersearches durchführen und die Trefferlisten auf Fehler absuchen, auf Artikel etc., die die Suchbedingungen nicht erfüllen. Eigentlich sind viele Treffer ja ein gutes Zeichen, aber das gilt nur, wenn sie auch zum Suchmuster passen. In unserem konkreten Fall hier konnten wir keine „Kuckucks-Treffer“  erkennen.
  • Gelegentlich einen kostenfreien Testaccount nutzen und damit Kalibrierungs-Searches (so wie diesen hier) durchführen. Den Lieferanten kann man dann zu möglichen Abweichungen befragen. Er wird in der Regel selbst ein Interesse an möglichst präzisen Treffermengen haben.

Im vorliegenden Vergleichsfall scheinen die Ergebnismengen von socialMeme insgesamt vollständiger zu sein, so dass diese Anwendung auch hier einen Vorsprung hat.

Es wäre schön, wenn z.B. Vertreter der Firmen über Kommentare zu diesem Beitrag weitere Erläuterungen geben könnten, so dass der Vergleich vielleicht sogar nochmal in einem neuen Licht erscheint.

Im nächsten Beitrag geht es um die Frage: Wie werden die gefundenen Ergebnisse klassifiziert und bewertet. Welchen Support bieten die Anwendungen selbst und wie zuverlässig funktioniert das?

Stay tuned!

Hinterlasse einen Kommentar