Mord und Totschlag am Wegesrand

Eigentlich prüfe ich gerade, was das Social Media Monitoring Tool talkwalker so kann – und bin recht angetan. Nächste Woche werde ich dazu genauer berichten. Heute zum Wochenausklang ist das Thema etwas lockerer.

Als Test-Szenario nehme ich gern deutsche Krimiserien, vorzugsweise Tatort – an irgendwas muss man ja die Funktionalitäten ausprobieren. Und Kunden-Themen sind ungeeignet, wenn man darüber auch noch schreiben will.

Also diesmal „Tatort“ und „Polizeiruf 110“: Was hat die deutschsprechende Community denn im Oktober 2012 dazu so alles gesagt?

weiterlesenMord und Totschlag am Wegesrand

Social Media Monitoring Teil 2: Quellen der Suche

Hintergrund

In einer Beitragsreihe in diesem Blog werden die Social Media Monitoring Tools

„Com Monitor“* von der Schweizer Firma NetBreeze* (www.netbreeze.ch)

„socialMeme“* von dem Berliner Startup Mediametrics* (www.social-meme.com)

*alles geschützte Zeichen

an Hand einiger Muster-Cases vorgestellt und verglichen. Die Aussagen beruhen auf Beispiel-Searches, die im Juli und August 2012 auf Testaccounts dieser Produkte von Vianova-Company durchgeführt wurden.

Das Ziel: Klarheit darüber gewinnen, ob eines der Produkte für die praktische Arbeit eines Social Media Verantwortlichen (intern oder extern) besonders geeignet ist und ob sich ein entsprechender Invest lohnt.

An wen richten sich diese Blog-Beiträge?
An jeden, der vor einer Kauf-Entscheidung in Sachen Social Media Monitoring steht. Auch wenn die beiden Produkte hier vielleicht gar nicht auf der Einkaufs-Shortlist stehen – interessante Anregungen für die eigene Bewertung werden sicher enthalten sein.

Im vorangegangenen Beitrag ging es um die Funktionalitäten des Search Edits, der Definition der Such-Aufträge.

In diesem Beitrag werden die Quellen der Suche beleuchtet.

Search-Sources: welche Quellen werden abgesucht?

 

Hat man einen Search definiert, dann starten Programme, z.B. sog. „Crawler“, die über die API-Schnittstelle der angezielten Quellen deren Texte, Beiträge, Posts auslesen. Hier gibt es sehr offene Plattformen (Twitter z.B.), die praktisch jeden Tweet öffentlich verfügbar machen und rigidere, die dies nur bei Zustimmung des Autors tun. Facebook zum Beispiel erlaubt aus privaten Accounts nur das Auslesen öffentlicher Beiträge. Bei Facebook Fanpages kann man alle Antworten auf Beiträge auslesen.

Sucht man also zum Beispiel nach der TV-Krimi-Serie „Tatort“ in Facebook, so kann man das entweder auf die offizielle Tatort-Seite beziehen (http://www.facebook.com/Tatort) und diese als explizite Facebook-Quelle angeben. Oder man sucht in sozialen Netzwerken nach „Tatort“ und erhält dann als Treffer u.a. Facebook-Beiträge von privaten Accounts, die für „public sharing“ markiert wurden.

Aber natürlich gibt es sehr viel mehr da draußen als Facebook und Twitter.

socialMeme bietet für die Source-Auswahl eine lange Liste unterschiedlicher Quell-Typen sowie alternativ einen dediziert ausgewählten twitter-Account oder eine Facebook (Fan)page.

Stand 15.8.2012; Quelle socialMeme by Mediametrics

Unter „Extra Sources“ unten links ist dabei ein besonderes Schmankerl versteckt: hier kann man gesprochenes Wort aus TV und Radio selektieren. socialMeme kauft dazu die digitalisierten Texte von über 100 Sendern (7×24-Scanning!) und analysiert diese dann weiter wie andere digitale Quellen. In der kostenfreien Testversion standen diese Quellen nicht zur Verfügung.

Wenn auch noch digitalisierte Print-Medien dazu kommen (geplant), hat man eine 360° Abdeckung der gesamten öffentlichen Medien-Kommunikation.

 

Bei NetBreeze ist die allgemeine Liste kürzer (Twitter, Facebook, Foren, Youtubes, News und Blogs), dafür besteht mehr Flexibilität, weitere, nicht im Standardscan enthaltene Quellen zu definieren.

Stand 15.8.2012, Quelle Com Monitor by NetBreeze

Dedizierte Facebook-Accounts oder Twitter-Accounts können ebenfalls hinzugefügt werden.

Zusammenfassend muss man sagen, dass die Source-Auswahl bei socialMeme zum einen deutlich differenzierter wirkt und zum anderen durch den Einschluss von Offline-Medien eine echte Killer-Funktionalität besitzt.

Aus diesen Gründen besteht im Prinzip in Sachen Quellen bei socialMeme ein klarer Vorsprung.

Doch das ist nur die halbe Wahrheit.

Denn beide Tools sind wenig transparent, wenn es um die exakten Quellen für die Suche geht. Hier gibt es keine Webseite, auf der alle Quellen explizit angezeigt werden. NetBreeze verweist für Foren und Blogs auf die Liste von www.boardreader.com (aber die kann man auch nicht vollständig einsehen) und für News auf news.google.com. Begründung: Relevante Quellen gibt es tausende und täglich neue hinzu, deren Audience und damit Reichweite ist sehr dynamisch, das kann man gar nicht transparent machen. Bei den Treffern könne man ja nachlesen, wo was gefunden wurde.

Stimmt, aber der besonders kritische Leser wüsste vielleicht auch gern, wo gesucht und NICHT gefunden wurde. Schließlich gibt es ja auch Medien- und Autoren-Vergleiche. „Kein Treffer bei xyz“ sollte zuverlässig bedeuten, dass da auch nichts war.

Im Zuge dieser Untersuchung konnte jedenfalls nicht geklärt werden, wie die Qualitätssicherung eigentlich erfolgt, d.h. wie die Tools sicherstellen, dass nicht Wesentliches übersehen wurde. Theoretisch könnte das ja durchaus geschehen – und die Provider dieser Tools würden es vermutlich gar nicht bemerken.

Ein Vergleich zweier formal sehr ähnlicher Searches zeigt, dass man sich einen Rest Skepsis durchaus bewahren sollte, was die Ergebnis-Qualität angeht.

Stand 17.8.12, 16:30 Uhr; Quelle NetBreeze und SocialMeme

Die Frage war schlicht: wie oft werden im Social Web (Blogs, Microblogs, Social Networks) die beiden TV-Krimiserien „Tatort“ und „Polizeiruf 110“ erwähnt?

Links die Treffer von socialMeme, rechts die von NetBreeze. Ganz offensichtlich sind die Ergebnisse nicht gleich sondern bestenfalls ähnlich: Den einsamen Tatort-Peek von NetBreeze am 12.8.12 (30 Treffer!) sucht man vergeblich bei socialMeme, ebenso wie der 23-Article-Top von socialMeme am 16.8.12 (gestern) bei NetBreeze nicht zu erkennen ist.

Wie ist das zu erklären und was bedeutet es für die Auswahl eines Tools? Hier einige Erklärungen (eine vollständige Durchdringung und Aufklärung dieser Effekte wäre ein hervorragendes Thema für eine Master-These):

  • Die Suchalgorithmen und Crawler müssen sich durch Millionen von Seiten und Blogs und Tweets etc. arbeiten, das dauert. Wenn man einen Search definiert, stellen sich die ersten Ergebnisse nach 5-6 Stunden ein. Unterschiedliche Abarbeitungsreihenfolgen und Geschwindigkeiten können bei einzelnen Beiträgen zu „Abgrenzungs-Differenzen“ führen: So kann es in Einzelfällen geschehen, dass ein Beitrag von Tool A dem 15.8. und von Tool B schon dem 16.8. zugerechnet wird.
  • Obwohl identische Search-Bedingungen hier die essentielle Vergleichs-Voraussetzung waren, haben die Tools das (in kleinem Umfang) verhindert. Bei NetBreeze ist die Anzahl der „Inklusion“-Begriffe auf 6 begrenzt, für die hier verwendeten 9 musste eine zweite AND-Bedingung angefügt werden. Das sollte eigentlich keine Auswirkungen haben, hatte es aber möglicherweise doch.
  • Die Liste der Blogs etc. die abgesucht wird, ist eben de facto nicht identisch und so weichen auch die Ergebnismengen von einander ab.

Für den potenziellen Tool-Käufer bedeutet das:

  • Sehr genau spezifizieren, welche Quellen für die konkreten Aufgaben wichtig sind und mit dem Lieferanten prüfen, in wieweit dieses Zielfeld abgedeckt wird
  • Mustersearches durchführen und die Trefferlisten auf Fehler absuchen, auf Artikel etc., die die Suchbedingungen nicht erfüllen. Eigentlich sind viele Treffer ja ein gutes Zeichen, aber das gilt nur, wenn sie auch zum Suchmuster passen. In unserem konkreten Fall hier konnten wir keine „Kuckucks-Treffer“  erkennen.
  • Gelegentlich einen kostenfreien Testaccount nutzen und damit Kalibrierungs-Searches (so wie diesen hier) durchführen. Den Lieferanten kann man dann zu möglichen Abweichungen befragen. Er wird in der Regel selbst ein Interesse an möglichst präzisen Treffermengen haben.

Im vorliegenden Vergleichsfall scheinen die Ergebnismengen von socialMeme insgesamt vollständiger zu sein, so dass diese Anwendung auch hier einen Vorsprung hat.

Es wäre schön, wenn z.B. Vertreter der Firmen über Kommentare zu diesem Beitrag weitere Erläuterungen geben könnten, so dass der Vergleich vielleicht sogar nochmal in einem neuen Licht erscheint.

Im nächsten Beitrag geht es um die Frage: Wie werden die gefundenen Ergebnisse klassifiziert und bewertet. Welchen Support bieten die Anwendungen selbst und wie zuverlässig funktioniert das?

Stay tuned!

Social Media Monitoring Teil 1: Search Edit

Einführung

 

In Sachen Social Media Monitoring („SMM“ im Weiteren) werden heute viele Tools angeboten, einige gratis, die meisten kostenpflichtig. Viele dieser Tools stammen aus dem angelsächsischen Raum, meist aus den USA. Wir werden uns hier auf Produkte aus dem deutschsprachigen Raum konzentrieren. Warum?

Es geht bei SMM primär um Sprache, um Fragen wie: Wie oft wird welches Wort oder welche Phrase in welchem Kontext erwähnt und mit welchem „Sentiment“, d.h. positiv-lobend, negativ-kritisch oder neutral? Gerade dieses „Sentiment“ ist immer noch eine linguistische Herausforderung, Lösungsansätze zur automatischen Erkennung sind von Sprachraum zu Sprachraum sehr unterschiedlich zuverlässig. Stark idiomatische Sprachen erfordern z.B. andere Ansätze als solche, in denen viele mundartliche Besonderheiten auftreten.

Für Analysen im deutschen Sprachraum scheinen darum solche Tools besonders geeignet, die selbst aus dem deutschen Sprachraum stammen. So vermeidet man unscharfe Analogien aus zu direkten Übersetzungen. Oder etwas polemisch gesagt: „American tools can handle any language perfectly as long as it is English!“

Es wurden 3 Tools ausgewählt, die für einen ausführlicheren Vergleich interessant aussahen:

  • „Com Monitor“* von der Schweizer Firma Netbreeze* (www.netbreeze.ch)
  • „socialMeme“* von dem Berliner Startup Mediametrics* (www.social-meme.com)
  • „Web2.0 Observer“* von der Frankfurter Firma cogia intelligence* (www.cogia.com)

*alles geschützte Zeichen

Die Analyse wurde im Juli und August 2012 durchgeführt von Vianova-Company, Marketing- und Sales Engineers mit klarem Fokus auf Social Media Consultancy.

Von allen 3 SaaS-Produkten gab es einen kostenfreien Testaccount sowie ein Einführungs-Webinar. Der Testzugang von Cogia hatte aber nur fest eingestellte Searches auf eine vorselektierte Branche, wirklich ausprobieren konnte man damit wenig. Darum reduzierte sich die Auswahl wieder auf 2.
Denn es sollten die Tools an ernsthaften Anwendungsfällen ausprobiert und auch miteinander verglichen werden: wer findet was?

 

Das Ziel: Klarheit darüber gewinnen, ob eines der Produkte für die praktische Arbeit eines externen Social Media Consultants oder eines internen Social Media Verantwortlichen besonders geeignet ist und ob es sich lohnt, einen entsprechenden Invest zu tätigen (beide Produkte sind keine Gratis-Anwendungen).

Über die Ergebnisse wird hier und in den nächsten Beiträgen in diesem Blog berichtet. Die Beiträge folgen dabei den „natürlichen Dimensionen“ einer Software-Bewertung, also etwa: Search-Editing: wie einfach und funktionstüchtig ist das? Wie gut und vollständig sind die Ergebnis-Mengen? Wie steht es mit dem Reporting? Welche Medien kann man abbilden?

 

An wen richten sich die Blog-Beiträge?
An jeden, der vor einer Auswahl-Entscheidung in Sachen Social Media Monitoring steht. Auch wenn die beiden Produkte hier vielleicht gar nicht auf der Einkaufs-Shortlist stehen – interessante Anregungen werden die Beiträge sicher geben.

Search-Edit: wie funktioniert die Definition der Such-Aufträge?

Text-Search basiert auf logischen Ein- und Ausschlüssen von Phrasen, Begriffen, Wörtern oder Zeichenketten. Dabei ist es generell wichtig, die „Klammern“ und die Operatoren AND, OR und AND NOT richtig zu setzen. Bei beiden Programmen übernimmt diese manchmal etwas verzwickte Arbeit die Benutzerführung der Software. „Boolsche“ Befehle, wie der offizielle Ausdruck heißt, muss man nicht eingeben (kann man aber bei socialMeme).

So sieht eine recht einfache Search-Definition bei socialMeme aus. Klammern werden mit farblichen Hinterlegungen abgebildet, normal ist hellgrün, NOT = Ausschluss ist rosa. Sehr anschaulich und transparent.

Stand 15.8.2012; Quelle socialMeme by Mediametrics

 

Bei NetBreeze wird der gleiche Search so definiert:

Stand 15.8.2012, Quelle Com Monitor by NetBreeze

Das sieht etwas weniger übersichtlich aus und in der Tat braucht man etwas länger, um hier die Ein- und Ausschluss-Logik zu verstehen.

Da man viel tippen muss und jeder Tippfehler erhebliche Folgen haben kann („Tatord“ findet keinen Treffer bei der Suche nach Beiträgen zu Tatort), ist Ergonomie und Transparenz bei der Search Definition ein Wert an sich. Darum liegt socialMeme hier auf den ersten Blick leicht vorne.

Doch die bessere Übersichtlichkeit des Search-Logik-Aufbaus verfliegt, wenn die Bedingungen komplexer werden. Dann nämlich wird die sehr großzügig dimensionierte Maske bei socialMeme schnell bildschirmfüllend bis -sprengend und die Navigation entsprechend mühseliger.

 

So ist es bei den anderen Kriterien zur Benutzerführung ebenfalls wie etwa Organisation und Speicherung der Searches oder Kopierfunktionen (wichtig um Vergleichbarkeit herzustellen!). Das Thema wird unterschiedlich gelöst, nach kurzer Einarbeitung ist man aber mit beiden Varianten ausreichend vertraut.

Unterm Strich ist kein signifikanter Leistungsvorsprung eines der Produkte in Sachen Funktionalität des Search-Editing erkennbar.

 

Ideal sind beide indessen nicht, hier ein Ansatz für eine Optimierung, über den man schnell stolpert:

Mit einem SMM Tool werden oft Vergleiche angestellt, etwa: „wie oft wird Produkt A und wie oft Produkt B erwähnt?„. Die Such-Bedingungen können jeweils komplex sein: linguistische Ein- und Ausschlüsse, Zeitraumabgrenzungen, Medienauswahl etc. Für einen belastbaren, d.h. „fairen“ Vergleich sollten sie bei den generischen Parametern identisch sein. Darum ist ein „Bedingungs-Vergleichs-Tool“ wünschenswert, das schnell eine Übersicht zur Verfügung stellt und ggf. so die Ursache für unerklärbare Unterschiede aufdeckt. In den beiden untersuchten Produkten gibt es so eine Werkzeug nicht.

Ergebnisbeispiel

Zum Abschluss dieses ersten Beitrags zeigen wir ein einfaches Search Ergebnis zur ARD Krimi-Serie Tatort von socialMeme:

Stand 16.8.2012, 16:00 Uhr; Quelle socialMeme by Mediametrics

In der Zeit vom 9.-16.8.2012 gab es 172 Kommentare auf der Facebook-Seite von Tatort und 63 weitere Posts, Tweets und Shares zu dem Thema außerhalb dieser Fanpage. Als Quellen wurden dabei nur Social Media Networks, Blogs, Microblogs (twitter) und sog. Consumer Reviews (z.B. Qype) abgesucht.

Fachlich interessant ist z.B., dass hiernach die negativen Bemerkungen außerhalb der FB-Fanpage einen höheren Anteil haben – die positiven allerdings tendenziell auch. Generell geht es auf den FB Seiten anscheinend „neutraler“ bis wohlwollender zu.

Im nächsten Beitrag wird es um die Quellen der Suche gehen, die Search-Sources, mit denen jedes Monitoring steht und fällt. Und im Anschluss daran wollen wir uns der Frage zuwenden, wie belastbar eigentlich diese Zuordnungen in negatives und positives Sentiment sind.

Stay tuned!