Social Media Monitoring Qualität – ein Projektstart

130210 QualitätStimmen eigentlich die Ergebnisse, die uns Social Media Monitoring Tools liefern?

Diese Frage hat 3 interessante Dimensionen:

  • Sie sollte das Auswahl-Kriterium No. 1 sein, wenn man ein solches Werkzeug sucht
  • Sie wird erstaunlich selten gestellt.
  • Sie ist schwer zu beantworten.

Wir haben hier bereits 88 Kriterien für die SMMT-Auswahl vorgestellt und einige Werkzeuge entlang der Kriterien bewertet. (SMMT = Social Media Monitoring Tool). Doch hier standen funktionale und ergonomische Kriterien im Vordergrund.

Mindestens ebenso wichtig wie der Funktionsumfang etc. ist aber, ob die produzierten Ergebnisse eigentlich auch so ungefähr abbilden, was “da draußen” wirklich los ist.

Wir wollen diesen Aspekt die Social Media Monitoring Qualität nennen. Diese Qualität ist deutlich schwieriger bzw. aufwendiger zu beurteilen als vorhandene Funktionen, benutzerfreundliche Oberflächen und verfügbare Hilfe-Optionen.

Im Kern geht es dabei um 2 Ausprägungen von Qualität:

  • werden die definierten Search-Kriterien positiv wie negativ eingehalten, d.h. wird alles gefunden, was die Kriterien erfüllt und nichts versehentlich aufgesammelt, was sie nicht erfüllt?
  • Werden die Ergebnisse korrekt “Themen” zugeordnet? Das berühmteste Thema ist die Tonalität oder das Sentiment: wird das korrekt erkannt?

Wir wollen diese beiden Fragen in den kommenden Wochen angehen und dann hier davon berichten. Das Projekt ist kooperativ aufgesetzt: wir werden einige Hersteller / Produkte bitten, uns für ein Qualitäts-Benchmarking zu unterstützen – in erster Linie mit einem Testaccount.

Etwas genauer ist unser Plan in dieser Vorstellung zum Download beschrieben. Hierin wird hoffentlich deutlich, dass die konkreten Ergebnisse des Benchmarkings nur ein Ergebnis sein werden. Ein vermutlich wichtigeres wird sein, ob das Vorgehen generell umsetzbar ist und ob die angelegten Kriterien taugen. Auch darüber, über die sinnvollen Kriterien wie praktikabeln Bewertungsmethoden wollen wir zu gegebener Zeit (vor dem Sommer) berichten.

Im Idealfall mündet das alles in einen offenen Set an Methoden und Prüfkriterien, die dann regelmäßig für solche Qualitäts-Benchmarkings eingesetzt werden können.

Noch ist nicht klar, welche Produkte teilnehmen werden, aber sollte unter den Lesern jemand sein, der selbst ein solches Produkt im Sortiment hat und es gerne teilnehmen lassen möchte: Schreiben Sie uns, wir sind offen, wenn der Rahmen passt.

Und sollte unter den Lesern jemand sein, der einen vergleichbaren Ansatz kennt – das wäre auch sehr interessant zu wissen.

Social Media Monitoring Tool: UMT Delta von uberMetrics

mazeSocial Media Monitoring Tools gibt es viele, die Auswahl kommt einem Weg durch einen Irrgarten gleich.

Wir haben wieder so ein Werkzeug genauer angeschaut und stellen das Ergebnis hier vor.

Dieser Beitrag liefert also dem, der sucht (Werkzeug oder Orientierung) 2 Hilfen:

1: Unsere “generische” Bewertungs-Matrix für solche Tools, wir haben sie schon vor einigen Wochen vorgestellt: 88 Kriterien… Die Matrix steht weiterhin zum Download bereit.

Diese Kriterien halten wir für wichtig bei Social Media Monitoring Tools. Verwenden Sie sie als komplette Liste oder lassen Sie sich von einigen Kriterien für eine eigene Liste anregen. Wir haben die Matrix nicht weiter verändert (das wird auch irgendwann kommen müssen), also wer sie schon kennt: nichts Neues!

2: Konkrete Produkt-Bewertung. Wir haben unsere Kriterien-Matrix operativ eingesetzt und ein weiteres konkretes Produkt mit ihr getestet, also entlang der Kriterien bewertet. Das ist auf jeden Fall neu!

Das aktuelle Produkt heißt UMT Delta von uberMetrics und präsentiert sich als das “Das Rundum-Sorglos-Paket der Medienbeobachtung”.

WeiterlesenSocial Media Monitoring Tool: UMT Delta von uberMetrics

Automatische Sentiment Erkennung – wie gut ist das?

Social Media Monitoring Tools, kurz SMMT, bieten in aller Regel die sog. “Sentiment Erkennung”, d.h. die Erkennung der Tonalität oder Einfärbung des gefundenen Text-Stückes als automatische Leistung mit an.

Wir haben die Erkennungs-Qualität an einem konkreten Beispiel untersucht und berichten hier von allgemeinen wie praktischen Erkenntnissen. Der Beitrag endet mit 8 Empfehlungen zum Umgang mit der Sentiment Erkennung.

WeiterlesenAutomatische Sentiment Erkennung – wie gut ist das?

Social Media Monitoring Tool: talkwalker

Es gibt vermutlich über 200 Social Media Monitoring Tools! Wie soll man da den Überblick behalten – ach überhaupt erstmal einen Überblick gewinnen?

Ein wenig Hilfe für den Weg durch den Irrgarten erhalten Sie hier!

Unterstützungs-Paket 1: Vor einigen Tagen haben wir hier eine “generische” Bewertungs-Matrix-vorgestellt: 88 Kriterien… Die Matrix steht zum Download bereit. Diese Kriterien halten wir für wichtig bei Social Media Monitoring Tools. Verwenden Sie sie als komplette Liste oder lassen Sie sich von einigen Kriterien für eine eigene Liste anregen.

Unterstützungs-Paket 2: Konkrete Produkt-Bewertungen. Wir werden unsere Kriterien-Matrix operativ einsetzen und regelmäßig einzelne Produkte testen und mit ihr bewerten.

Heute ist das erste Produkt an der Reihe, es heißt talkwalker und ist nach eigenen Angaben “erfrischend einfach“.

WeiterlesenSocial Media Monitoring Tool: talkwalker

88 Kriterien für ein gutes Social Media Monitoring Tool

Was für ein Wort!: Social Media Monitoring Tool, wir kürzen es zur Vereinfachung erstmal ab: SMMT.

Aber schreckliches Wort hin oder her: neben “Content Marketing” ist es seit einigen Tagen das Thema, SMMT ist einer der “flavours of the year”. Bei W&V läuft z.B. aktuell eine 7-teilige Serie zum ROI von Social Media. Und wer Return sehen will, der muss messen, der muss monitoren. Und um zu monitoren braucht man ein Werkzeug bzw. Tool. Davon gibt es einige, vermutlich mehrere 100.

So mancher sucht also Hilfestellung für seine SMMT Suche. Viel ist es nicht, was das Web bereithält, aber immerhin:

Weiterlesen88 Kriterien für ein gutes Social Media Monitoring Tool

Social Media Monitoring

Im Zeitalter des Social Media treten Marken, Unternehmen und Organisationen zum ersten Mal in einen echten Dialog mit ihrer “Audience”, ihrer Zielgruppe. Social Media bedeutet ein Ende der Kommunikations-Einbahnstraße, angesagt ist nicht mehr die Beschallung sondern “Listening”, Zuhören.

Der im Prinzip einfache Prozess des Social Media Monitoring:

WeiterlesenSocial Media Monitoring

Social Media Monitoring Teil 5 und Abschluss

Hintergrund


In einer Beitragsreihe in diesem Blog werden die Social Media Monitoring Tools

  • “Com Monitor”* von der Schweizer Firma Netbreeze* (www.netbreeze.ch)
  • “socialMeme”* von dem Berliner Startup Mediametrics* (www.social-meme.com)

*alles geschützte Zeichen

an Hand einiger Muster-Cases vorgestellt und verglichen. Die Aussagen beruhen auf Beispiel-Searches, die im Juli und August 2012 auf Testaccounts dieser Produkte von Vianova-Company durchgeführt wurden.

WeiterlesenSocial Media Monitoring Teil 5 und Abschluss

SMM Teil 4: Diagramme und Datenexport

Hintergrund

In einer Beitragsreihe in diesem Blog werden die Social Media Monitoring Tools

  • “Com Monitor”* von der Schweizer Firma Netbreeze* (www.netbreeze.ch)
  • “socialMeme”* von dem Berliner Startup Mediametrics* (www.social-meme.com)

*alles geschützte Zeichen

an Hand einiger Muster-Cases vorgestellt und verglichen. Die Aussagen beruhen auf Beispiel-Searches, die im Juli und August 2012 auf Testaccounts dieser Produkte von Vianova-Company durchgeführt wurden.

Das Ziel

Antworten auf die Fragen erhalten, ob eines der Produkte für die praktische Arbeit eines Social Media Verantwortlichen (intern oder extern) besonders geeignet ist und ob sich ein entsprechender Invest lohnt.

An wen richtet sich diese Beitragsreihe hier?

An jeden, der vor einer Kauf-Entscheidung in Sachen Social Media Monitoring steht. Auch wenn die beiden Produkte hier vielleicht gar nicht auf der Einkaufs-Shortlist stehen – interessante Anregungen für die eigene Bewertung sind sicher enthalten.

Welche Themen werden behandelt?

In den vorangegangenen Beiträgen wurden diese Themen behandelt

In diesem Beitrag sollen die Themen Diagramme und Datenexport behandelt werden.

Grafiken und Diagramme

Wir folgen dem Standard-Prozess des SMM: Nach erfolgter Suche nach Articles und Clippings und ihrer weiteren Filterung, Deselektion, Markierung und Gruppierung, soll nun das Ergebnis der Arbeit präsentiert werden.

Höheres Management bzw. Kunden werden sich für die Niederungen der Vorstufen nicht interessieren, umso wichtiger darum, dass der generierte, trockene Stoff für Vorgesetzte oder Kunden möglichst ansprechend aufbereitet wird.

Hier haben sich beide Produkte recht viel Mühe gegeben, die “Dashboards” und Analyse-Charts sind durchaus ansprechend.

Insbesondere Netbreeze bietet hier viel. Es steht ein ganzer Katalog, genannt “Toolbox” von Grafiken zur Verfügung, die der Anwender recht frei einsetzen kann und sich so aus verschiedenen “Widgets” sein individuelles Dashboard zusammenstellen.

WeiterlesenSMM Teil 4: Diagramme und Datenexport

Ergebnis-Kategorisierung; Teil 3 der Serie zu Social Media Monitoring

Hintergrund

In einer Beitragsreihe in diesem Blog werden die Social Media Monitoring Tools

  • “Com Monitor”* von der Schweizer Firma Netbreeze* (www.netbreeze.ch)
  • “socialMeme”* von dem Berliner Startup Mediametrics* (www.social-meme.com)

*alles geschützte Zeichen

an Hand einiger Muster-Cases vorgestellt und verglichen. Die Aussagen beruhen auf Beispiel-Searches, die im Juli und August 2012 auf Testaccounts dieser Produkte von Vianova-Company durchgeführt wurden.

Das Ziel

Antworten auf die Fragen erhalten, ob eines der Produkte für die praktische Arbeit eines Social Media Verantwortlichen (intern oder extern) besonders geeignet ist und ob sich ein entsprechender Invest lohnt.

An wen richtet sich diese Beitragsreihe hier?

An jeden, der vor einer Kauf-Entscheidung in Sachen Social Media Monitoring steht. Auch wenn die beiden Produkte hier vielleicht gar nicht auf der Einkaufs-Shortlist stehen – interessante Anregungen für die eigene Bewertung sind sicher enthalten.

Welche Themen werden behandelt?

In den vorangegangenen Beiträgen wurden diese Themen behandelt

In diesem Beitrag wird die Kategorisierung der Ergebnisse beleuchtet. Wie unterstützen die Tools den Anwender beim Ordnen der Ergebnisse, wie helfen sie, aus vielen Bäumen Wälder zu machen?

Ergebnis-Kategorisierung: wie werden die gefunden Artikel und Beiträge geordnet?

Die Sortierung der Ergebnisse eines Searches kann auf verschiedene Arten erfolgen, z.B. dadurch, dass man statt nach Erwähnungen von TV-Krimiserien im Ersten allgemein differenzierter gezielt nach “Tatort”, “Polizeiruf 110”, “Wallander”, “Sherlock Holmes” etc. sucht, also mehrere Searches statt einem aufsetzt und die jeweils anderen Treffer durch Exklusion ausschließt. Eine solche Ordnung wird durch die “Search-Architektur” definiert und muss bereits ganz am Anfang eines Monitoring-Prozesses definiert werden.

Wir wollen hier nur solche Methoden betrachten, bei denen die (zunächst unsortierten) Treffer als ein großer, chaotischer Berg vorliegen und der Frage nachgehen: Welche ordnenden Hilfsmittel bieten die Produkte hier?

Jede “Dimension” eines Suchergebnisses ist grundsätzlich auch ein Ansatzpunkt für eine Ordnung, für Zusammenfassungen und Abgrenzungen. Die wesentlichsten Dimensionen der Social Media Monitoring Treffer sind

WeiterlesenErgebnis-Kategorisierung; Teil 3 der Serie zu Social Media Monitoring

Social Media Monitoring Teil 2: Quellen der Suche

Hintergrund

In einer Beitragsreihe in diesem Blog werden die Social Media Monitoring Tools

“Com Monitor”* von der Schweizer Firma NetBreeze* (www.netbreeze.ch)

“socialMeme”* von dem Berliner Startup Mediametrics* (www.social-meme.com)

*alles geschützte Zeichen

an Hand einiger Muster-Cases vorgestellt und verglichen. Die Aussagen beruhen auf Beispiel-Searches, die im Juli und August 2012 auf Testaccounts dieser Produkte von Vianova-Company durchgeführt wurden.

Das Ziel: Klarheit darüber gewinnen, ob eines der Produkte für die praktische Arbeit eines Social Media Verantwortlichen (intern oder extern) besonders geeignet ist und ob sich ein entsprechender Invest lohnt.

An wen richten sich diese Blog-Beiträge?
An jeden, der vor einer Kauf-Entscheidung in Sachen Social Media Monitoring steht. Auch wenn die beiden Produkte hier vielleicht gar nicht auf der Einkaufs-Shortlist stehen – interessante Anregungen für die eigene Bewertung werden sicher enthalten sein.

Im vorangegangenen Beitrag ging es um die Funktionalitäten des Search Edits, der Definition der Such-Aufträge.

In diesem Beitrag werden die Quellen der Suche beleuchtet.

Search-Sources: welche Quellen werden abgesucht?

 

Hat man einen Search definiert, dann starten Programme, z.B. sog. “Crawler”, die über die API-Schnittstelle der angezielten Quellen deren Texte, Beiträge, Posts auslesen. Hier gibt es sehr offene Plattformen (Twitter z.B.), die praktisch jeden Tweet öffentlich verfügbar machen und rigidere, die dies nur bei Zustimmung des Autors tun. Facebook zum Beispiel erlaubt aus privaten Accounts nur das Auslesen öffentlicher Beiträge. Bei Facebook Fanpages kann man alle Antworten auf Beiträge auslesen.

Sucht man also zum Beispiel nach der TV-Krimi-Serie “Tatort” in Facebook, so kann man das entweder auf die offizielle Tatort-Seite beziehen (http://www.facebook.com/Tatort) und diese als explizite Facebook-Quelle angeben. Oder man sucht in sozialen Netzwerken nach “Tatort” und erhält dann als Treffer u.a. Facebook-Beiträge von privaten Accounts, die für “public sharing” markiert wurden.

Aber natürlich gibt es sehr viel mehr da draußen als Facebook und Twitter.

socialMeme bietet für die Source-Auswahl eine lange Liste unterschiedlicher Quell-Typen sowie alternativ einen dediziert ausgewählten twitter-Account oder eine Facebook (Fan)page.

Stand 15.8.2012; Quelle socialMeme by Mediametrics

Unter “Extra Sources” unten links ist dabei ein besonderes Schmankerl versteckt: hier kann man gesprochenes Wort aus TV und Radio selektieren. socialMeme kauft dazu die digitalisierten Texte von über 100 Sendern (7×24-Scanning!) und analysiert diese dann weiter wie andere digitale Quellen. In der kostenfreien Testversion standen diese Quellen nicht zur Verfügung.

Wenn auch noch digitalisierte Print-Medien dazu kommen (geplant), hat man eine 360° Abdeckung der gesamten öffentlichen Medien-Kommunikation.

 

Bei NetBreeze ist die allgemeine Liste kürzer (Twitter, Facebook, Foren, Youtubes, News und Blogs), dafür besteht mehr Flexibilität, weitere, nicht im Standardscan enthaltene Quellen zu definieren.

Stand 15.8.2012, Quelle Com Monitor by NetBreeze

Dedizierte Facebook-Accounts oder Twitter-Accounts können ebenfalls hinzugefügt werden.

Zusammenfassend muss man sagen, dass die Source-Auswahl bei socialMeme zum einen deutlich differenzierter wirkt und zum anderen durch den Einschluss von Offline-Medien eine echte Killer-Funktionalität besitzt.

Aus diesen Gründen besteht im Prinzip in Sachen Quellen bei socialMeme ein klarer Vorsprung.

Doch das ist nur die halbe Wahrheit.

Denn beide Tools sind wenig transparent, wenn es um die exakten Quellen für die Suche geht. Hier gibt es keine Webseite, auf der alle Quellen explizit angezeigt werden. NetBreeze verweist für Foren und Blogs auf die Liste von www.boardreader.com (aber die kann man auch nicht vollständig einsehen) und für News auf news.google.com. Begründung: Relevante Quellen gibt es tausende und täglich neue hinzu, deren Audience und damit Reichweite ist sehr dynamisch, das kann man gar nicht transparent machen. Bei den Treffern könne man ja nachlesen, wo was gefunden wurde.

Stimmt, aber der besonders kritische Leser wüsste vielleicht auch gern, wo gesucht und NICHT gefunden wurde. Schließlich gibt es ja auch Medien- und Autoren-Vergleiche. “Kein Treffer bei xyz” sollte zuverlässig bedeuten, dass da auch nichts war.

Im Zuge dieser Untersuchung konnte jedenfalls nicht geklärt werden, wie die Qualitätssicherung eigentlich erfolgt, d.h. wie die Tools sicherstellen, dass nicht Wesentliches übersehen wurde. Theoretisch könnte das ja durchaus geschehen – und die Provider dieser Tools würden es vermutlich gar nicht bemerken.

Ein Vergleich zweier formal sehr ähnlicher Searches zeigt, dass man sich einen Rest Skepsis durchaus bewahren sollte, was die Ergebnis-Qualität angeht.

Stand 17.8.12, 16:30 Uhr; Quelle NetBreeze und SocialMeme

Die Frage war schlicht: wie oft werden im Social Web (Blogs, Microblogs, Social Networks) die beiden TV-Krimiserien “Tatort” und “Polizeiruf 110” erwähnt?

Links die Treffer von socialMeme, rechts die von NetBreeze. Ganz offensichtlich sind die Ergebnisse nicht gleich sondern bestenfalls ähnlich: Den einsamen Tatort-Peek von NetBreeze am 12.8.12 (30 Treffer!) sucht man vergeblich bei socialMeme, ebenso wie der 23-Article-Top von socialMeme am 16.8.12 (gestern) bei NetBreeze nicht zu erkennen ist.

Wie ist das zu erklären und was bedeutet es für die Auswahl eines Tools? Hier einige Erklärungen (eine vollständige Durchdringung und Aufklärung dieser Effekte wäre ein hervorragendes Thema für eine Master-These):

  • Die Suchalgorithmen und Crawler müssen sich durch Millionen von Seiten und Blogs und Tweets etc. arbeiten, das dauert. Wenn man einen Search definiert, stellen sich die ersten Ergebnisse nach 5-6 Stunden ein. Unterschiedliche Abarbeitungsreihenfolgen und Geschwindigkeiten können bei einzelnen Beiträgen zu “Abgrenzungs-Differenzen” führen: So kann es in Einzelfällen geschehen, dass ein Beitrag von Tool A dem 15.8. und von Tool B schon dem 16.8. zugerechnet wird.
  • Obwohl identische Search-Bedingungen hier die essentielle Vergleichs-Voraussetzung waren, haben die Tools das (in kleinem Umfang) verhindert. Bei NetBreeze ist die Anzahl der “Inklusion”-Begriffe auf 6 begrenzt, für die hier verwendeten 9 musste eine zweite AND-Bedingung angefügt werden. Das sollte eigentlich keine Auswirkungen haben, hatte es aber möglicherweise doch.
  • Die Liste der Blogs etc. die abgesucht wird, ist eben de facto nicht identisch und so weichen auch die Ergebnismengen von einander ab.

Für den potenziellen Tool-Käufer bedeutet das:

  • Sehr genau spezifizieren, welche Quellen für die konkreten Aufgaben wichtig sind und mit dem Lieferanten prüfen, in wieweit dieses Zielfeld abgedeckt wird
  • Mustersearches durchführen und die Trefferlisten auf Fehler absuchen, auf Artikel etc., die die Suchbedingungen nicht erfüllen. Eigentlich sind viele Treffer ja ein gutes Zeichen, aber das gilt nur, wenn sie auch zum Suchmuster passen. In unserem konkreten Fall hier konnten wir keine “Kuckucks-Treffer”  erkennen.
  • Gelegentlich einen kostenfreien Testaccount nutzen und damit Kalibrierungs-Searches (so wie diesen hier) durchführen. Den Lieferanten kann man dann zu möglichen Abweichungen befragen. Er wird in der Regel selbst ein Interesse an möglichst präzisen Treffermengen haben.

Im vorliegenden Vergleichsfall scheinen die Ergebnismengen von socialMeme insgesamt vollständiger zu sein, so dass diese Anwendung auch hier einen Vorsprung hat.

Es wäre schön, wenn z.B. Vertreter der Firmen über Kommentare zu diesem Beitrag weitere Erläuterungen geben könnten, so dass der Vergleich vielleicht sogar nochmal in einem neuen Licht erscheint.

Im nächsten Beitrag geht es um die Frage: Wie werden die gefundenen Ergebnisse klassifiziert und bewertet. Welchen Support bieten die Anwendungen selbst und wie zuverlässig funktioniert das?

Stay tuned!