Gsallbahdr - Computational Linguistics

Mit einer Tautologie zu Christus – oder sonst wo hin?

nospam@example.com (DrNI) — Mon, 23 Nov 2009 19:00:00 +0100

Ich habe endlich die Fotos von meinem Handy heruntergeladen. Da ich das Handy immer dabei habe sind auch einige sprachlich interessante Botschaften fotografisch dokumentiert worden. Zunächst ein Plakat, das den Betrachter auf den richtigen Weg bringen möchte:

»Christ? Weil… es zum Umsteigen nie zu spät ist!«

Nehmen wir mal an, der begründende Satz »Weil es zum Umsteigen nie zu spät ist« wäre immer oder wenigstens meistens wahr, was die meisten von uns wohl bekräftigen dürften, dann könnte man aus diesem Satz alles folgern:

»Muslim? Weil es zum Umsteigen nie zu spät ist.«
»Agnostiker? Weil es zum Umsteigen nie zu spät ist.«
»Vegetarier? Weil es zum Umsteigen nie zu spät ist.«

Dieses Muster könnte man beliebig fortsetzen. Außer vielleicht, wenn sofort klar ist, dass ein Umstieg sehr schwer bis unmöglich ist. Nicht alle Daseinsformen hängen vom freien Willen alleine ab, manchmal braucht man auch gewisse formale oder biologische Voraussetzungen:

»Professor? Weil es zum Umsteigen nie zu spät ist.«
»Frau? Weil es zum Umsteigen nie zu spät ist.« (Für Männer)
»Homosexuell? Weil es zum Umsteigen nie zu spät ist.«

Es ist jedenfalls keine gute Idee, eine so offensichtlich logisch anfällige Werbeaussage auf einem Plakat in einem von Linguisten bevölkerten Unigebäude anzubringen. Abgesehen davon darf man sich natürlich fragen, warum christliche Organisationen Werbung machen (dürfen) und die anderer Glaubensgruppen nicht. Siehe auch Atheist Bus Campaign.

Die Hörnchen auf dem Kopf der Dame wurden wohl in ähnlicher Verwunderung von jemand anderem angebracht, sie sind jedenfalls nicht original.

Crossref

nospam@example.com (DrNI) — Sat, 26 Sep 2009 18:39:58 +0200

DrNI@AM schreibt über Parteiprogramme und den Hohenheimer Verständlichkeitsindex.

Crossref

nospam@example.com (DrNI) — Thu, 20 Aug 2009 11:23:07 +0200

DrNI@Automatic Mind writes: Text Difficulty and Information Retrieval

Marathon auf Rhodos

nospam@example.com (DrNI) — Sat, 28 Mar 2009 11:41:00 +0100

DEBUG [main] (LuceneIndexManager.java:90) - Closing IndexWriter.

INFO  [main] (IndexerController.java:87) - Worked on 247233 documents.

INFO  [main] (IndexerController.java:88) - Skipped 18029 documents.

(Rhodos ist unsere neue Schüssel für die Aufarbeitung von Korpora. Potent… könnte aber auch noch ein paar CPUs mehr drin haben. Mein vorheriges Spielzeug im Nebenjob hatte derer 4 sowie 32GB RAM und mehrere TB Plattenkapazität, da konnte man richtig nett arbeiten.)

Web as Corpus vs. Information Retrieval

nospam@example.com (DrNI) — Sat, 14 Mar 2009 11:10:00 +0100

Ein paar weitere Live-Marginalien meiner Master-Arbeit… Web as Corpus heute mal mit Schwerpunkt Information Retrieval, aber doch sehr ähnlich zum ehrwürdigen WaC Tk:

INFO  [main] (IndexerController.java:75) - Worked on 83210 documents.

INFO  [main] (IndexerController.java:76) - Skipped 9084 documents.

Rechenintensive Aufgaben machen eben doch Spaß, da spürt man mal wieder die schiere Kraft der Maschine. Erstaunlich ist, dass Lucene sich langsamer anfühlt als die Word Sketch Engine.

NLP mit drei Gigabyte Text oder gar mehr fordert den beteiligten Verarbeitungskomponenten eine große Robustheit ab: Man kann weder einzelne Resultate manuell überprüfen (es sind zu viele) noch darf etwas abstürzen. Im Zweifel muss man Verarbeitungsfehler automatisch abfangen und protokollieren und dann das Dokument zunächst wegwerfen. Bei all dem ist es gut, dass ich auf einen reichen Erfahrungsschatz beim automatischen Aufbereiten größerer Korpora zurückgreifen kann. Die mussten schließlich so gut werden, dass man sie hinterher verkaufen konnte (siehe Sketchengine).

Grau wird alle Theorie, wenn es um die echte Wurst geht.

2009 × VAGINA oder die Arbeit mit echten Daten

nospam@example.com (DrNI) — Fri, 13 Mar 2009 16:16:00 +0100

Wenn man als Computerlinguist mit echten Daten arbeitet, was leider viel zu wenige Kollegen tun, dann bekommt man nette Effekte. Zum Beispiel ist da dieser Eintrag in der Simple English Wikipedia, der 2009 Mal das Wort VAGINA enthält. Getrennt durch Leerzeichen, ohne Punkt und ohne Komma direkt hintereinander. Einen Satz dieser Länge quittierte mein Programm ungalant mit einem StackOverflowError.

Mal sehen, wann der Eintrag repariert wird. Mein Programm kommt jetzt jedenfalls auch damit klar.

A Preview of my Readability Library

nospam@example.com (DrNI) — Sun, 14 Dec 2008 12:56:00 +0100

Is there anything worse than procrastinating the studying for your MA oral exam by writing Java code for your MA thesis? Anyways. Here we go with a little preview on a Java library of readability measures. I'm planning to write a longer article about the sense and senselessness of readability measures for my CL Blog. To cut a long story short: readability measures resp. algorithms take a text, split it into words and syllables, and apply some weird formula to that. In the end, you get a figure saying how easy or difficult to read (or understand) the text is supposed to be. One of the most prominent measures is the Flesch-Kincaid Readability Test which is supposed to say how many years of US education one needs in order to be able to understand the given text.

Let's have a look at the screen shot of my demo. First of all, be aware that some or all of the measures might be wrong. As one can see, for the given text, it takes almost 14 years of school education. The text I took is a pirates story for kids from Neopedia, which some of my fellow students might be well aware of because they are currently suffering from a named entity annotation task for that text. So why is this fairy-tale alike story so hard to read? A comparison with the output of this online tool revealed that the sentence counter I'm using cannot deal with the quotation marks used in direct speech and the text contains lots of it. The Flesch-Kincaid formula punishes documents for long sentences, therefore the score goes up the fewer sentences you have.

The sentence counting part currently is based on Java Fathom, a port from Perl's Lingua::EN::Fathom module. The syllable counter is also the Fathom port from there. Apart from that, Java Fathom has a bug preventing it from working at all. I contacted the maintainer. He keeps reacting with silence. So in order to be able to publish this library, I need to re-invent some wheels myself, because other people messed things up. (This is what usually happens if computer scientists try to do something with language.)

As some of my readers may have noticed, I reactivated the Computational Linguistics category here. I consider it to be the CL blather dump from now on. After all, this post isn't enough of a post for my CL Blog.

Stay tuned on both blogs, if everything works out as I hope it to work out, I'll pass the exam next week and I'll publish the open-sourced readability library somewhen in January.

Alles neu macht der September

nospam@example.com (DrNI) — Fri, 12 Sep 2008 20:57:00 +0200

Neu weil weg: Der Klapprechner rechts im Bild ist tot, mause. Auch das ist neu, seit langer Zeit bin ich mal wieder laptoplos. Ein Nachfolger ist noch nicht gewählt und es ist noch nicht sehr akut, da ich ja seit neuestem in der Uni ein Büro mit einem iMac habe. Aber es gibt noch mehr Neues. Am Rande: Ein neuer Bass als Ersatzteil für Notfälle auf der Bühne.

Neu und noch nicht gänzlich fertig ist vor allem auch ein komplettes frisches Design auf meiner persönlichen Homepage. Und dazu ist alles, was nicht mit dem »beruflichen« zu tun hat, von dort verschwunden. Die Seite ist seitdem konsequent in Englisch gehalten. Und sie beinhaltet das neueste Neue: Mein neues Blog. Die Kategorie Computational Linguistics hierzublog ist also ein Relikt, weiter geht es mit der Computerlinguistik in meinem englischsprachigen CL Blog. Gewonnen hat den Kampf um das Content Management übrigens Serendipity.

Nun mag man die Trennung zwischen (zukünftigem) Beruf und Privatleben als überholt ansehen oder auch nicht. Darüber mag ich hier nicht befinden. Der Trennung liegt für mich die Erkenntnis zugrunde, dass Wissenschaft und Perversität sowie allerhand alltäglich irrelevantes polemisches Geplapper nicht unbedingt die gleiche Klientel ansprechen.

Die an Computerlinguistik interessierten Leser möchte ich hiermit auffordern, mein Zweitblog zu abonnieren. Für alle anderen bleibt alles beim Alten.

Worthäufigkeiten von Körperteilen in Songtexten: Hiphop Asses, Blues Hands

nospam@example.com (DrNI) — Wed, 27 Aug 2008 16:39:00 +0200

Das hier schon beschriebene Wordle visualisiert Worthäufigkeiten mit Hilfe der typografischen Eigenschaft der Schriftgröße. Auf ein eher künstlerisches Podest hievt Fleshmap die Worthäufigkeit: das Projekt zeigt Fotos von Körperteilen in verschiedenen Größen. Die Größe repräsentiert die Häufigkeit des Namen des Körperteils in einem Songtext – oder vielmehr in einer Sammlung von Songtexten eines Genres.

Augen scheinen überall ein wichtiges Konzept zu sein. Beim Hiphop hingegen springen dem Betrachter Ärsche, Schwänze und Muschis ins Auge. Der Blues hat viel mit den Händen zu tun. Und mit Brüsten. Was nicht das gleiche ist wie Titten. Zwischen verschiedenen Synonymen oder nah verwandten Begriffen wird nämlich peinlich genau unterschieden. Mehrdeutige Wörter wie »back« wurden vorsichtshalber nicht gewertet.

Man kann auch einzelne Texte selbst in eine Körperteil-Darstellung umwandeln lassen. Dabei zeigt sich ganz indirekt die Sinnlosigkeit von Stichwort-Filtern zur Überwachung von irgendwas: Während so mancher Song ziemlich viele kleine Tittenbildchen fabriziert, drücken sich die meisten etwas feineren Musiker um die expliziten Worte, um genau das gleiche auszudrücken. So bleiben die Bilder zum Beispiel bei He Made A Woman Out Of Me abwesend. Trotz der mit 16 Jahren verlorenen Jungfreulichkeit der weiblichen Protagonisten.

Die Kunst findet immer wieder interessante Schnittpunkte mit der Computerlinguistik. Es bleibt spannend. Also Arsch hoch, ihr Computerkünstlerlinguisten!

Worthäufigkeit visualisiert: Wordle

nospam@example.com (DrNI) — Thu, 19 Jun 2008 13:00:00 +0200

Unlängst berichtete ich vom Vorhaben, wie schon einmal eine Buzzword-Wand aus Karrieregeblubber zu fabrizieren, das ich dann aber doch nicht in die Tat umsetzte. Wordle nimmt einem die Arbeit ab und macht optisch auch einiges mehr her. Die automatische Wortwolke sieht dann so aus:

Es handelt sich hierbei um eine automatische »Analyse« eines Blog-Posts über eine Suchmaschine für Computerlinguistische Publikationen. Den Titel des Posts habe ich mit zum Input hinzugefügt.

Wordle benutzt als Grundlage für diese Darstellung die Worthäufigkeit, wobei allgemeine Wörter weggelassen werden. Ob letzteres auf Grundlage einer Stoppwortliste oder einfach auf Grundlage von ein bisschen statisischer Magie basiert, das blieb mir bis jetzt verborgen. Die Farbgebung ist eine mehr oder minder zufällige Auswahl aus einer Palette, sie transportiert also keine Aussage.

Obwohl das Werkzeug sicherlich gestalterische Prinzipien in den Vordergrund stellt, ist es meiner Meinung nach auch zur Darstellung von Informationen doch nicht ganz unnütz. Es schafft es bei meinem Blog-Post immerhin, dass die Wörter deutlich hervorgehoben sind, um die sich das Thema dreht. Sozusagen eine »typo-grafische« Inhaltsangabe auf einen Blick.

Der Haken ist, dass das als Java-Applet umgesetzte Programm keinen Export seines Resultats erlaubt. Die Druckfunktion weigert sich, in Datei zu drucken. Mit diesem kleinen Trick bekommt man nämlich zumindest unter Linux/Un*x immer eine Grafikdatei, die man wo anders einbetten könnte. Somit bleibt nur: Alternative suchen oder einen virtuellen Trickserdrucker installieren.

Und da ist noch was: Blog-Posts sind kurz, oft scheint hier eine »ein Thema – ein Post«-Situation vorzuliegen. Bei längeren Texten wird die einfache Worthäufigkeit vermutlich weniger konkret sichtbare Ergebnisse liefern, außer man schafft es, mehrere solche Wortwölkchen aus schlau gewählten, thematisch abgegrenzten Textabschnitten zu bauen.

via.

Tag der Computerlinguistik in Tübingen

nospam@example.com (DrNI) — Fri, 13 Jun 2008 11:36:00 +0200

Was will ich studieren?

Am 21. Juni 2008 veranstaltet die Fachschaft Sprachwissenschaft einen Tag der Computerlinguistik. Geworben wird dabei in erster Linie für den Studiengang International Studies in Computational Lingistics (ISCL), den auch ich mir zu Gemüte führe und in dem ich auch schon einen Bachelor-Abschluss ergattern durfte. Motiviert wird die Veranstaltung von vielen Faktoren. Zum einen sind seit Einführung der Studiengebühren die Anfängerzahlen eingebrochen (ich spekulierte), zum anderen ist die Computerlinguistik generell wenig bekannt, obwohl sie ein Geschäft mit Zukunft darstellt.

Beim Tag der Computerlinguistik soll es aber natürlich nicht um diese Dinge gehen. Vielmehr will man junge Leute begeistern und informieren. Schaut her, hier gibt es was zu sehen! Und wer darüber wirklich alles wissen will, der kann das auch studieren! Und zwar nach dem Abi im Bachelor-Programm oder nach dem Bachelor im Master-Programm. Alle Vorträge sollen möglichst wenig Vorkenntnisse erfordern und für die Allgemeinheit genießbar sein. Das macht den Tag der Computerlinguistik interessant für alle, die einfach mal wissen wollen, um was es dabei geht.

Meine Wenigkeit wird bei dieser Veranstaltung ebenfalls mitwirken, und zwar mit einem Vortrag, dessen Arbeitstitel da lautet: Wie kommen eigentlich die Wörter ins Wörterbuch?

Germanisch? Egal, wir stehen auf Bäume!

nospam@example.com (DrNI) — Mon, 19 May 2008 11:37:00 +0200

Die Erkenntnis kommt spät für einen Teilzeitlinguisten, aber sie kommt: Das englische Wort Indo-European heißt im Deutschen indogermanisch¹. Und das, obwohl der germanische Sprachzweig darunter nur einer von vielen ist. Keltisch, Griechisch, Indo-Iranisch (und damit die heutigen Sprachen Hindi und Bengali, aber auch das tote Sanskrit) sind ebenfalls indogermanisch (um nur ein Paar zu nennen).

(Dein Browser oder Feedreader kann keine Iframes anzeigen.)
Partieller Stammbaum der indogermanischen Sprachen (†: Tote Sprachen)

Populärwissenschaftliche Bilderbuchempfehlung: The Atlas of Languages von Bernard Comrie, Stephen Matthews und Maria Polinsky. Darin findet sich auch auf Seite 39 eine schöner Stammbaum der indogermanischen Sprachen, aus dem der hier abgebildete unvollständige Stammbaum (Sourcecode) hervorging.

Alles in allem eigentlich ein interessantes Thema, war da wann was mit wem und warum das wohl heute so ist wie es ist, das mit dem Turmbau zu Babel. Aber das unterscheidet schließlich den Master-Studenten (mit Bachelor-Titelchen) vom angehenden Gelehrten: Nur nicht zu weit links oder rechts kucken!

Und damit zurück ~~ins Studio~~ zum Thema der graphischen Darstellung von Ergebnissen der Clusteranalyse. Immerhin nicht gänzlich unverwandt mit Bäumen wie dem oben gezeigtem.

¹: John Rupert Firth erwähnte diesen Unterschied schon 1950 in seinem Aufsatz Personality and Language in Society.

Eine Suchmaschine für Publikationen im Bereich der Computerlinguistik

nospam@example.com (DrNI) — Mon, 5 May 2008 14:05:00 +0200

Wie legal es ist, wissenschaftliche Publikationen aus dem Netz zu laden, das ist ja mittlerweile ungeklärt. Man hatte sich zu wehren versucht, aber die Lobbyisten waren wohl die stärkeren Gesetzgeber. So mancher Dienst reagiert panikartig und läuft damit Gefahr, nicht mehr nutzbar zu sein. Gesetzliche Verunmöglichung des Hochschulbetriebs hin oder her, die Abschlussarbeit ist am Horizont schon zu sehen und Hausarbeiten müssen eh immer geschrieben werden. Was wäre also schöner, als eine Suchmaschine, die Publikationen aus dem Gebiet der Computerlinguistik zu Tage fördert?

Was hier als iGoogle Gadget daherkommt ist mein Versuch, eine Google Custom Search Engine zu erstellen. Sie heißt Computerlinguistische Publikationen, ist hochgradig Beta (wie bei 2.0 so üblich, jaja) und steht jedem offen, auch wenn sie noch nicht im öffentlichen Verzeichnis steht. iGoogle braucht man dafür natürlich nicht unbedingt.

Wer das Gadget will, der möge es hiermit installieren. Kommentare und Vorschläge zur neuen Suchmaschine sind jederzeit willkommen.

Corpus delicti: Beflügelte Vorstellungen von weiblichen Organen

nospam@example.com (DrNI) — Thu, 10 Apr 2008 15:30:00 +0200

Eine Randnotiz aus einem meiner Nebenjobs als Computerlinguist: Beim Erstellen von Korpora aus dem World Wide Web kommt man am Ende nicht um eine manuelle Kontrolle herum. Man gibt also diverse Stichworte ein, anhand derer man sexually explicit material finden sollte. Das wird dann rausgenommen. Natürlich liest man so allerhand, was nicht direkt Porno ist. Zum Beispiel:

»One of the first women's vulva turned into a mouth, complete with teeth, which bit off her partner's penis. This myth of the vagina dentata appears in many cultures around the world.«

Ich fühle mich gerade sehr jugendlich. Selten habe ich auf meiner beruflichen Suche nach Brüsten, Penissen, Vaginen, Vulven, Anus und weiteren Körperteilen mit so viel Aufklärungsliteratur befassen dürfen. Und das auch noch auf Englisch.

Da lernt man was fürs Leben. Und mal ehrlich, ist Vagina Dentata nicht ein guter Kandidat für ein geflügeltes Wort?

GraleJ: [peter,likes,mary]

nospam@example.com (DrNI) — Fri, 29 Feb 2008 12:35:00 +0100

Nun also mal wieder ein Blick in meine Welt der Computerlinguistik, in der ich als Student gleich mehrfach drinstecke. Heute mal mit Neuigkeiten von meinem Hiwi-Job beim SFB 441: GraleJ Version 0.1 wurde heute veröffentlicht! Das Programm ist frei wie freie Rede und plattformunabhängig im Java-Sinne.

Die Hauptaufgabe von GraleJ als Neuimplementierung von Grale (Nachfolger des legendären Grisu) ist es, Attribut-Wert-Matrizen (AVMs) darzustellen. Wie man auf dem Screenshot sehen kann, funktioniert das auch tadellos. Wo kommen die AVMs eigentlich her? Nun, man kann die einfach in einem speziellen Format von der Festplatte laden. Aber natürlich – und das ist die zweite große Aufgabe von GraleJ – werden sie auch automatisiert von der TRALE Grammar Implementation Platform übertragen und dargestellt.

Damit ist GraleJ auch zugleich der neue offizielle graphische Viewer von TRALE. Vorabversionen wurden bereits in einem Seminar zu Unterrichtszwecken eingesetzt. Version 0.1 bringt einige Neuerungen und Verbesserungen im Detail. Das erste Mal ist auch ein schnuckeliger Dialog für die Einstellungen dabei, der allerdings noch nicht gänzlich mit Funktion belebt wurde. Auch der Export der Grafiken im Postscript- und EPS-Format funktioniert noch nicht. SVG, PNG und JPEG sollten aber ihre Dienste tun, ebenso gibt es eine Exportmöglichkeit für LaTeX, die allerdings ein spezielles Package in LaTeX voraussetzt. Diese Funktion gab es auch schon im alten Grisu und wurde von mir in meiner Bachelor-These ausgiebig genutzt.

Wie man sieht, kann GraleJ auch Bäume darstellen. Ja, auch in HPSG kommt man um Bäume nicht gänzlich herum. Und TRALE ist nun mal ein System, das hauptsächlich der Implementierung von HPSG-Grammatiken dient. Aber es gibt noch mehr Features. So kann GraleJ z.B. als Client für WebTrale dienen. Da kann man dann zwar keine eigenen Grammatiken entwerfen, aber ohne viel Installationsaufwand vorhandene Grammatiken testen und mit ihnen spielen. Sicherlich auch für Demonstrationszwecke in Seminaren eine interessante Möglichkeit. Die Benutzerschnittstelle für WebTrale ist meiner Meinung nach noch etwas verbesserungswürdig.

Mein Teil der Arbeit war bisher &ndash abgesehen vom Preferences-Dialog – doch eher ein verborgener. Dinge unter der Haube, wie z.B. die Client-Server-Geschichten. Das wird sich aber vermutlich bald ändern, denn unser Entwickler-Team besteht seit dieser Woche nur noch aus zwei Personen.