====== DGfS/CL-Tutorium 2010: Planung und Notizen ======

===== Aufgaben =====
  * **SD** testet SE's CQP-Queries
    * wir brauchen v.a. gute Ideen, nach welchen Wörtern und Phänomenen man suchen kann, und was man mit Hilfe der Web-Interfaces daraus lernen kann (z.B. Übersetzungsäquivalent oder Verteilung in Europarl)
  * **HZ+SD** DWDS-Queries
  * **HZ+SE** erstellen Folien für die Vortragsteile
  * **SE** (evtl.) toten Link reparieren: auf dieser Seite: http://www.cogsci.uni-osnabrueck.de/~korpora/ws/CQPdemo/Europarl/help-simple.html zeigt der Link 'CEQL syntax' (3.Absatz) nach http://cwb.sourceforge.net/ceql.php


===== Organisatorisches =====

  * Katharina Spalek: "für Kopieraufträge in dieser Größenordnung können Sie den Copyshop in der Georgenstraße (ca. 2 Minuten Laufen vom Konferenzort) nutzen"
  * Raum: Computer-Pool 1.302, DOR 24 (Haus 1, 3. Stock) 
    * 1.302 hat 20 Rechner und bietet Platz fuer ca. 30 Personen (Info von Amir) 
    * 1.305 ist vermutlich groesser, aber eigentlich offener Studentenpool (Amir)
      * der Verantwortliche ist krank, aber gehen wir mal davon aus, dass es klappt mit dem Raum
    * Seminaraum fuer ca. 50 Personen (wo :?:) ist reserviert für Plenarteil (mehr geht nicht)
  * Technik-Tests: Dienstag, 10:00. Dafuer Carsten Schliewe (R. 3.331) ansprechen

===== Korpora und Web-Interfaces =====

== Web-Interfaces ==

  * [[http://www.cogsci.uni-osnabrueck.de/~korpora/ws/CQPdemo/Europarl/|Europarl GUI]] in Osnabrück (basiert auf CQPDemo)
    * jetzt aktualisiert auf CEQL-Syntax für Simple Queries (und andere kleine Bug-Fixes)
  * [[https://quickie.ikw.uos.de/cqpweb/|CQPweb]] in Osnabrück
    * 30 Gäste-Accounts verfügbar
    * ''EUROPARL-DE'' ist installiert (sonst noch nicht viel)
  * [[http://beta.dwds.de/|DWDS-Webinterface]] (Beta)

== Europarl ==

  * [[http://www.cogsci.uni-osnabrueck.de/~korpora/ws/CQPdemo/Europarl/|Europarl GUI (CQPDemo)]] für einfache Anfragen mit Alignment und Übersetzungskandidaten
    * wo? – Osnabrück + Stefans Laptop als Fallback
    * Europarl Version 3 in den Sprachen Deutsch, Englisch, Französisch, Spanisch, Italienisch und Niederländisch
    * evtl. wird noch eine neue Europarl-Version aufbereitet
  * [[https://quickie.ikw.uos.de/cqpweb/|CQPweb]] für Kollokationsanalysen und weitere Funktionen
    * CQPweb unterstützt bisher noch keine Metadaten für Sprecher!
    * Motivierung: CQPweb bietet ähnliche Funktionen und gleiche Anfragesprache für eine Vielzahl von Korpora

== DWDS ==

  * [[http://beta.dwds.de/?qu=Tutorium&view=1|DWDS-Webinterface (Beta)]] für diachrone Verteilungen
    * keine Gaeste-Accounts noetig, wir nehmen "freie" Version
    * Kai Zimmer (BBAW) sagt: ca. 50 Rechner (= unsere Maximalanzahl) sollten gleichzeitig moeglich sein. Er bittet allerdings darum, dass wir die neue [[http://beta.dwds.de/|Beta-Version]] benutzen, weil die besser skaliert. Wir haben das zugesagt!



===== Ablaufplan =====

   * Folien: Powerpoint, Stefan evtl. Keynote
     * HZ entwirft gemeinsames Layout, das SE für Keynote übernehmen kann
   * Wichtigste Korpusanfragen und Bedienung der Web-Interfaces wird im Plenumsteil vorgeführt
     * können in den Übungsgruppen vom Handout abgetippt werden
     * dazu weitere Aufgaben zum Selberlösen für die etwas fortgeschritteneren Teilnehmer
   * Nach dem Tutorium können wir Folien-Slides und evtl. Handouts als PDFs auf Tutoriums-Webseite legen
     * dort sollten auch Links zu Web-Interfaces und andere Informationen gepflegt werden
   * **Handout** (wird in Berlin gedruckt, evtl. im Copyshop)
     * linguistische Fallbeispiele
     * alle Queries für die Übungsgruppen (die meisten sollten auch im Plenumsteil vorgeführt werden)
     * weiterführende Fragen für fortgeschrittene Teilnehmer (die dann selbst Queries entwerfen müssen)
     * Übersicht des STTS-Tagsets


=== Plenum: Einführung (ca. 45 min) ===

   * Einführung in Korpora und Korpuslinguistik; verwendete Terminologie (HZ)
     * Fokus auf Stichworte, hier noch keine Probleme ansprechen
     * paralleles Korpus, Genre, diachrones Korpus, ...
     * Metadaten (HZ)
   * Linguistische Aufbereitung von Korpora (SE)
     * Tokenisierung, POS-Tagging, Lemmatisierung (syntaktische Analyse noch nicht ausgereift)
     * Repräsentation in Form einer Tabelle -> relationale Datenbank
   * Kurze Vorstellung des STTS-Tagsets (HZ)
   * Vorführung der Web-Interfaces (Europarl und CQPweb) (HZ+SE)
     * Wortsuche, Wildcards, POS-Tags, (feste) Wortfolgen inkl. Tags
     * Konkordanz, Anzeigeoptionen, alignierte Texte
     * Häufigkeiten und Verteilung
     * Wortlisten und Übersetzungskandidaten
     * kwic-Ansicht und Kollokationsanalyse
     * dabei auch kurze Vorstellung der Fallbeispiele für den ersten Teil

=== Übungsgruppen: einfache Anfragen (ca. 45 min) ===

   * Beispiele mit Europarl, Anzeigeoptionen, alignierte Texte
   * einfache Anfragen: Wortsuche, Wildcards, POS-Tags, (feste) Wortfolgen inkl. Tags
   * Häufigkeiten, Distribution
   * Wortlisten und Übersetzungskandidaten
   * Kollokationsanalyse mit CQPweb: anderes Layout und Bedienung, aber gleiche Anfrage-Syntax

=== Kaffeepause ===

=== Plenum: CL-Methoden und CQP-Syntax (ca. 30 min) ===

   * :?: Computerlinguistische Techniken (SE)
     * Satzalignment (heuristische Verfahren, Church & Gale)
     * Übersetzungskandidaten als Kollokationen
   * In diesem Teil wird nur noch mit CQP-Syntax gearbeitet, die auf regulären Ausdrücken basiert
   * Grundzüge regulärer Ausdrücke (SE)
     * elementare Operatoren, viele Beispiele
     * Anwendungsbeispiele
     * Implementierung mit finite-state-Methoden ist sehr effizient
   * Fallbeispiele und CQP-Queries (HZ+SE)
     * linguistische Fallstudien
     * komplexe CQP-Anfragen werden nach und nach entwickelt (CEQL-Queries als Ausgangspunkt)
     * bei Bedarf systematischen Überblick über CQP-Syntax einschieben (SE)
   * Diachrone Suche auf dem DWDS (HZ)
     * exemplarisch zeigen, wie man die CQP-Query in DWDS-Syntax "übersetzt" (mit Online-Dokumentation)

=== Übungsgruppen: komplexe Anfragen (ca. 45 min) ===

  * linguistische Fallbeispiele
  * komplexe Anfragen von Handout abtippen und verstehen
  * Interpretation der Ergebnisse
  * weiterführende Fragestellungen auf Handout -> Teilnehmer müssen selbst die Queries verfeinern
  * Arbeit mit DWDS-Interface (optional)

=== Plenum: Abschluss (ca. 15 min) ===

   * Kritische Bemerkungen zur Aussagekraft von Korpora (HZ)
     * "gute" korpuslinguistische Methodologie vorstellen (:?: Signifikanzbegriff)
   * Übersicht über weitere Online-Ressourcen (und evtl. Offline-Materialien wie Lehrbücher)
     * Web-Interfaces mit CQP-Syntax: Sketch Engine, BNCweb, ...
     * andere Web-Interfaces: BYU-BNC (Mark Davies), ANNIS, ...
     * Korpora und Datenbanken: Google Ngrams, ...
     * siehe unten; Links sollten auf die Tutoriums-Webseite gestellt werden
   * Evaluation des Tutoriums (wichtig!) und Wünsche für zukünftige Tutorien


===== Fallbeispiele und Korpusanfragen =====

Queries von SE, Testen von SD, weitere Ideen von SD+HZ

  - Europarl, einfache Anfrage + Alignment/Übersetzung
    * simple queries (CEQL), Konkordanzen, Satzalignment, automatische Übersetzungen
    * vielleicht auch proximity search für IR-artige Fragen
    * hier brauchen wir noch gute Ideen für Wörter, Phrasen und Wortpaare, die interessante Resultate liefern
  - CQPweb, Kollokationsanalyse
    * "gegenseitiges Vertrauen"
    * Kollokationsanalysen sind nur mit CQPweb möglich; dort Anfrage ''{Vertrauen}'', dann im Aktionsmenü //collocations// auswählen
    * außerdem erlaubt CQPweb Sortierung nach linkem oder rechtem Kontext und kann kwic-Format anzeigen
    * Vorteile/Nachteile der verschiedenen GUIs abwägen; verwenden gleiche Anfragesprache, so dass der Umstieg einfach ist
  - Europarl oder CQPweb, komplexe Anfragen
    * zunächst bei CEQL bleiben, dann CQP-Syntax einführen (nur für ein bis zwei Beispiele, die man mit einfachen Anfragen nicht lösen kann)
    * "ohne Dirigent"
      * erster Versuch: ''_{PREP} _{N}''; dann //Frequencies// anklicken (und auch rückläufige Sortierung ausprobieren)
      * fusionierte Artikel und Eigennamen vermeiden: ''_APPR _NN''
      * flektierte Formen kann man nur mit CQP-Syntax erkennen: ''[pos='APPR'] [pos='NN' & word!=lemma]''
    * "Wie es im Buche steht." (hier ist CQP-Syntax erforderlich)
      * '' 'dem|einem|im|zum|vom'%c [pos='ADV|ADJ.']* [pos='NN' & word = '.+e' & lemma != '.+e'] ''
      * können wir eine so komplexe Anfrage bringen? Wenn ja, am besten schrittweise aufbauen, angefangen mit ''im *e_{N}'' und der entsprechenden CQP-Query
      * NB: cut & paste vom Wiki funktioniert nur mit einfachen Anführungszeichen korrekt!
  - DWDS-Korpus, diachrone Analyse (SD)
    * "Wie es im Buche steht."
    * CQP-Anfrage vom vorigen Schritt muss in DWDS-Syntax übersetzt werden


===== Korpus-Ressourcen =====

**CQP-Interfaces**

  * Official [[http://www.cogsci.uni-osnabrueck.de/~korpora/ws/CQPdemo/|CQP Demos]] (Uni Osnabrück), sowie alte Version am  
  * Online-Interfaces am IMS Stutgart: [[http://www.ims.uni-stuttgart.de/projekte/CQPDemos/cqpdemo.html|CQP Demos]] (alte Version), [[http://www.ims.uni-stuttgart.de/projekte/CorpusWorkbench/CQP-HTMLDemo/CQP-HTMLDemo.html|PennTreebank]], [[http://www.ims.uni-stuttgart.de/projekte/verbmobil/Dialogs/|VerbMobil-Dialoge]], [[http://www.ims.uni-stuttgart.de/projekte/CQPDemos/IMSearch/webmode/|IMSearch]] zur Suche auf IMS-Webseiten
  * [[http://www.korpus2000.dk/|Korpus 2000]] -- Dänisches Korpus
  * [[http://www.tekstlab.uio.no/Bosnian/Corpus.html|Oslo Korpus]] Bosnischer Texte
  * [[http://spraakbanken.gu.se/parole/|PAROLE]] -- Schwedisches Korpus
  * [[http://corp.hum.sdu.dk/|Corpuseye]] -- Interface zu den VISL-Korpora
  * [[http://www.linguistik.hu-berlin.de/institut/professuren/korpuslinguistik/forschung/falko/standardseite|FALKO]] -- Fehlerannotiertes Lernerkorpus
  * [[http://www.linguateca.pt/|Linguateca]] -- Zentrum für portugiesische Sprachressourcen (oder die Projekte einzeln auflisten?)
  * [[http://urd.let.rug.nl/tiedeman/OPUS/|OPUS]] -- Interface zu parallelen Korpora
  * [[http://ramsesii.upf.es/cucweb/|CucWeb]] -- katalanisches Webkorpus (UPF Barcelona)
  * [[http://bncweb.lancs.ac.uk/|BNCweb]] und [[http://cqpweb.lancs.ac.uk/|CQPweb]] in Lancaster -- nur mit Login (Gäste-Accounts auf Anfrage)
  * Korpussammlung von Serge Sharoff in Leeds: [[http://corpus.leeds.ac.uk/protected/query.html|Englisch]], [[http://corpus.leeds.ac.uk/ruscorpora.html|Russisch]], [[http://corpus.leeds.ac.uk/query-zh.html|Chinesisch]], [[http://corpus.leeds.ac.uk/internet.html|Web-Korpus]] mit 12 Sprachen
  * [[http://bwananet.iula.upf.edu/|Bwananet]] gibt Zugriff auf das [[http://www.iula.upf.edu/corpus/corpus.htm|Corpus Tècnic]] mit spanischen, katalanischen und englischen Texten (IULA, UPF Barcelona)
  * [[http://mutis2.upf.edu/bt/english/|BancTrad]] -- Paralleltexte in mehreren Sprachen (UPF Barcelona)

**Manatee/Bonito (basiert auf gleicher Query Syntax)**

  * [[http://ucnk.ff.cuni.cz/english/|CNC]] -- Tschechisches Nationalkorpus CNC
  * [[http://www.sketchengine.co.uk/|Sketch Engine]] -- kommerziell, kostenloses 30-Tage-Demo


**Andere Interfaces**

  * [[http://www.dwds.de/|DWDS-Webinterface]] 
  * [[http://www.ids-mannheim.de/cosmas2/|COSMAS]] Interface zu den IDS-Korpora
  * [[http://corpus.byu.edu/|Mark Davies]] Korpussammlung
  * [[http://www.sfb632.uni-potsdam.de/d1/annis/|ANNIS]] 


**Weitere Ressourcen**

  * [[http://tiny.cc/corpora|David Lees]] Linksammlung zu Korpora und Tools
  * [[http://www.nltk.org/Home|NLTK]] -- Natural Language Toolkit
  * [[http://www.collocations.de/|Stefans]] collocations.de 
  * [[http://www.chatkorpus.tu-dortmund.de/index.html|Dortmunder Chatkorpus]] 
  * [[http://www.phonetik.uni-muenchen.de/Bas/BasHomedeu.html|BAS]] -- Bayerische Archiv für Sprachsignale (BAS)
  * [[http://wacky.sslmit.unibo.it/|WaCKy]] -- Webbasierte Korpora und Toolkits
  * [[http://www.ldc.upenn.edu/Catalog/CatalogEntry.jsp?catalogId=LDC2006T13|Google Ngrams]] -- Web 1T 5-gram corpus ([[http://www.cogsci.uos.de/~korpora/ws/Web1T5/|Online-Abfrage]])
  * [[http://de.wikipedia.org/wiki/Wikipedia:Download|XML-Dumps]] von Wikipedia
  * [[http://gandalf.aksis.uib.no/corpora/|Corpora List]]
  * [[http://www.bubenhofer.com/korpuslinguistik/kurs/|Noah Bubenhofers]] Online-Einführung in die Korpuslinguistik
  * [[http://www.ahds.ac.uk/creating/guides/linguistic-corpora/index.htm|Developing Linguistic Corpora]] -- a guide to good practice
  * [[http://kitt.cl.uzh.ch/kitt/cltools/index.php/Welcome|CL-Online Tools]] -- Link-Sammlung an der Universität Zürich
  * [[http://www.coli.uni-saarland.de/projects/stud-bib/|Studienbibliographie]] Computerlinguistik (oder ist das zu weit weg?)