Universitatea din Bucureşti Facultatea de Matematică şi Informatică Şcoala Doctorală de Informatică Teză de Doctorat Problems of Similarity in Computa

Transcriere

1 Universitatea din Bucureşti Facultatea de Matematică şi Informatică Şcoala Doctorală de Informatică Teză de Doctorat Problems of Similarity in Computational Linguistics Probleme de Similaritate în Lingvistica Computaţională Rezumat Autor: Alina-Maria Ciobanu Conducător Ştiinţific: Prof. Dr. Liviu P. Dinu

2 Cuprins 1 Introducere Contribuţii Structura Tezei Lucrări Publicate Referinţe

3 1 Introducere Relaţiile dintre limbile naturale, precum şi modul în care acestea se schimbă şi evoluează, sunt două dintre întrebările majore ale lingvisticii istorice. Ambele probleme au fost în mod tradiţional investigate cu ajutorul instrumentelor de lingvistică comparativă (Campbell, 1998), însă abordările moderne impun utilizarea şi dezvoltarea unor metodelor cantitative şi computaţionale în acest domeniu (McMahon et al., 2005a; Heggarty, 2012; Atkinson, 2013). Deşi gruparea limbilor în familii lingvistice este în general acceptată, gradele de asemănare dintre limbile aparţinând aceleiaşi familii sunt departe de a fi certe, nu numai pentru limbile exotice, ci şi pentru limbile intens studiate, dintre care multe sunt foarte apropiate. Similaritatea limbilor joacă un rol crucial în multe dintre procesele de prelucrare a limbajului natural (NLP) care tratează documente multilingve, în lingvistica istorică şi în studiul achiziţiei limbilor străine. Este totodată un mijloc valoros de a crea dicţionare şi corpusuri multilingve pentru limbile pe cale de dispariţie, pentru a căror conservare s-au făcut eforturi semnificative în ultima perioadă. Limbile naturale sunt ecosisteme vii. Ele sunt supuse unor schimbări continue datorate, într-o anumită măsură, fenomenelor naturale ale contactului şi împrumutului lingvistic (Campbell, 1998). Potrivit lui Hall (1960), nu există o limbă pură - o limbă fără împrumuturi dintr-o limbă străină. Contactul fără precedent dintre limbi în contextul de astăzi al mobilităţii ridicate şi al exploziei instrumentelor de comunicare conduce la o îmbogăţire inerentă a limbilor prin împrumuturi. De ce şi cum are loc procesul de împrumut reprezintă întrebări fundamentale care, prin natura lor, invită la o perspectivă experimentală (Chitoran, 2011). Pentru a răspunde la prima întrebare, Campbell (1998) observă că Limbile împrumută cuvinte de la alte limbi în primul rând din cauza nevoii şi prestigiului. În continuare, autorul afirmă că rezultatul procesului de împrumut depinde de numeroşi factori, cum ar fi durata şi intensitatea contactului şi măsura în care populaţiile în cauză sunt bilingve. Pentru a răspunde la a doua întrebare, este necesară analiza împrumuturilor şi a modului în care evoluează cuvintele dintr-o limbă în alta. În consecinţă, rezultatul contactului dintre două populaţii este o problemă de cercetare interesantă şi de actualitate. Problemele de clasificare şi similaritate lingvistică implică dezvoltarea unor metodelor de identificare a perechilor cognate şi a împrumuturilor. Perechile cognate sunt cuvinte în limbi diferite având aceeaşi etimologie şi un strămoş comun. Investigarea perechilor cognate este foarte utilă nu numai în lingvistica istorică şi comparativă (în studiul apropierii limbilor (Ng et al., 2010), în reconstruirea arborelui filogenetic al limbilor (Atkinson et al., 2005) şi în identificarea modului şi a măsurii în care limbile s-au schimbat de-a lungul timpului ori s-au influenţat reciproc), dar şi în alte domenii de cercetare, cum ar fi recunoaşterea bilingvă a cuvintelor (Dijkstra et al., 2012), analiza corpusurilor lingvistice (Simard et al., 1992), regăsirea informaţiei dintr-o limbă în alta (Buckley et al., 1997) şi traducerea automată (Kondrak et al., 2003). Un cuvânt împrumutat ( borrowing sau loanword în limba engleză) este definit ca un articol lexical (un cuvânt) care a fost împrumutat dintr-o altă limbă, un cuvânt care iniţial nu făcea parte din vocabularul limbii destinaţie, dar a fost adoptat dintr-o altă limbă şi încorporat în vocabularul limbii care l-a împrumutat (Campbell, 1998). Deşi reprezintă elemente relevante în istoria unei limbi (McMahon et al., 2005b), împrumuturile influenţează clasificarea genetică a limbilor, caracterizându-le ca fiind mai apropiate decât sunt în realitate (Minett şi Wang, 2003). Potrivit lui Gray şi Atkinson (2003), determinarea corectă a perechilor cognate şi a împrumuturilor este esenţială în procesul de inferenţă filogenetică a limbilor, deoarece perechile cognate false şi împrumuturile nerecunoscute pot creşte în mod incorect gradul de apropiere dintre limbi. Perechile cognate false sunt mai dăunătoare decât perechile

4 cognate reale neidentificate, deoarece pot duce la concluzii incorecte privind relaţiile genetice dintre limbi (List et al., 2017). Astfel intervine necesitatea identificării perechilor cognate şi a împrumuturilor. Reconstruirea proto-cuvintelor, care este esenţială pentru studiul evoluţiei limbilor, constă în reconstruirea cuvintelor dintr-o limbă antică pe baza cuvintelor din limbile moderne derivate. Bouchard-Côté et al. (2013) accentuează rolul important pe care acest proces îl joacă în lingvistica istorică, deoarece permite evaluarea propunerilor privind fenomenul de schimbare a limbii. Deşi principala ipoteză în această problemă de cercetare este că există anumite reguli în modul în care au evoluat cuvintele dintr-o limbă antică în limbile moderne derivate, există şi cuvinte care s-au îndepărtat semnificativ de proto-cuvintele din care provin. De exemplu, cuvântul latinesc umbilicu(lu)s a evoluat în buric (română), nombril (franceză) şi umbigo (portugheză). Automatizarea procesului de reconstruire a proto-cuvintelor este o problemă interesantă (Oakes, 2000; Bouchard-Côté et al., 2013; Atkinson, 2013), şi este strâns legată de alte două probleme de cercetare: producerea perechilor cognate (determinarea formei perechii cognate pentru un cuvânt dat) şi producerea cuvintelor moderne (determinarea formei în care un proto-cuvânt evoluează într-o limbă derivată modernă). Subliniem două direcţii de cercetare care se bazează pe aceste probleme de producere de cuvinte: lingvistica diacronică, ce studiază evoluţia limbilor în timp, şi studiul învăţării limbilor străine, ce investighează procesul de învăţare şi influenţa limbii materne în acest proces. Dezvoltarea rapidă a resurselor online a dus la o creştere semnificativă a numărului de documente multilingve, permiţând utilizatorilor din întreaga lume să acceseze informaţii ce nu au fost disponibile până acum. Această creştere accelerată a creat necesitatea stringentă de a depăşi bariera lingvistică prin dezvoltarea unor metode şi instrumente pentru prelucrarea informaţiei multilingve. În zilele noastre, instrumentele NLP pentru limbile oficiale vorbite în Uniunea Europeană şi pentru cele mai populare limbi sunt create şi îmbunătăţite în mod constant. Cu toate acestea, există multe alte varietăţi de limbi şi dialecte care ar putea beneficia de astfel de instrumente. Efortul pentru crearea instrumentelor NLP pentru varietăţile şi dialectele limitate de resurse puţine poate fi redus prin adaptarea instrumentelor din limbile apropiate pentru care sunt disponibile mai multe resurse. Importanţa dezvoltării unor instrumente multilingve şi adaptarea instrumentelor NLP de la limbile cu resurse bogate la cele foarte apropiate, dar cu puţine resurse, a fost recunoscută de comunităţile de cercetare şi s-a materializat prin mai multe evenimente, cum ar fi workshop-ul VarDial Workshop on Natural Language Processing for Similar Languages, Varieties and Dialects (Zampieri et al., 2014) şi competiţiile asociate. În ciuda faptului că i s-a acordat o atenţie considerabilă în ultimii ani, identificarea automată a limbilor nu este o problemă rezolvată, fiind deosebit de interesantă în anumite situaţii: atunci când se face distincţia între limbi sau dialecte foarte apropiate, atunci când mai multe limbi sunt combinate într-o singură comunicare sau când secvenţele de text sunt foarte scurte. În această teză, ne concentrăm asupra unor probleme de similaritate în lingvistica computaţională. În prima parte, propunem o metodă pentru determinarea gradelor de similaritate între limbi. Apoi abordăm probleme legate de lingvistica istorică computatională, precum identificarea perechilor cognate şi a împrumuturilor, reconstruirea proto-cuvintelor, producerea cuvintelor moderne şi a perechilor cognate. În cele din urmă, investigăm distincţia automată dintre limbile apropiate şi varietăţile de limbi. Scopul nostru este dublu: să propunem soluţii computaţionale pentru probleme de similaritate în lingvistica computaţională şi să dezvoltăm o serie de instrumente care să ajute lingviştii şi specialiştii în domeniu să studieze evoluţia limbilor.

5 2 Contribuţii Această teză se bazează în principal pe lucrările noastre de cercetare, pe care le-am extins şi le-am îmbunătăţit. Lista completă cu cele 29 de lucrări publicate se găseşte în Secţiunea 4. Principalele contribuţii ale tezei pot fi rezumate după cum urmează. Propunem şi analizăm măsuri computaţionale agregate pentru cuantificarea similarităţii lexicale şi sintactice a limbilor. În primul rând, propunem o metodă pentru determinarea similarităţii ortografice. Avem în vedere etimologia şi perechile cognate şi investigăm nu doar numărul de cuvinte înrudite, ci şi forma lor, cuantificând similarităţile ortografice şi extinzând analiza de la cuvinte la limbi. Studiul nostru oferă informaţii ce pot fi utilizate în investigarea inteligibilităţii scrise (abilitatea persoanelor care scriu în limbi diferite de a se înţelege reciproc, fără cunoştinţe prealabile de limbi străine). În al doilea rând, propunem o metodă pentru determinarea similarităţii sintactice dintre limbi. Investigăm mai multe abordări şi măsuri ce conduc la rezultate consecvente. Raportăm rezultate pentru mai multe limbi aparţinând unor familii de limbi diferite. Arătăm modul în care aceste valori pot fi utilizate pentru gruparea limbilor pe baza similarităţii lor lexicale sau sintactice. Rezultatele au fost publicate şi prezentat la RANLP 2013 (Ciobanu şi Dinu, 2013), LREC 2014 (Ciobanu şi Dinu, 2014e), EMNLP 2014 (Ciobanu şi Dinu, 2014b) şi CICLing 2017 (Ciobanu et al., 2017a). Dezvoltăm, implementăm şi evaluăm o metodă bazată pe dicţionare electronice pentru identificarea perechilor cognate pornind de la etimologia cuvintelor. Metoda propusă poate fi folosită pentru a crea baze de date mari de cuvinte înrudite, şi poate fi uşor generalizată pentru limbile pentru care sunt disponibile dicţionare electronice cu informaţii etimologice. Ca studiu de caz, aplicăm această metodă pe limba română, identificăm etimologiile cuvintelor româneşti şi determinăm perechile de cuvinte cognate dintre română şi alte limbi înrudite (precum italiană, franceză, spaniolă şi portugheză). Folosind aceste informaţii, construim un set de date de perechi cognate multilingve pentru limba română şi dezvoltăm o listă paralelă de peste de perechi cognate în cinci limbi romanice cu etimologia comună latină. Rezultatele au fost publicate şi prezentate la LREC 2014 (Ciobanu şi Dinu, 2014d). Investigăm şi propunem metrici pentru cuantificarea nivelului de comprehensibilitate a textelor ( readability în limba engleză) pentru texte traduse, folosind mai multe tipuri de trăsături, şi analizăm impactul traducerii. Rezultatele au fost publicate şi prezentate la PITR@EACL 2014 (Ciobanu şi Dinu, 2014a) şi RANLP 2015 (Ciobanu et al., 2015). Propunem metode de învăţare automată pentru identificarea perechilor cognate şi pentru a distinge între perechile cognate şi împrumuturi. În primul rând, introducem o metodă de a determina automat dacă două cuvinte date sunt cognates. Folosim o metodă de aliniere ortografică ce s-a dovedit relevantă pentru alinierea secvenţelor în biologia computaţională. Folosim subsecvenţe aliniate ca trăsături pentru algoritmii de învăţare automată, pentru a deduce reguli pentru schimbările lingvistice la care sunt supuse cuvintele atunci când intră într-o limbă, şi pentru a distinge între perechi cognate şi non-cognate. Aplicăm metoda noastră pe un subset din setul de date construit automat anterior, pentru română şi patru limbi romanice înrudite: italiană, franceză, spaniolă şi portugheză. În al doilea rând, investigăm problema distincţiei automate între perechi cognate şi împrumuturi. Provocarea şi importanţa acestei probleme de cercetare este evidenţiată de Heggarty (2012) după cum urmează: Ce soluţie există atunci, dacă nu putem nici să ignorăm problema de a distinge cognates de împrumuturi, şi nici să o depăşim în multele cazuri în care nu avem cunoştinţele lingvistice necesare pentru a face acest lucru? Există, de fapt, o posibilitate: să evităm în întregime întrebarea în etapa de analiză a datelor şi pur şi simplu să iden-

6 tificăm care forme sunt considerate a fi cumva corelate una cu cealaltă - fie de către specialişti în aceste limbi fie, mai obiectiv, de abordările computerizate. Mai mult, Jäger (2018) consideră tratarea contactului lingvistic (şi a împrumuturilor, mai precis) o problemă nesoluţionată pentru lingvistica istorică computaţională. Noi abordăm această problemă de cercetare şi propunem o metodă automată pentru identificarea tipului relaţiei dintre cuvinte (congates sau împrumuturi). Arătăm că trăsăturile ortografice au putere discriminativă mare şi analizăm relevanţa mai multor factori lingvistici subiacenţi în problema de clasificare. Realizăm experimente pe mai multe perechi de limbi. Rezultatele au fost publicate şi prezentate la ACL 2014 (Ciobanu şi Dinu, 2014c) şi ACL 2015 (Ciobanu şi Dinu, 2015). Elaborăm o metodă pentru producerea automată a cuvintelor înrudite, cu următoarele subprobleme: reconstrucţia proto-cuvintelor, producerea cuvintelor moderne şi a perechilor cognate. În primul rând, abordăm reconstruirea proto-cuvintelor. Date fiind cuvinte în limbile moderne, problema este de a reconstrui automat proto-cuvintele din care acestea au evoluat. Rezolvăm această problemă în două etape. Pentru primul pas, având perechile de cuvinte cognate în limbile moderne şi strămoşii lor comuni, propunem o metodă de producere bazată pe etichetare secvenţială pentru reconstruirea proto-cuvintelor, pe care o aplicăm pentru fiecare dintre limbile moderne individual. Pentru a doua etapă, introducem un ansamblu pentru agregarea rezultatelor din mai multe limbi, în vederea reconstituirii proto-cuvintelor comune. Desfăşurăm experimente pentru reconstruirea proto-cuvintelor pe trei seturi de date în limbi romanice. Rezultatele au fost publicate şi prezentate la COLING 2018 (Ciobanu şi Dinu, 2018a; Ciobanu şi Dinu, 2018b). Abordăm apoi problema producerii cuvintelor moderne. Limbile naturale sunt permanent în contact, împrumutând cuvinte unele de la altele. Investigăm derivarea cuvintelor dintr-o limbă sursă într-o limbă destinaţie, experimentăm cu mai mult perechi de limbi şi evaluăm în continuare cât de bine modelează abordarea noastră forma unor cuvinte străine intrate într-o limbă destinaţie şi care limbă sursă este modelată mai bine prin metoda noastră. Rezultatele au fost publicate şi prezentate la CICLing 2017 (Dinu şi Ciobanu, 2017). În cele din urmă, pentru producerea perechilor cognate investigăm dacă, dat fiind un cuvânt, putem determina automat forma perechii sale cognate într-o limbă înrudită. Executăm experimente pe mai multe perechi de limbi, dintre care unele sunt mai apropiate (precum engleză - germană), iar altele mai puţin apropiate (precum engleză - spaniolă). Rezultatele au fost publicate şi prezentate la KES 2016 (Ciobanu, 2016) şi CICLing 2017 (Dinu şi Ciobanu, 2017). Implementăm şi evaluăm sisteme liniare şi de ansamblu pentru a distinge între limbi foarte apropiate. De asemenea, folosim ansamblul în probleme conexe, pentru a identifica limba maternă a unui vorbitor şi pentru a analiza limba maternă în contextul realizării profilelor de autor. Rezultatele au a fost publicate la BEA@EMNLP 2017 (Zampieri et al., 2017), CLEF 2017 (Ciobanu et al., 2017b), VarDial@COLING 2015 (Nisioi et al., 2016) şi VarDial@COLING 2018 (Ciobanu et al., 2018a; Ciobanu et al., 2018b). Efectuăm un studiu computaţional iniţial cu privire la dialectele limbii române. Analizăm diferenţele dintre ele folosind liste de cuvinte uzuale în formă ortografică şi fonetică. Extragem trăsături ortografice şi fonetice din alinierea cuvintelor din dialecte cu traducerea lor în limba română şi analizăm puterea lor predictivă prin construirea unei probleme de clasificare pentru identificarea dialectului la nivel de cuvânt. Rezultatele au fost publicate şi prezentate la LREC 2016 (Ciobanu şi Dinu, 2016).

7 3 Structura Tezei Teza este organizată după cum urmează. În Capitolul 1 introducem tema de cercetare abordată, motivaţia care stă la baza acestei lucrări, precum şi principalele contribuţii. În Capitolul 2 prezentăm o privire de ansamblu asupra principalelor concepte şi noţiuni teoretice privind similaritatea limbilor în lingvistica computaţională. Revedem metodele de ultimă oră, descriem pe scurt unele dintre aplicaţiile lor în diverse domenii şi implicaţiile lor practice în problemele NLP de zi cu zi. Prezentăm câteva distanţe lingvistice populare care s-au dovedit utile în NLP. În Capitolul 3 abordăm problema similarităţii lingvistice dintr-o perspectivă cantitativă. Propunem o metodă pentru determinarea gradelor de similaritate între limbi. Începem cu nivelul lexical şi continuăm cu nivelul sintactic. Aplicăm metoda noastră pe diverse corpusuri şi comparăm rezultatele noastre, în ceea ce priveşte similaritatea, cu arborele filogenetic al limbilor general acceptat. De asemenea, construim un set de cuvinte înrudite pentru lexiconul românesc. În cele din urmă, abordăm problema comprehensibilităţii textelor traduse ( readability în limba engleză), evaluăm impactul traducerii şi investigăm puterea de discriminare a unor trăsături de comprehensibilitate în problema identificării traducerilor. Rezultatele prezentate în acest capitol se bazează pe următoarele lucrări: Ciobanu şi Dinu (2013), Ciobanu şi Dinu (2014d), Ciobanu şi Dinu (2014b), Ciobanu şi Dinu (2014e) Ciobanu şi Dinu (2014a), Ciobanu et al. (2015) şi Ciobanu et al. (2017a). În Capitolul 4 prezentăm o metodă pentru identificarea cuvintelor înrudite. Dezvoltăm o metodă de învăţare automată pentru identificarea perechilor cognate şi în continuare extindem studiul pentru a identifica tipul relaţiei dintre cuvinte (cognate versus împrumuturi). Realizăm experimente pe limbi romanice, care arată că distanţele lingvistice şi trăsăturile ortografice au o putere discriminativă ridicată. Rezultatele prezentate în acest capitol se bazează pe următoarele lucrări: Ciobanu şi Dinu (2014c) şi Ciobanu şi Dinu (2015). În Capitolul 5 avansăm spre problema producerii de cuvinte. Propunem o metodă pentru a prezice forma cuvintelor într-o limbă destinaţie. Evaluăm metoda pe mai multe seturi de date, incluzând diferite limbi, în trei subprobleme: producerea cuvintelor moderne, a perechilor cognate şi reconstruirea protocuvintelor (pentru care folosim şi un ansamblu, care se dovedeşte util atunci când sunt disponibile date paralele din mai multe limbi moderne). Rezultatele prezentate în acest capitol se bazează pe următoarele lucrări: Ciobanu (2016), Dinu şi Ciobanu (2017), Ciobanu şi Dinu (2018a) şi Ciobanu şi Dinu (2018b). În Capitolul 6 propunem algoritmi pentru a distinge automat între limbi apropiate, varietăţi de limbi şi dialecte. Mai întâi experimentăm cu clasificatori liniari. Ulterior propunem un ansamblu pentru aceeaşi problemă. Evaluăm rezultatele noastre prin participarea la competiţia VarDial pentru a face diferenţa între limbi similare şi de asemenea, în cadrul competiţiilor CLEF şi NLI pentru alte două probleme de cercetare crearea de profiluri de autor bazate pe limba maternă a autorului şi identificarea limbii materne. Efectuăm un studiu computaţional iniţial cu privire la dialectele româneşti şi investigăm puterea discriminativă a trăsăturilor ortografice şi fonetice în identificarea dialectului la nivel de cuvânt. Rezultatele prezentate în acest capitol se bazează pe următoarele lucrări: Ciobanu şi Dinu (2016), Nisioi et al. (2016), Zampieri et al. (2017), Ciobanu et al. (2017b), Ciobanu et al. (2018a) şi Ciobanu et al. (2018b). În cele din urmă, în Capitolul 7 rezumăm conţinutul şi contribuţiile acestei teze, prezentăm concluzii şi propunem câteva idei şi direcţii de cercetare pentru activitatea viitoare.

8 4 Lucrări Publicate 1. Alina Maria Ciobanu şi Liviu P. Dinu Ab Initio: Automatic Latin Proto-word Reconstruction. In Proceedings of the 27th International Conference on Computational Linguistics, COLING 2018, pages Alina Maria Ciobanu şi Liviu P. Dinu Simulating Language Evolution: a Tool for Historical Linguistics. In The 27th International Conference on Computational Linguistics: System Demonstrations, COLING 2018, pages Alina Maria Ciobanu, Shervin Malmasi, şi Liviu P. Dinu German Dialect Identification Using Classifier Ensembles. In Proceedings of the Fifth Workshop on NLP for Similar Languages, Varieties and Dialects, VarDial@COLING 2018, pages Alina Maria Ciobanu, Marcos Zampieri, Shervin Malmasi, Santanu Pal, şi Liviu P. Dinu Discriminating between Indo-Aryan Languages Using SVM Ensembles. In Proceedings of the Fifth Workshop on NLP for Similar Languages, Varieties and Dialects, VarDial@COLING 2018, pages Bogdan Dumitru, Alina Maria Ciobanu, şi Liviu P. Dinu ALB at SemEval-2018 Task 10: A System for Capturing Discriminative Attributes. In Proceedings of The 12th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2018, pages Marcos Zampieri, Alina Maria Ciobanu, şi Liviu P. Dinu Native Language Identification on Text and Speech. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, BEA@EMNLP 2017, pages Alina Maria Ciobanu, Marcos Zampieri, Shervin Malmasi, şi Liviu P. Dinu Including Dialects and Language Varieties in Author Profiling. In Working Notes of CLEF Conference and Labs of the Evaluation Forum. 8. Alina Maria Ciobanu, Liviu P. Dinu, şi Andrea Sgarro Towards a Map of the Syntactic Similarity of Languages. In Computational Linguistics and Intelligent Text Processing - 18th International Conference, CICLing 2017, Revised Selected Papers, Part I, pages Liviu P. Dinu şi Alina Maria Ciobanu Romanian Word Production: An Orthographic Approach Based on Sequence Labeling. In Computational Linguistics and Intelligent Text Processing - 18th International Conference, CICLing 2017, Revised Selected Papers, Part I, pages Alina Maria Ciobanu Sequence Labeling for Cognate Production. In Knowledge-Based and Intelligent Information & Engineering Systems: Proceedings of the 20th International Conference KES 2016, pages Alina Maria Ciobanu şi Liviu P. Dinu A Computational Perspective on the Romanian Dialects. In Proceedings of the Tenth International Conference on Language Resources and Evaluation, LREC Sergiu Nisioi, Alina Maria Ciobanu, şi Liviu P. Dinu Vanilla Classifiers for Distinguishing between Similar Languages. In Proceedings of the Third Workshop on NLP for Similar Languages, Varieties and Dialects, VarDial@COLING 2016, pages

9 13. Alina Maria Ciobanu şi Liviu P. Dinu Automatic Discrimination between Cognates and Borrowings. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, ACL 2015, Volume 2: Short Papers, pages Alina Maria Ciobanu, Liviu P. Dinu, şi Flaviu Pepelea Readability Assessment of Translated Texts. In Recent Advances in Natural Language Processing, RANLP 2015, pages Marcos Zampieri, Alina Maria Ciobanu, Vlad Niculae, şi Liviu P. Dinu AMBRA: A Ranking Approach to Temporal Text Classification. In Proceedings of the 9th International Workshop on Semantic Evaluation, SemEval@NAACL-HLT 2015, pages Alina Maria Ciobanu şi Liviu P. Dinu Automatic Detection of Cognates Using Orthographic Alignment. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, ACL 2014, Volume 2: Short Papers, pages Alina Maria Ciobanu şi Liviu P. Dinu A Quantitative Insight into the Impact of Translation on Readability. In Proceedings of the 3rd Workshop on Predicting and Improving Text Readability for Target Reader Populations, PITR@EACL 2014, pages Vlad Niculae, Marcos Zampieri, Liviu P. Dinu, şi Alina Maria Ciobanu Temporal Text Ranking and Automatic Dating of Texts. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2014, pages Alina Maria Ciobanu, Anca Dinu, şi Liviu P. Dinu Predicting Romanian Stress Assignment. In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2014, pages Cornelia Caragea, Jian Wu, Alina Maria Ciobanu, Kyle Williams, Juan Pablo Fernández Ramírez, Hung-Hsuan Chen, Zhaohui Wu, şi C. Lee Giles CiteSeer x : A Scholarly Big Dataset. In Proceedings of Advances in Information Retrieval - 36th European Conference on IR Research, ECIR 2014, pages Alina Maria Ciobanu şi Liviu P. Dinu An Etymological Approach to Cross-Language Orthographic Similarity. Application on Romanian. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, pages Liviu P. Dinu, Alina Maria Ciobanu, Ioana Chitoran, şi Vlad Niculae Using a Machine Learning Model to Assess the Complexity of Stress Systems. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, LREC 2014, pages Alina Maria Ciobanu şi Liviu P. Dinu Building a Dataset of Multilingual Cognates for the Romanian Lexicon. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, LREC 2014, pages Alina Maria Ciobanu şi Liviu P. Dinu On the Romance Languages Mutual Intelligibility. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, LREC 2014, pages Anca Dinu şi Alina Maria Ciobanu Alternative Measures of Word Relatedness in Distributional Semantics. In Proceedings of the Joint Symposium on Semantic Processing. Textual Inference and Structures in Corpora, JSSP 2013, pages

10 26. Alina Maria Ciobanu, Anca Dinu, Liviu P. Dinu, Vlad Niculae, şi Octavia-Maria Sulea Temporal Classification for Historical Romanian Texts. In Proceedings of the 7th Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities, 2013, pages Alina Maria Ciobanu, Liviu P. Dinu, Octavia-Maria Sulea, Anca Dinu, şi Vlad Niculae Temporal Text Classification for Romanian Novels Set in the Past. In Recent Advances in Natural Language Processing, RANLP 2013, pages Alina Maria Ciobanu şi Liviu P. Dinu A Dictionary-based Approach for Evaluating Orthographic Methods in Cognates Identification. In Recent Advances in Natural Language Processing, RANLP 2013, pages Alina Maria Ciobanu şi Liviu P. Dinu On the Romanian Rhyme Detection. In The 24th International Conference on Computational Linguistics, Proceedings of the Conference: Demonstration Papers, COLING 2012, pages Referinţe Quentin D. Atkinson, Russell D. Gray, Geoff K. Nicholls, şi David J. Welch From Words to Dates: Water into Wine, Mathemagic or Phylogenetic Inference? Transactions of the Philological Society, 103(2): Quentin D Atkinson The Descent of Words. Proceedings of the National Academy of Sciences, 110(11): Alexandre Bouchard-Côté, David Hall, Thomas L. Griffiths, şi Dan Klein Automated Reconstruction of Ancient Languages Using Probabilistic Models of Sound Change. Proceedings of the National Academy of Sciences, 110(11): Chris Buckley, Mandar Mitra, Janet A. Walz, şi Claire Cardie Using Clustering and SuperConcepts Within SMART: TREC 6. In Proceedings of the 6th Text Retrieval Conference, TREC 1997, pages Lyle Campbell Historical Linguistics. An Introduction. MIT Press. Ioana Chitoran The Nature of Historical Change. In The Oxford Handbook of Laboratory Phonology. Oxford University Press. Alina Maria Ciobanu şi Liviu P. Dinu A Dictionary-based Approach for Evaluating Orthographic Methods in Cognates Identification. In Recent Advances in Natural Language Processing, RANLP 2013, pages Alina Maria Ciobanu şi Liviu P. Dinu. 2014a. A Quantitative Insight into the Impact of Translation on Readability. In Proceedings of the 3rd Workshop on Predicting and Improving Text Readability for Target Reader Populations, PITR@EACL 2014, pages Alina Maria Ciobanu şi Liviu P. Dinu. 2014b. An Etymological Approach to Cross-Language Orthographic Similarity. Application on Romanian. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, pages Alina Maria Ciobanu şi Liviu P. Dinu. 2014c. Automatic Detection of Cognates Using Orthographic Alignment. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, ACL 2014, Volume 2: Short Papers, pages Alina Maria Ciobanu şi Liviu P. Dinu. 2014d. Building a Dataset of Multilingual Cognates for the Romanian Lexicon. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, LREC 2014, pages Alina Maria Ciobanu şi Liviu P. Dinu. 2014e. On the Romance Languages Mutual Intelligibility. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, LREC 2014, pages

11 Alina Maria Ciobanu şi Liviu P. Dinu Automatic Discrimination between Cognates and Borrowings. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, ACL 2015, Volume 2: Short Papers, pages Alina Maria Ciobanu şi Liviu P. Dinu A Computational Perspective on the Romanian Dialects. In Proceedings of the Tenth International Conference on Language Resources and Evaluation LREC Alina Maria Ciobanu şi Liviu P. Dinu. 2018a. Ab Initio: Automatic Latin Proto-word Reconstruction. In Proceedings of the 27th International Conference on Computational Linguistics, COLING 2018, pages Alina Maria Ciobanu şi Liviu P. Dinu. 2018b. Simulating Language Evolution: a Tool for Historical Linguistics. In The 27th International Conference on Computational Linguistics: System Demonstrations, COLING 2018, pages Alina Maria Ciobanu, Liviu P. Dinu, şi Flaviu Pepelea Readability Assessment of Translated Texts. In Recent Advances in Natural Language Processing, RANLP 2015, pages Alina Maria Ciobanu, Liviu P. Dinu, şi Andrea Sgarro. 2017a. Towards a Map of the Syntactic Similarity of Languages. In Computational Linguistics and Intelligent Text Processing - 18th International Conference, CICLing 2017, Revised Selected Papers, Part I, pages Alina Maria Ciobanu, Marcos Zampieri, Shervin Malmasi, şi Liviu P. Dinu. 2017b. Including Dialects and Language Varieties in Author Profiling. In Working Notes of CLEF Conference and Labs of the Evaluation Forum. Alina Maria Ciobanu, Shervin Malmasi, şi Liviu P. Dinu. 2018a. German Dialect Identification Using Classifier Ensembles. In Proceedings of the Fifth Workshop on NLP for Similar Languages, Varieties and Dialects, VarDial@COLING 2018, pages Alina Maria Ciobanu, Marcos Zampieri, Shervin Malmasi, Santanu Pal, şi Liviu P. Dinu. 2018b. Discriminating between Indo-Aryan Languages Using SVM Ensembles. In Proceedings of the Fifth Workshop on NLP for Similar Languages, Varieties and Dialects, VarDial@COLING 2018, pages Alina Maria Ciobanu Sequence Labeling for Cognate Production. In Knowledge-Based and Intelligent Information & Engineering Systems: Proceedings of the 20th International Conference KES 2016, pages Ton Dijkstra, Franc Grootjen, şi Job Schepens Distributions of Cognates in Europe as Based on Levenshtein Distance. Bilingualism: Language and Cognition, 15: Liviu P. Dinu şi Alina Maria Ciobanu Romanian Word Production: An Orthographic Approach Based on Sequence Labeling. In Computational Linguistics and Intelligent Text Processing - 18th International Conference, CICLing 2017, Revised Selected Papers, Part I, pages Russel Gray şi Quentin Atkinson Language Tree Divergences Support the Anatolian Theory of Indo- European Origin. Nature, 426: Robert Anderson Hall Linguistics and Your Language. Doubleday New York. Paul Heggarty Beyond Lexicostatistics: How to Get More out of Word List Comparisons. In Quantitative Approaches to Linguistic Diversity: Commemorating the Centenary of the Birth of Morris Swadesh, pages Benjamins. Gerhard Jäger Computational Historical Linguistics. CoRR, abs/ Grzegorz Kondrak, Daniel Marcu, şi Kevin Knight Cognates Can Improve Statistical Translation Models. In Proceedings of HLT-NAACL, pages Johann-Mattis List, Simon J. Greenhill, şi Russell D. Gray The Potential of Automatic Word Comparison for Historical Linguistics. PLOS ONE, 12(1):1 18. April McMahon, Paul Heggarty, Robert McMahon, şi Natalia Slaska. 2005a. Swadesh Sublists and the Benefits of Borrowing: an Andean Case Study. Transactions of the Philological Society, 103(2): April McMahon, Paul Heggarty, Robert McMahon, şi Natalia Slaska. 2005b. Swadesh Sublists and the Benefits of Borrowing: an Andean Case Study. Transactions of the Philological Society, 103(2):

12 James W. Minett şi William S.-Y. Wang On Detecting Borrowing: Distance-based and Character-based Approaches. Diachronica, 20(2): Ee-Lee Ng, Beatrice Chin, Alvin W. Yeo, şi Bali Ranaivo-Malançon Identification of Closely-Related Indigenous Languages: An Orthographic Approach. Int. J. of Asian Lang. Proc., 20(2): Sergiu Nisioi, Alina Maria Ciobanu, şi Liviu P. Dinu Vanilla Classifiers for Distinguishing between Similar Languages. In Proceedings of the Third Workshop on NLP for Similar Languages, Varieties and Dialects, 2016, pages Michael P. Oakes Computer Estimation of Vocabulary in a Protolanguage from Word Lists in Four Daughter Languages. Journal of Quantitative Linguistics, 7: Michel Simard, George F. Foster, şi Pierre Isabelle Using Cognates to Align Sentences in Bilingual Corpora. In Proceedings of the Fourth International Conference on Theoretical and Methodological Issues in Machine Translation. Marcos Zampieri, Liling Tan, Nikola Ljubešić, şi Jörg Tiedemann, editors Proceedings of the First Workshop on Applying NLP Tools to Similar Languages, Varieties and Dialects, VarDial Association for Computational Linguistics and Dublin City University. Marcos Zampieri, Alina Maria Ciobanu, şi Liviu P. Dinu Native Language Identification on Text and Speech. In Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, BEA@EMNLP 2017, pages