{"id":1594,"date":"2026-04-19T16:18:32","date_gmt":"2026-04-19T14:18:32","guid":{"rendered":"https:\/\/kimeko.digital-hub.sh\/?p=1594"},"modified":"2026-04-19T16:19:01","modified_gmt":"2026-04-19T14:19:01","slug":"quest-best-paper-best-presentation-award-bei-der-ieee-icnlp-2026","status":"publish","type":"post","link":"https:\/\/kimeko.digital-hub.sh\/index.php\/2026\/04\/19\/quest-best-paper-best-presentation-award-bei-der-ieee-icnlp-2026\/","title":{"rendered":"QUEST: Best Paper &amp; Best Presentation Award bei der IEEE ICNLP 2026"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"1594\" class=\"elementor elementor-1594\" data-elementor-post-type=\"post\">\n\t\t\t\t<div class=\"elementor-element elementor-element-1e693635 e-flex e-con-boxed e-con e-parent\" data-id=\"1e693635\" data-element_type=\"container\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-373ac300 elementor-widget elementor-widget-text-editor\" data-id=\"373ac300\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\n<p>Unser Paper \u201eQUEST: A Multi-Metric Framework for Analyzing Consensus in LLM Outputs&#8220; wurde auf der 8th International Conference on Natural Language Processing (IEEE ICNLP 2026) in Xi&#8217;an, China, mit dem Best Paper Award sowie dem Best Presentation Award ausgezeichnet. Pr\u00e4sentiert wurde die Arbeit von Dr.-Ing. Robin Nicolay, Postdoc am Lehrstuhl f\u00fcr Hybride Methoden in der KI und dem maschinellen Lernen der Universit\u00e4t Rostock.<\/p>\n\n\n\n<p>Wie zuverl\u00e4ssig sind die Antworten gro\u00dfer Sprachmodelle \u2013 und woran l\u00e4sst sich das erkennen, wenn keine Referenzantwort vorliegt? Diese Frage steht im Mittelpunkt von QUEST, einem webbasierten Evaluierungsframework, das den direkten Vergleich mehrerer LLMs anhand syntaktischer und semantischer \u00c4hnlichkeitsma\u00dfe erm\u00f6glicht. Das System kombiniert Levenshtein-Distanz, Jaccard-\u00c4hnlichkeit und Cosinus-\u00c4hnlichkeit \u00fcber Satzeinbettungen, um quantitative Konsensscores abzuleiten. Hohe \u00dcbereinstimmung zwischen Modellen dient dabei als Proxy f\u00fcr Verl\u00e4sslichkeit; geringe \u00dcbereinstimmung signalisiert epistemische Unsicherheit oder m\u00f6gliche Halluzinationen.<br>Die Evaluierung anhand medizinischer Fragen zeigt, dass das Framework zwischen faktisch gekl\u00e4rten, ambivalenten und fiktiven Anfragen differenzieren kann. Dies ist ein wichtiger Schritt hin zu erkl\u00e4rbaren und auditierbaren KI-Systemen, insbesondere f\u00fcr den Einsatz in regulierten Bereichen wie der klinischen Sprachverarbeitung. Die Arbeit entstand im Kontext des KiMeKo-Projekts, einem vom BMFTR (F\u00f6rdernummer: 01IS24056D) gef\u00f6rderten Verbundvorhaben zur Entwicklung KI-basierter Medizinprodukte.<\/p>\n\n\n\n<p>Eine Demonstration des Tools ist <a href=\"https:\/\/www.haiml.informatik.uni-rostock.de\/research\/projects\/KiMeKo\/QUEST\" target=\"_blank\" rel=\"noreferrer noopener\">hier<\/a> zu finden.<\/p>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-ac018c9 e-flex e-con-boxed e-con e-parent\" data-id=\"ac018c9\" data-element_type=\"container\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-a4d4e88 elementor-widget elementor-widget-image\" data-id=\"a4d4e88\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img fetchpriority=\"high\" decoding=\"async\" width=\"800\" height=\"588\" src=\"https:\/\/kimeko.digital-hub.sh\/wp-content\/uploads\/2026\/04\/IMG_0046-1024x752.jpeg\" class=\"attachment-large size-large wp-image-1596\" alt=\"\" srcset=\"https:\/\/kimeko.digital-hub.sh\/wp-content\/uploads\/2026\/04\/IMG_0046-1024x752.jpeg 1024w, https:\/\/kimeko.digital-hub.sh\/wp-content\/uploads\/2026\/04\/IMG_0046-300x220.jpeg 300w, https:\/\/kimeko.digital-hub.sh\/wp-content\/uploads\/2026\/04\/IMG_0046-768x564.jpeg 768w, https:\/\/kimeko.digital-hub.sh\/wp-content\/uploads\/2026\/04\/IMG_0046-1536x1128.jpeg 1536w, https:\/\/kimeko.digital-hub.sh\/wp-content\/uploads\/2026\/04\/IMG_0046-2048x1504.jpeg 2048w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Unser Paper \u201eQUEST: A Multi-Metric Framework for Analyzing Consensus in LLM Outputs&#8220; wurde auf der 8th International Conference on Natural Language Processing (IEEE ICNLP 2026) in Xi&#8217;an, China, mit dem Best Paper Award sowie dem Best Presentation Award ausgezeichnet. Pr\u00e4sentiert wurde die Arbeit von Dr.-Ing. Robin Nicolay, Postdoc am Lehrstuhl f\u00fcr Hybride Methoden in der [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-1594","post","type-post","status-publish","format-standard","hentry","category-allgemein"],"_links":{"self":[{"href":"https:\/\/kimeko.digital-hub.sh\/index.php\/wp-json\/wp\/v2\/posts\/1594","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/kimeko.digital-hub.sh\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/kimeko.digital-hub.sh\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/kimeko.digital-hub.sh\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/kimeko.digital-hub.sh\/index.php\/wp-json\/wp\/v2\/comments?post=1594"}],"version-history":[{"count":4,"href":"https:\/\/kimeko.digital-hub.sh\/index.php\/wp-json\/wp\/v2\/posts\/1594\/revisions"}],"predecessor-version":[{"id":1599,"href":"https:\/\/kimeko.digital-hub.sh\/index.php\/wp-json\/wp\/v2\/posts\/1594\/revisions\/1599"}],"wp:attachment":[{"href":"https:\/\/kimeko.digital-hub.sh\/index.php\/wp-json\/wp\/v2\/media?parent=1594"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/kimeko.digital-hub.sh\/index.php\/wp-json\/wp\/v2\/categories?post=1594"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/kimeko.digital-hub.sh\/index.php\/wp-json\/wp\/v2\/tags?post=1594"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}