From Zero to RAGs. Balancing job-NER performance with Token Cost
Lade...
Autor:innen
Autor:in (Körperschaft)
Publikationsdatum
2026
Typ der Arbeit
Studiengang
Typ
04B - Beitrag Konferenzschrift
Herausgeber:innen
Herausgeber:in (Körperschaft)
Betreuer:in
Übergeordnetes Werk
Data Science and Security. Proceedings of IDSCS 2025, Volume 2
Themenheft
DOI der Originalpublikation
Link
Zugehörige Forschungsdaten
Reihe / Serie
Lecture Notes in Networks and Systems (LNNS)
Reihennummer
1945
Jahrgang / Band
2
Ausgabe / Nummer
Seiten / Dauer
25-37
Patentnummer
Verlag / Herausgebende Institution
Springer
Verlagsort / Veranstaltungsort
Bangalore
Auflage
Version
Programmiersprache
Abtretungsempfänger:in
Praxispartner:in/Auftraggeber:in
Zusammenfassung
We investigate prompt-optimization strategies for domain-specific named entity recognition in job advertisements by balancing the extraction performance against the number of tokens. Using the SKILLSPAN corpus, we implement six pipelines combining three prompting methods, zero-shot, hard-coded few-shot, and dynamic RAG-based few-shot, with optional RAG-based semantic prefiltering. Each pipeline extracts skills and via GPT-4o-mini, measuring F1, precision, recall, and average tokens per advertisement. The results show that dynamic RAG-few-shot without prefiltering achieves the highest F1 (≈71% for knowledge, ≈60% for skills) and that prefiltering might reduce token usage by up to 70% while modestly lowering recall. Compared to zero-shot, few-shot prompting, especially with RAG retrieval, yields substantial recall gains of up to 28% at the cost of precision. Our findings demonstrate that RAG-augmented few-shot prompting offers an effective, token-efficient solution for specialized NER tasks.
Schlagwörter
Fachgebiet (DDC)
Veranstaltung
International Conference on Data Science for Computational Security (IDSCS 2025)
Startdatum der Ausstellung
Enddatum der Ausstellung
Startdatum der Konferenz
14.11.2025
Enddatum der Konferenz
15.11.2025
Datum der letzten Prüfung
ISBN
978-3-032-24074-3
978-3-032-24075-0
978-3-032-24075-0
ISSN
Sprache
Englisch
Während FHNW Zugehörigkeit erstellt
Ja
Zukunftsfelder FHNW
Publikationsstatus
Veröffentlicht
Begutachtung
peer-reviewed
Open Access-Status
Closed
Zitation
Moser, D., Dornberger, R., & Hanne, T. (2026). From Zero to RAGs. Balancing job-NER performance with Token Cost. In S. Shukla, H. Sayama, K. Tiwari, J. P. George, & J. V. Kureethara (Eds.), Data Science and Security. Proceedings of IDSCS 2025, Volume 2 (Vol. 2, pp. 25–37). Springer. https://doi.org/10.1007/978-3-032-24075-0_3