近日，由人工智能與計算機學(xué)院副教授陳翔指導(dǎo)2023級研究生高朝陽完成的研究論文“An Empirical Study on Challenges for LLM Application Developers（大語言模型應(yīng)用開發(fā)者面臨挑戰(zhàn)的實證研究）”，被軟件工程研究領(lǐng)域頂級期刊《ACM Transactions on Software Engineering and Methodology》（TOSEM）錄用。南通大學(xué)為第一署名單位。

該論文針對大型語言模型（LLM）應(yīng)用開發(fā)者所面臨挑戰(zhàn)，通過全面的數(shù)據(jù)收集與分析工作，開展了系統(tǒng)的實證研究。研究團隊從OpenAI開發(fā)者論壇中爬取了大量相關(guān)問題帖子，并運用嚴(yán)謹(jǐn)?shù)娜斯?biāo)注和分類方法，構(gòu)建了一個多層次多維度的開發(fā)挑戰(zhàn)分類體系。這一體系不僅涵蓋了API使用、GPT Builder開發(fā)、提示設(shè)計等關(guān)鍵技術(shù)領(lǐng)域，還深入探討了成本、速率限制、數(shù)據(jù)隱私等非功能性挑戰(zhàn)，全面揭示了LLM開發(fā)者在實踐中的痛點與難點，為理解LLM開發(fā)過程中的復(fù)雜性和多樣性提供了新的視角。該研究為LLM開發(fā)者提供了寶貴的實踐指南，幫助他們更好地識別和應(yīng)對開發(fā)過程中的各種挑戰(zhàn)，從而提升開發(fā)效率和產(chǎn)品質(zhì)量。研究結(jié)果有助于促使LLM供應(yīng)商改進產(chǎn)品文檔、優(yōu)化API設(shè)計、提供更全面的開發(fā)工具和支持資源，以滿足開發(fā)者的實際需求。此外，該研究還推動了學(xué)術(shù)界對LLM開發(fā)領(lǐng)域的關(guān)注，為后續(xù)研究提供了豐富的研究素材和理論基礎(chǔ)，有助于進一步探索LLM技術(shù)的邊界和應(yīng)用潛力。

TOSEM是國際上公認(rèn)的最權(quán)威、最高水平的軟件工程領(lǐng)域頂級期刊之一，也是軟件工程領(lǐng)域僅有的兩個CCF-A類國際期刊之一，是中國計算機學(xué)會推薦的 A 類國際期刊和中科院一區(qū)期刊，年均接收文章30余篇，2024影響因子6.604。

論文鏈接：https://dl.acm.org/doi/abs/10.1145/3715007

（唐增陽）