近日，由人工智能与计算机学院副教授陈翔指导2023级研究生高朝阳完成的研究论文“An Empirical Study on Challenges for LLM Application Developers（大语言模型应用开发者面临挑战的实证研究）”，被软件工程研究领域顶级期刊《ACM Transactions on Software Engineering and Methodology》（TOSEM）录用。南通大学为第一署名单位。
该论文针对大型语言模型（LLM）应用开发者所面临挑战，通过全面的数据收集与分析工作，开展了系统的实证研究。研究团队从OpenAI开发者论坛中爬取了大量相关问题帖子，并运用严谨的人工标注和分类方法，构建了一个多层次多维度的开发挑战分类体系。这一体系不仅涵盖了API使用、GPT Builder开发、提示设计等关键技术领域，还深入探讨了成本、速率限制、数据隐私等非功能性挑战，全面揭示了LLM开发者在实践中的痛点与难点，为理解LLM开发过程中的复杂性和多样性提供了新的视角。该研究为LLM开发者提供了宝贵的实践指南，帮助他们更好地识别和应对开发过程中的各种挑战，从而提升开发效率和产品质量。研究结果有助于促使LLM供应商改进产品文档、优化API设计、提供更全面的开发工具和支持资源，以满足开发者的实际需求。此外，该研究还推动了学术界对LLM开发领域的关注，为后续研究提供了丰富的研究素材和理论基础，有助于进一步探索LLM技术的边界和应用潜力。
TOSEM是国际上公认的最权威、最高水平的软件工程领域顶级期刊之一，也是软件工程领域仅有的两个CCF-A类国际期刊之一，是中国计算机学会推荐的 A 类国际期刊和中科院一区期刊，年均接收文章30余篇，2024影响因子6.604。
论文链接：https://dl.acm.org/doi/abs/10.1145/3715007
（唐增阳）
