10月22日,第十七屆中國(guó)國(guó)際社會(huì)公共安全產(chǎn)品博覽會(huì)在北京舉行。展會(huì)期間,在由中國(guó)安全防范產(chǎn)品行業(yè)協(xié)會(huì)組織的第九屆優(yōu)秀創(chuàng)新產(chǎn)品頒獎(jiǎng)儀式上,中國(guó)電信自主研發(fā)的“基層治理行業(yè)大模型”榮獲2024中國(guó)國(guó)際社會(huì)公共安全產(chǎn)品博覽會(huì)“重大行業(yè)創(chuàng)新貢獻(xiàn)獎(jiǎng)”。
注“智”添“翼” 賦能基層
基層治理大模型,是中國(guó)電信專為基層工作者量身打造的專家級(jí)智能輔助工具。它依托星辰基礎(chǔ)大模型強(qiáng)大的深度學(xué)習(xí)和知識(shí)泛化能力,通過對(duì)海量的高質(zhì)量專業(yè)文本語料進(jìn)行清洗、標(biāo)注和訓(xùn)練,包括百萬篇司法案例文書,60萬篇政法行業(yè)政策資訊、新聞動(dòng)態(tài)、社會(huì)治理案例,120萬條專業(yè)法律問答數(shù)據(jù)等,并采用自校準(zhǔn)微調(diào)技術(shù),提升強(qiáng)化學(xué)習(xí)效果,為基層社會(huì)治理、矛盾糾紛多元化解、法律業(yè)務(wù)咨詢等場(chǎng)景提供有效的解決方案。
基層治理行業(yè)大模型服務(wù)于全國(guó)基層社區(qū)、街道、綜治網(wǎng)格、派出所、基層法院、司法所等政法機(jī)構(gòu),解決其日常工作瑣碎且繁雜、信息融合度不高、人員素質(zhì)參差不齊、專業(yè)化知識(shí)缺乏等難題,真正為基層工作者提供了高效智慧的工作升級(jí),開拓了AI技術(shù)在基層治理中的新應(yīng)用領(lǐng)域。
行業(yè)沉淀創(chuàng)新提升
中國(guó)電信長(zhǎng)期服務(wù)于政法行業(yè)信息化工作,積累了海量社會(huì)治理領(lǐng)域的高質(zhì)量知識(shí)數(shù)據(jù)、行業(yè)專家標(biāo)注與反饋?;鶎又卫硇袠I(yè)大模型以低耦合、高內(nèi)聚、模塊化的總體架構(gòu)進(jìn)行設(shè)計(jì),通過獲取、清洗、標(biāo)注和訓(xùn)練大量高質(zhì)量的專用文本語料,讓大模型理解基層治理行業(yè)的業(yè)務(wù)特點(diǎn)、專業(yè)術(shù)語和社會(huì)主義核心價(jià)值觀等內(nèi)容,并進(jìn)行專業(yè)化輸出,滿足基層治理、矛盾調(diào)解等場(chǎng)景應(yīng)用需要。同時(shí),利用RPA、OCR等技術(shù),賦能基層治理數(shù)字化轉(zhuǎn)型。該模型主要?jiǎng)?chuàng)新點(diǎn):
高精度內(nèi)容生成:針對(duì)社區(qū)工作的具體領(lǐng)域進(jìn)行專門的訓(xùn)練和優(yōu)化,使得模型在社區(qū)寫作和矛盾調(diào)解應(yīng)用場(chǎng)景中的準(zhǔn)確率顯著高于開源大模型,分別高出30%和60%。
融合RAG系統(tǒng):結(jié)合RAG進(jìn)行結(jié)果校準(zhǔn),有效緩解大模型的幻覺現(xiàn)象,提高內(nèi)容生成的精準(zhǔn)度。
私有化部署:支持私有化部署,確保用戶隱私,同時(shí)通過siege工具進(jìn)行壓測(cè),保證部署的模型表現(xiàn)和訓(xùn)練表現(xiàn)對(duì)齊。
加速推理框架:通過引入VLLM高速推理框架,抓住新技術(shù)應(yīng)用窗口期,提升技術(shù)門檻,使大模型服務(wù)吞吐率和并發(fā)數(shù)相較于現(xiàn)有transformer架構(gòu)基礎(chǔ)模型顯著提升。
截至2024年5月底,該產(chǎn)品已為300+個(gè)客戶開通了超過8000+個(gè)試用/體驗(yàn)賬號(hào),各類能力調(diào)用次數(shù)超過5萬次。試用范圍覆蓋福建、北京、上海、廣東、湖南等27個(gè)?。ㄗ灾螀^(qū)、直轄市)的客戶。
作為建設(shè)網(wǎng)絡(luò)強(qiáng)國(guó)和數(shù)字中國(guó)、維護(hù)網(wǎng)信安全的國(guó)家隊(duì)、主力軍,中國(guó)電信充分發(fā)揮云網(wǎng)融合優(yōu)勢(shì),在社會(huì)治理等領(lǐng)域持續(xù)探索創(chuàng)新,發(fā)展新質(zhì)生產(chǎn)力,加快推進(jìn)基層治理現(xiàn)代化,為更高水平的“平安中國(guó)”建設(shè)作出更大貢獻(xiàn)。