2025年3月5日，应北京大学信息工程学院邀请，加拿大工程院及加拿大皇家学院院士、微众银行首席人工智能顾问、香港科技大学荣休教授、AAAI-2021大会主席、国际人工智能联合会（IJCAI）理事会前主席杨强教授带领微众银行人工智能与隐私计算团队，到访北京大学深圳研究生院信息工程学院，就联邦学习与隐私计算方向做“联邦大模型”专题演讲，与信息工程学院师生展开深入交流。此次参会的微众银行人工智能团队包括杨强教授、研究员古瀚林博士，以及清华大学深圳国际研究生院博士研究生赵心远。北京大学信息工程学院方面，朱跃生教授、罗桂波助理教授，以及北京大学深圳研究生院深圳校友会副会长、深圳创达云睿智能科技有限公司董事长贺超博士，以及信息工程学院人工智能与安全领域的40余名博士及硕士研究生共同参与，共同探讨联邦学习与隐私计算的最新发展及未来趋势。
杨强教授做联邦大模型演讲
杨强教授介绍联邦大小模型协作学习的三个突破
杨强教授是联邦学习领域国际顶级专家，是纵向联邦学习计算模式的发明人，在演讲中，杨强教授深入剖析目前大模型发展所面临的三大核心挑战：数据隐私保护、公域数据枯竭以及终端设备算力限制。指出现阶段大模型在领域知识适配、隐私保护及边缘部署等方面仍存在显著瓶颈，亟需创新性的技术突破与优化策略，以推动大模型在实际应用中的高效落地。杨强教授详细介绍了联邦学习框架下的大小模型协同范式及多项关键技术。阐述了如何通过知识蒸馏实现大模型能力迁移，确保小模型在计算资源受限的环境下仍具备强大的推理能力。并强调差分隐私技术在保障参数传输安全方面的重要性，他以FDKT方案（Federated Distillation with Knowledge Transfer）为例，展示其在实际应用中的优势。他提出的扰动提示-思维链生成机制（PDSS方法），可进一步增强小模型的推理能力与泛化性。同时他特别强调了安全、性能与效率之间的三角平衡关系，主张通过多目标优化模型，在隐私保护与计算性能之间寻求最佳解决方案。杨教授重点介绍目前三个创新突破：（1）双向知识迁移框架FedMKT，支持动态环境下的模型协同进化，提升模型的适应性与泛化能力；（2）生成式数据增强技术，突破小样本训练瓶颈，提高数据稀缺场景下的模型表现；（3）边缘计算设备算力升级后，探索大模型本地化部署路径，实现高效、低延迟的智能推理。杨强教授指出，联邦学习与大模型技术的深度融合，将为构建安全、可信的分布式智能生态系统提供有力支撑。
同学们踊跃提问
杨教授报告围绕联邦大模型的理论框架与技术路线，提供了系统性的解决方案，激发了与会者对隐私计算与模型压缩技术融合的深入思考。同学们积极提问并展开热烈讨论，围绕“如何利用高质量小规模数据开展联邦学习”、“公域数据匮乏的情况下，基于边缘端私有数据的模型微调是否会成为主流？”以及“加密后的Prompt是否会影响大模型对小模型的指导效果？”等关键问题，与杨强教授进行了深入交流。
罗桂波老师介绍联邦学习与课题组研究
罗桂波老师介绍目前信息工程学院智能安全研究团队，针对不同医院间由于地理上隔离而形成严重的数据烟囱及孤岛问题，在医疗专用模型的协同训练上面临非独立同分布（Non-IID）数据和高通信成本等挑战，专注于联邦学习和隐私计算在医疗领域的应用研究。在本次分享会精选了三个有代表性的研究方向，由研究生进行交流：（1）基于联邦学习的医学影像分析基准（Benchmark）研究；（2）基于扩散模型的数据生成隐私计算方法研发；（3）医学影像分割大模型探索。
周哲恺同学分享基于联邦学习的医学影像分析基准研究工作
周哲恺同学分享了医学影像分类任务中的联邦学习基准研究。该工作通过系统性实验评测各类经典联邦学习算法在多种医学影像分类任务中的性能，为未来优化联邦学习在医学场景的应用提供参考。Benchmark涵盖了X光片、眼底视网膜照片等典型医学诊断任务，并对主流联邦学习算法进行了全面对比。实验结果发现利用扩散模型生成医学影像数据，可以有效扩充数据集，并稳定提升联邦学习在Non-IID场景下的表现，学术论文已投到IEEE Journal of Biomedical and Health Informatics期刊。
张瀚文同学分享基于级联扩散模型的高效医学影像分割方法
张瀚文同学分享了基于扩散模型的数据生成隐私计算方法的研究工作。针对在数据Non-IID和高通信成本方面的挑战，她提出了一种基于级联扩散模型的高效医学影像分割方法，包括image-mask pairs生成算法与生成数据标签重建技术，并提出多样化聚合方案以适应不同客户端需求。实验结果表明，该方法在5个多中心医疗数据集上，能在保护隐私的同时，始终达到或甚至超过集中式训练的性能。在隐私保护、通信效率和Non-IID适应性方面均取得重要突破，为分布式医疗数据的应用提供了高效、低成本的解决方案。部分研究成果已形成“Non-IID Medical Image Segmentation based on Cascaded Diffusion Model for Diverse Multi-Center Scenarios”学术论文，被IEEE Journal of Biomedical and Health Informatics期刊接收。
刘羽茜同学介绍医学影像分割大模型的研究工作
刘羽茜同学主要分享医学影像分割大模型的研究工作。医学图像分割在临床诊断中至关重要，虽然Segment Anything Model（SAM）作为通用视觉分割大模型，在医学影像分割任务上潜力大，然而，医学影像数据涉及隐私敏感信息，集中存储和共享面临严峻挑战。目前，尚无专门适用于联邦学习框架的大模型，并且其分割性能、通信成本和训练效率仍有待深入研究。针对这些问题，她提出了用于医学影像分割的联邦基础模型（FedFMS），包括FedSAM和更高效的FedMSA，以提升通信效率和训练速度。实验结果表明，FedFMS在保持数据隐私的同时，能够达到与集中式训练相当的分割性能，而FedMSA展示出优化通信和训练效率的潜力。研究论文“FedFMS: Exploring Federated Foundation Models for Medical Image Segmentation”已在International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2024)会议上发表。
杨强教授与参会嘉宾及同学们围绕三位同学的研究内容展开了深入探讨与专业指导，就联邦大模型的关键技术、挑战及应用前景进行了热烈交流。在本次交流中，大家围绕联邦学习在医学影像分析、隐私计算、多中心数据协同等方面的关键问题展开了深入且富有建设性的讨论。与会嘉宾和同学们就如何优化联邦大模型在医疗场景的适配性、提升通信效率、增强模型的泛化能力等核心议题进行了广泛交流与思想碰撞。
北大信息工程学院团队与微众银行研究团队进行充分交流讨论
杨强教授带领的微众银行研究团队在通用联邦学习及其框架设计方面长期深耕，积累了丰富的研究成果。而北京大学信息工程学院团队则长期专注于联邦学习在医学领域的具体应用，通过多样化的医学数据进行深入验证。两支团队在研究方向上既高度契合，又各具特色，形成了理论与应用相结合的互补优势。通过3个小时的深度交流，双方希望通过建立更深入的合作与互助，进一步推动该领域的研究合作与产业应用落地。
与会嘉宾和同学合影
论坛尾声，参会老师与同学们共同合影留念，记录下这场富有学术价值与思想碰撞的精彩交流。
