Suicide
前言
SHAP的适用性:场景,领域期刊
研究团队
树洞行动
荷兰阿姆斯特丹自由大学人工智能系终身教授,武汉科技大学大数据研究院副院长特聘教授黄智生于2018年发起了树洞救援行动项目。树洞救援是采用人工智能技术、知识图谱技术,对特定社交网络数据(目前为新浪微博数据)进行分析,从微博信息中辨识出含有自杀方式和行动时间的词汇,发现树洞高自杀风险人群。生成每日通报并发布后,由来自各个行业的树洞救援团志愿者采取相应干预措施来阻止自杀事件发生。树洞救援团初心和目标是利用科学技术联合专业干预,有效地预防和阻止自杀行为发生和发展,探索自杀预防及危机干预的综合性有效策略,倡导心理健康领域的新发展。
GCN文本分类
前言
SHAP的适用性:场景,领域期刊
相关文献资料
GCN文本两类
直接在GCN模块最后计算损失、梯度下降会导致BERT模块无法接受有效的优化信号。一个简单的解决方案是,插值两个模块的预测,同时联合优化两个模块:[(34 封私信 / 43 条消息) ACL 2021
BertGCN:香侬科技提出结合BERT与图网络的传导式文本分类 - 知乎](https://zhuanlan.zhihu.com/p/378798855?share_code=tCGtKSiyPCau&utm_psn=1986046592772490736)
当时,BERT模块没有更新;当时,GCN模块没...
用什么策略评估方法的鲁棒性?十折交叉验证OR不同的随机种子
这是一个非常好的问题!在计算机领域(特别是深度学习/NLP/CV),为什么更常用多随机种子重复实验,而不是10折交叉验证?
答案是:两种方法解决的问题不同,适用场景不同。下面详细解释:
🧪 一、两种方法解决的核心问题不同
多随机种子重复实验
随机性带来的性能波动(初始化、dropout、数据shuffle等)
模型稳定性
10折交叉验证
数据划分带来的性能波动(训练/测试集划分的影响)
数据泛化性
🤖 二、为什么深度学习领域偏好多随机种子?
1️⃣ 深度学习模型的随机性来...
损失函数
交叉熵
分类
二分类交叉熵损失函数
首先,我们回顾一下这个损失函数的作用:它衡量的是模型预测的概率分布与真实的概率分布(标签)之间的“差距”。
对于一个二分类问题(标签 y = 0 或 1),它的公式通常如下:
对于单个样本:
Loss = - [ y * log(p) + (1 - y) * log(1 - p) ]
其中:
y 是真实标签,取值为 0 或 1。
p 是模型预测该样本属于类别 1 的概率(取值范围在 0 到 1 之间)。
这个公式可以拆开理解:
当真实标签 y = 1 时,损失函数变为 Loss = -log(p)。这意味着:
模型预测 p 越接近 1(判断正确且很自信),-log(p) 的值越小(接近 0)。...
如何有效的微调BERT
前言
BERT流程回顾
整个流程:
数据准备
预训练的BERT选择与下载
优化目标+损失函数选择
用CLS 还是最后一层的输出?
都用一下,结果差异区别很大
BERT那么多层,我该调那几层?
BERT各层都学到了什么?
理解这个有助于你做决策:
底层(1-4层):主要学习语法、词性、短语结构等基础语言特征。接近传统的Word Embedding。
中层(5-8层):开始捕获语义、句法关系,比如主谓宾结构、指代关系等。
高层(9-12层):学习高级语义、上下文信息,更贴近具体预训练任务(如Next Sentence Prediction)。
实践建议总结
场景
推荐策略
理由
...
共计 61 篇文章,8 页。