置顶 | 发表于 | 更新于 | 分类于 | 评论数：
本文字数： 21k | 阅读时长 ≈ 19 分钟

1. 前言

  • 此篇博文用来记录平常见到的DL有关讲解很清楚的知识点。
  • 目前文章包括如下内容：（会坚持更新来记录有关知识）
    • 全连接层流程及softmax loss
    • 过拟合欠拟合问题
    • 权重衰减的推导
    • 归一化
    • 网络参数的几种初始化方式
    • 机器学习模型的三种评估方法
    • 感受野
    • 全局平均池化
    • 张量维度的判断技巧
    • 最近邻插值Nearest和双线性插值bilinear
    • Focal Loss
    • 有关PyTorch中nn.CrossEntropyLoss()加入权重的理解
    • Pseudo Labeling 训练策略
    • CNN计算力FLOPs
    • 评价指标ROC和AUC
    • torch.cat方法简记
      阅读全文 »

置顶 | 发表于 | 更新于 | 分类于 | 评论数：
本文字数： 16k | 阅读时长 ≈ 15 分钟

前言

  • 本文记录了RDD常用算子及相关例子，保持更新中
    阅读全文 »

发表于 | 分类于 | 评论数：
本文字数： 4.1k | 阅读时长 ≈ 4 分钟

前言

通常，一个 Spark 应用程序包括两个 JVM 进程，Driver和Executor。Driver是主要的控制进程，负责创建Context、提交Job、将Job转换为Task、协调Executor之间的Task执行
Executor 主要负责执行具体的计算任务，并将结果返回给Driver。因为Driver的内存管理比较简单，和一般JVM程序区别不大，所以本文重点介绍Executor的内存管理。所以，本文所说的内存管理是指Executor的内存管理。

阅读全文 »

发表于 | 分类于 | 评论数：
本文字数： 6.6k | 阅读时长 ≈ 6 分钟

前言

Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别如下，本文为RDD的学习笔记

  • RDD : 弹性分布式数据集
  • 累加器：分布式共享只写变量
  • 广播变量：分布式共享只读变量
    阅读全文 »