Skip to content

视频地址

https://www.bilibili.com/video/BV1Be411g7eD?vd_source=8f40df03fb422d729e00ab0b945d8147

第一章 机器学习env

1.1 机器学习的相关概念

机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论统计学、逼近论、凸分析、算法复杂度理论等多门学科。它通过专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识技能,还凭借重新组织已有的知识结构来不断改善自身的性能。

近十年来人工智能越来越热门,在我们的日常学习中,我们经常听到一大堆专有名词,像人工智能机器学习监督学习非监督学习深度学习强化学习这些, 那它们之间存在什么样的关系呢?

其中,强化学习(Reinforcement Learning, RL),又称再励学习、评价学习或增强学习,用于描述和解决智能体(agent)在与环境交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

目标:解决预测和分类等问题。

1.2 机器学习方法

机器学习实际上包含很多数学方法,会涉及到统计学概率论信息论等知识。 目标是:利用已知的数据,创建一个数学模型,并最终利用该模型进行预测。

如上图,采用大量历史(训练)数据进行训练, 获取到一个经验推理模型。预测就是应用训练出来的模型,来解决一个未知的问题。

数据是否有效,关系到训练最终的模型质量。

训练方法是否有效,同样关系到训练最终的模型质量。

1.2.1机器学习的步骤

​ 1. 确定与问题相关的数据(明确输入和输出、均为可观测数据

​ 2. 收集数据、并预处理(数据准备,适用于学习和训练的形式

​ 3. 分析预测结果的类型(分类,回归->是预测温度值,还是判断属于某类

​ 4. 根据预测结果的类型,找到输入输出之间的逻辑关系(黑盒),确定合适的模型或算法。

​ 5. 用这个算法(模型)去解决新的问题(未知数据->同类问题预测

1.2.2机器学习的常用术语:

特征(feature)à 模型的输入à比拟函数中的自变量

标记(label) à 模型的期望输出(非预测值)à比拟函数中的因变量

例如,最简单的线性方程预测模型:f(x) = mx + b ,其中x是特征**(feature, 自变量),是函数(模型)的输入数据,f_(x)_是预测输出的结果(因变量),其目标是尽量与标记值y** 相同或相近。

我们的目标就是获取f(x)的具体形式,也就是模型中的参数m和b。例如:农业中的测产,不同情况的变量,造成农作物的产量和品质的变化。其目标是学习规律,进行调控

1.3 分类和回归

机器学习的主要任务便是聚焦于两个问题:分类和回归。

回归问题: regression, 数据通常是连续的。

​ ● 根据车的品牌,车龄,型号,预测车的价值

​ ● 根据每天卡路里摄入以及运动量,预测一周后的体重

​ ● 基于树的直径,预测树的年龄

分类问题:classification, 数据结果往往是离散的

​ ● 根据影像学资料,判断是否患有某种疾病

​ ● 根据email内容,判断是否为垃圾邮件

1.4 课程学习注意事项

  1. 训练模型的输入输出,就是自变量和因变量, 对应feature和predict(理想状况下predict==label)。

  2. 训练和测试的数据集必须是规范,格式统一的,方便计算机处理。

  3. 分类的数目必须是有限个。例如,最常见的二分类问题。属于定性问题。

回归问题,目标是寻找最优拟合的连续曲线,属于定量问题。

  1. 训练的核心就是从数据的feature和label间寻找联系,可能有无数种的算法(模型), 每种算法都有自己的优缺点(根据场景选择合适的)。

  2. 根据预测(predict)的情况,我们可能需要重新调整算法模型炼丹师)。

1.5 环境安装

任务:搭建python环境,安装神经网络框架(平台工具)以及要使用的功能模块库等等。

1.5.1. 安装Conda虚拟环境

  1. Anaconda的安装:

    完成后在“Anaconda prompt”中,采用命令行去创建虚拟环境。

​ 2. 创建虚拟环境

conda create -n py38 python=3.8

​ 3. 然后激活当前环境

conda activate py38

​ 4. 查看当前虚拟环境中已安装内容

conda list

​ 5. 查看当前已有的虚拟环境

conda env list

1.5.2. pip更换国内镜像

  1. 临时使用 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package

  2. windows下pip更换国内源的方法

    打开我的电脑,在地址栏中输入 %APPDATA% 按回车跳转到目标目录。在目录下创建一个pip文件夹,并在其中创建一个pip.ini 文件。输入以下信息

    [global]

    timeout = 6000

    index-url = https://mirrors.aliyun.com/pypi/simple/

    trusted-host = mirrors.aliyun.come

    1.5.3. 安装神经网络框架(平台)

    访问PyTorch的官网 按照官网提示选择对应的版本进行安装。

1.5.4. 安装jupyter notebook

Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算:开发、文档编写、运行代码和展示结果。

即Jupyter Notebook中所有交互计算、编写说明文档、数学公式、图片以及其他富媒体形式的输入和输出,都是以文档的形式体现的。这些文档是保存为后缀名为**.ipynb**的JSON格式文件,不仅便于版本控制,也方便与他人共享。此外,文档还可以导出为:HTML、LaTeX、PDF等格式。

安装jupyter notebook:

pip install jupyter

pip install --upgrade notebook==6.4.12

安装jupyter notebook的提示功能

pip install jupyter_contrib_nbextensions

jupyter contrib nbextension install --user

pip install --user jupyter_nbextensions_configurator

jupyter nbextensions_configurator enable --user

启动jupyter

jupyter notebook

1.5.5. 常用软件包的安装

opencv

pip install opencv-python

Matplotlib

pip install matplotlib

1.5.6. Conda虚拟环境的迁移

Conda环境安装好后,如果要进行迁移。假设要迁移虚拟环境py38到另一台电脑,并命名为新环境名称为py38new。

首先在当前环境中,先激活py38,然后生成yml文件,并压缩拷贝安装包文件。

conda activate py38conda env export > py38new.yml使用notepad++打开py38new.yml文件,找到当前py38安装包所在路径(文件最后一行),并压缩整个目录下的安装包文件为一个压缩文档,然后将其拷贝到新机器,如下:

prefix: C:\programFilesBycsp\anaconda\envs\py38最后修改该文件的第一行和最后一行分别为:(最后一行为conda虚拟环境的安装包所指定的路径)

name: py38new… …prefix: **C:\Users\hedb2\Anaconda3\envs**py38new目标机器中,按“prefix:”中所指定目录,拷贝压缩包文件到该目录下,并解压py38new虚拟环境的所有安装包后,在py38new.yml文件所在路径下,执行命令:

conda env create -f py38new.yml#然后查看是否迁移成功conda env list


接下来,pycharm是一款强大的工具,几乎嘛嘛能打开,嘛嘛能用,《绿色版》更是强大的一批

Released under the MIT License.