Skip to main content

基于Docker的机器学习开发环境

· 9 min read
Eason G.
Engineer

在我们进行机器学习开发的过车中,我们可能需要一些实验环境。 比如已经预制安装好Python环境,以及常用的Python包,比如sklearn, seaborn等工具。

为了将隔绝不同的开发环境,我们本文中使用Docker来构建相关的环境, 以便进行机器学习的开发工作。

使用MLflow和Ray训练fastText

· 18 min read
Eason G.
Engineer

fastText是Facebook研发的一款针对NLP领域的解决方案。

其主要提供了文本分类和词向量学习两大功能。 其核心思想是将整句话的词向量叠加平均作为文本表示, 并使用softmax分类器进行分类。

我们通过本文介绍一下如何使用MLflow以及Ray来训练我们的fastText模型。

MLflow保存与使用模型

· 11 min read
Eason G.
Engineer

在我们训练结束的时候,往往都会伴随着出来的模型的存放问题。

较为简单的方案就是将模型存放在本地的某一个文件夹下。 但是这样并不利于模型结果的共享。

而MLflow提供了模型的保存功能,可以方便我们及时的将训练好的模型,上传到MLflow中。 以便后续继续深化应用。

MLflow使用PostgresSQL

· 10 min read
Eason G.
Engineer

MLflow默认使用的是SQLite来存储实验数据等信息。 但是当实验数量增大,后端的查询效率会下降。

在生产环境中,我们推荐使用更为健壮的数据库,比如PostgresSQL(下文中,简写为Postgres)。

在本文中,我们就描述了,如何替换MLflow默认的SQLite为Postgres来加速后端数据的处理能力。

MLflow使用介绍

· 9 min read
Eason G.
Engineer

在我们使用Ray Tune的过程中,我们希望有一个开源且功能完备的实验追踪平台。 可以来帮助我们追踪训练过程中的调优的参数,以及每一个实验对应的最终指标结果等。

因此,我们尝试探索通过搭建本地的MLflow来进行相关的管理。

Ray Tune

· 8 min read
Eason G.
Engineer

我们在使用类似Stable-Baseline3之类的基于深度学习的强化学习训练框架的时候, 难免需要进行比较多次数的实验和超参搜索。

那么,我们借助Ray Tune这样的框架,可以帮我们来实现对参数的搜索。

本文,即描述了如何通过使用Ray Tune及其框架和组件,来帮助我们实现快速的参数搜索。