4 posts tagged with "MLflow"

fastText是Facebook研发的一款针对NLP领域的解决方案。

其主要提供了文本分类和词向量学习两大功能。 其核心思想是将整句话的词向量叠加平均作为文本表示， 并使用softmax分类器进行分类。

我们通过本文介绍一下如何使用MLflow以及Ray来训练我们的fastText模型。

在我们训练结束的时候，往往都会伴随着出来的模型的存放问题。

较为简单的方案就是将模型存放在本地的某一个文件夹下。 但是这样并不利于模型结果的共享。

而MLflow提供了模型的保存功能，可以方便我们及时的将训练好的模型，上传到MLflow中。 以便后续继续深化应用。

MLflow默认使用的是SQLite来存储实验数据等信息。 但是当实验数量增大，后端的查询效率会下降。

在生产环境中，我们推荐使用更为健壮的数据库，比如PostgresSQL（下文中，简写为Postgres）。

在本文中，我们就描述了，如何替换MLflow默认的SQLite为Postgres来加速后端数据的处理能力。

在我们使用Ray Tune的过程中，我们希望有一个开源且功能完备的实验追踪平台。 可以来帮助我们追踪训练过程中的调优的参数，以及每一个实验对应的最终指标结果等。

因此，我们尝试探索通过搭建本地的MLflow来进行相关的管理。