Elixir 和 Rust 是一个很好的组合

译文 精选
开发 前端
这篇文章是关于将 Rust 与 Elixir 结合使用,几分钟内搞定并运行。

一、​问题

我们需要执行 CPU 密集型或系统级编程任务,而hex.pm中没有好的解决方案,在这个例子中,我们假设没有好的方法可以使用 Elixir 进行图像处理。

通常情况下,有一个名为image的高质量 Rust 库声称它就是解决方案!但是糟糕,我们的整个应用程序已经用 Elixir 编写了,我们真的不知道如何很好地使用Rust。

Elixir 如何转向 Rust 代码以实现高性能操作?

二、解决方案

输入rustler,这个库旨在使使用 Rust 及其包生态系统变得简单。让我们开始吧!

按照入门指南,首先将rustler添加到我们的mix.exs文件中:

{:rustler, "~> 0.27.0"}

一旦我们运行mix deps.get使用内置的 mix 任务来生成我们的空 rust 项目:

mix rustler.new

This is the name of the Elixir module the NIF module will be registered to.

Module name > MyApp.RustImage

This is the name used for the generated Rust crate. The default is most likely fine.

Library name (myapp_rustimage) > rust_image

* creating native/rust_image/.cargo/config.toml

* creating native/rust_image/README.md

* creating native/rust_image/Cargo.toml

* creating native/rust_image/src/lib.rs

* creating native/rust_image/.gitignore

Ready to go! See /Users/me/projects/my_app/native/rust_image/README.md for further instructions

你应该去打开它README.md,但我会帮你省去麻烦,我们需要制作一个 Elixir 模块,其中lib/my_app/rust_image.ex包含以下内容:

defmodule MyApp.RustImage do

use Rustler, otp_app: :my_app, crate: "rust_image"

# When your NIF is loaded, it will override this function.

def add(_a, _b), do: :erlang.nif_error(:nif_not_loaded)

end

从那时起,我们准备好做一些 Rust。默认的生成器给了我们一个add/2实现的函数让native/rust_image/src/lib.rs我们来看看

#[rustler::nif]

fn add(a: i64, b: i64) -> i64 {

a + b

}

rustler::init!("Elixir.MyApp.RustImage", [add]);

三、什么是 NIF?

Native Implemented Functions 是 BEAM 允许进程直接调用本地函数的方法。他们通常有大量的样板文件,你需要认真清理内存、处理错误和确保安全。幸运的是,这就是 Rust 的全部!例如这里是 Erlang NIF 教程。我们不需要做任何这些!

我们的超级优化代码将添加两个大小为 i64 的整数并返回结果。请注意此处 Rustler 的特定部分:

  • #[rustler::nif]是一个宏,告诉 Rustler 将此函数公开为 NIF。
  • rustler::init!("Elixir.MyApp.RustImage", [add]);这将初始化 Erlang NIF 运行时,以便 beam 可以将add/2函数放在模块上Elixir.MyApp.RustImage并替换我们留下的存根。

这太棒了。看看这是否有效,让我们开火iex -S mix

iex(1)> MyApp.RustImage.add(100, 20)

12

如果第一次一切正常,你应该已经看到 cargo 在发布模式下构建应用程序并在打开 iex 术语之前成功。如果你还没有安装 Rust,它会显示一个错误,你可以按照通常的方式安装 Rust 。

Rustler 甚至很聪明,会自动重新编译,保持 iex 打开并更改我们的lib.rs

#[rustler::nif]

fn add(a: i64, b: i64) -> i64 {

a + b + 1

}

保存然后再次打开正在运行的 iex 会话:

iex(2)> r(MyApp.RustImage)

... truncated output of cargo doing it's thing an maybe some beam warnings

{:reloaded, [MyApp.RustImage]}

iex(3)> MyApp.RustImage.add(1,1)

3

极好的!我们得到了相同的工作流程和与 Elixir 一起工作的好处,而对 Rust 的烦恼最少。

四、图片

首先将我们的图像依赖项添加到我们的Cargo.toml文件中:

[dependencies]

rustler = "0.27.0"

image = "0.24.6"

然后改变我们lib.rs创建一个函数,它接受一个input路径,一个output路径,quality并将任何图像更改为具有我们设置质量的 JPEG。

use image::io::Reader as ImageReader;

use image::codecs::jpeg::JpegEncoder;

use std::fs::File;

#[rustler::nif]

fn jpg(input: String, output: String, quality: i64) -> Result<String, String> {

let img = ImageReader::open(&input).unwrap().decode().unwrap();

let out_file = std::fs::File::create(&output).unwrap();

let mut jpg = JpegEncoder::new_with_quality(&out_file, quality as u8);

jpg.encode_image(&img).unwrap();

Ok(output.to_string())

}

// add code...

rustler::init!("Elixir.MyApp.RustImage", [add, jpg]);

我们还想更新我们的 RustImage 模块以包含一个存根jpg/3,但这留给读者作为练习。

现在让我们试试吧!iex -S mix

iex(1)> MyApp.RustImage.jpg("input.png", "output.jpeg", 75)

{:ok, "output.jpeg"}

和繁荣!我们已将 PNG 转换为 JPEG,质量为 75%。

五、做一个良好的 BEAM 公民

我们还应该在这里考虑一件事,那就是 CPU 负载。虽然此功能可能会在我们的笔记本电脑上立即运行,但在部署时可能需要更长时间才能共享 CPU/RAM。

而且因为 BEAM 直接运行我们的代码,它会锁定运行时直到它完成运行。我们所说的直接意思是,当使用 NIF 时,beam 会像对待任何其他代码一样对待它,主要的警告是它不能自动抢占 Rust 代码。

在 BEAM 上,这是一个大问题,因为整个运行时都希望能够随时在数百万个进程之间切换上下文。

幸运的是 Rustler 和 BEAM 团队已经想到了这一点并给了我们一个解决方案。只需将该宏更改为此jpeg即可

-- #[rustler::nif]

++ #[rustler::nif(schedule = "DirtyCpu")]

这告诉 Rustler 和 BEAM 以一种在它工作时不会阻塞整个世界的方式自动安排它。再次令人惊叹,这被称为 DirtyNif,当你通过 C 手动使用它时,使用起来会更加困难。

六、部署

使用 Docker 将其部署到 Fly.io 并不是那么自动,我们需要进行一些小的更改,以便我们的 Docker 环境可以构建 Rust。首先,通过在我们的 Elixir 构建步骤之前添加一个构建步骤来更新 Dockerfile:

#... ARG stuff..

FROM rust:1.68.0 as rust

# install build dependencies

RUN apt-get update -y && apt-get install -y build-essential git \

&& apt-get clean && rm -f /var/lib/apt/lists/*_*

workdir /app

COPY native/rust_images ./

RUN cargo rustc --release

#..Elixir builder.....

# compile assets

RUN mix assets.deploy

#NEW STUFF

COPY --from=rust /app/target/release/librust_images.so priv/native/librust_images.so

#/NEW

# Compile the release

RUN mix compile

然后更新我们config/prod.exs添加以下行:

config :my_app, MyApp.RustImage,

crate: :rust_image,

skip_compilation?: true,

load_from: {:my_app, "priv/native/librust_image"}

我们在这里所做的是在其自己的 Docker 构建器上下文中构建库,因此它与我们其余的 Docker 步骤并行运行并且可以轻松缓存。然后我们告诉 Rustler 跳过编译并直接从我们放置它的地方加载它。

我们都准备好了,fly deploy你就可以出发了!

七、讨论

关于结合使用 NIF 和 Rust 的强大功能,我们只是真正触及了皮毛。从加载海量数据集到做科学研究再到通过 WebRTC 进行连接,Rust 社区已经构建了一套令人印象深刻的包和工具,现在我们也可以使用这些包和工具。Rustler 使之成为可能!

原文链接:https://fly.io/phoenix-files/elixir-and-rust-is-a-good-mix/

责任编辑:武晓燕 来源: 51CTO技术栈
相关推荐

2021-04-13 06:35:13

Elixir语言编程语言软件开发

2015-11-23 16:27:35

人工智能

2023-04-24 12:57:01

数据中心综合布线

2023-07-11 13:34:19

Rust开发软件

2020-09-16 23:00:15

Rust编程语言开发

2010-09-10 15:32:53

SQL函数日期格式化

2021-01-03 16:30:34

Rust编程语言

2017-07-13 12:33:15

戴尔

2012-09-18 01:33:34

程序员创意开发者

2012-07-20 09:51:56

赞扬管理艺术管理

2024-01-09 18:00:22

Rust后端slvelte

2024-02-28 07:48:05

Rust项目框架

2024-02-27 07:33:32

搜索引擎Rust模型

2022-04-10 23:02:08

GoRust语言

2016-11-02 00:22:13

数字化改造数字化

2021-07-06 14:36:05

RustLinux内核模块

2017-11-29 18:11:00

ERP管理数字化

2021-05-30 07:59:00

String引用类型

2013-06-28 17:28:04

推送

2016-12-15 08:54:52

线程sessionopenSession
点赞
收藏

51CTO技术栈公众号