您所在的位置：什锦文坊 >> 数码科技 >> 正文

TensorFlow 支持 Unicode 编码

2018-12-22 13:40:38 来源：网络整理作者：管理员

文 / Laurence Moroney, Google TensorFlow 团队；Edward Loper, Google Research 团队

TensorFlow 现在可以支持 Unicode，这是一种标准编码系统，可以表示几乎所有语言的字符。处理自然语言时，了解字符的编码方式非常重要。在像英语这样的小字符集的语言中，每个字符都可以使用 ASCII 进行表示。但是这种方法对于其他语言来说并不实用，例如中文，这些语言有数千个字符。即使处理英文文本，Emojis 等特殊字符也不能用 ASCII 表示。

定义字符及其编码的最常用标准是 Unicode，它几乎支持所有语言。对于 Unicode，每个字符使用唯一的整数 code point 表示，其值介于 0 和 0x10FFFF 之间。当按顺序放置 code point 时，将形成 Unicode 字符串。

Unicode tutorial colab 展示了如何在 TensorFlow 中表示 Unicode 字符串。使用 TensorFlow 时，有两种标准方式来表示 Unicode 字符串：

作为整数向量，其中每个位置包含单个 code point
作为字符串，使用字符编码将 code point 序列编码到字符串中。有许多字符编码，其中一些最常见的是 UTF-8，UTF-16 等

以下代码分别使用 code point、UTF-8 和 UTF-16 显示字符串 “语言处理” 的编码。

TensorFlow 支持 Unicode 编码

当然，您可能需要在各种表示方式之间进行转换，而 TensorFlow 1.13 已添加了执行此操作的函数：

tf.strings.unicode_decode: 将字符串标量转换为 code point 的向量（https://www.tensorflow.org/versions/r1.13/api_docs/python/tf/strings/unicode_decode）
tf.strings.unicode_encode: 将 code point 向量转换为字符串标量（https://www.tensorflow.org/versions/r1.13/api_docs/python/tf/strings/unicode_decode）
tf.strings.unicode_transcode: 将字符串标量转换为不同的编码（https://www.tensorflow.org/versions/r1.13/api_docs/python/tf/strings/unicode_transcode）

因此，如果要将上述示例中的 UTF-8 解码为 code point 向量，则可以执行以下操作：

TensorFlow 支持 Unicode 编码

当解码包含多个字符串的 Tensor 时，字符串可能具有不同的长度。 unicode_decode 将结果作为 RaggedTensor 返回，其中内部维度的长度根据每个字符串中的字符数而变化。

TensorFlow 支持 Unicode 编码

要了解有关 TensorFlow 中 Unicode 支持的更多信息，请查看 Unicode tutorial colab并浏览 tf.strings 文档（https://www.tensorflow.org/tutorials/representation/unicode）。

显示全文

上一篇：微信大改版解密张小龙“心学”巨变意图：或将杀入视频社交开战头条

下一篇：共享出行双寡头Uber/Lyft的中场战事，Google才是最大赢家

为您推荐

钱姓起源和来历:活了八百岁的彭祖竟然是钱氏祖先

钱姓排于百家姓中的第二位，虽然起源和来历并不多，但是钱姓人却分布广泛，成为了中国姓氏中的第二大姓。钱姓的主要来源就是彭祖的儿子篯孚，彭祖的真名叫做篯铿，是因为被尧封于大彭而得姓-彭，而他的儿子篯孚因为掌管着钱财，任职钱府上士，所以便为“钱”姓，所以彭钱是一家。...

发布时间：2024-09-20 20:03:27

胡服最早由谁引入中原?赵武灵王为推行骑射改革服饰

胡服最早是由春秋战国时的赵武灵王-赵雍引入中原的，因为当时赵国的地形和地理位置都非常不好，常年深受战争威胁，加上赵武灵王继位之后，时局不稳，周边国家都想要攻打赵国，所以赵武灵王便下令让全员都推行胡服，并且学习骑射，相较于宽大的汉服更加便于行动。...

发布时间：2024-09-20 19:05:44

赛艇运动起源于哪里?英国船工无聊时竞赛(造就贵族运动)

赛艇运动起源于英国的泰晤士河上，当时还是17世纪，英国泰晤士河上的船工在工作之余经常会举办一些赛船，久而久之就形成了一种习俗，在1715年的时候，为了庆祝英王的卫冕，所以第一次正式举办了赛艇比赛，最终在1775年发展为一个正式的运动项目，并且成立了相应的运动俱乐部。...

发布时间：2024-09-20 18:04:28

为什么不能用宸字取名?哪些名字普通人扛不起

人们之所以不愿意或者不敢以“宸”为名，主要是因为在古时候“宸”有着“深邃的房屋”的意思，也就是专指皇帝的居住场所，象征着无上的权力，所以“宸”字自然也就成为了禁忌，不过现代人大多是害怕这个字的气势，普通人的命格扛不住。...

发布时间：2024-09-20 17:00:53

商细蕊原型是谁?原来四位京剧名旦都是灵感来源

商细蕊是电视剧《鬓边不是海棠红》中的京剧名旦，很多人都为他和海归商人程凤台的知己故事而动容，但遗憾的是在历史长河中并没有商细蕊真正的原型，只能说他可能是作者根据历史上著名的京剧名旦构建的一个角色，因为他和梅兰芳、程砚秋、尚小云以及徐碧云等四人的经历和性格都有着极为相似之处。...

发布时间：2024-09-20 16:05:01

历史上著名的美女有哪些：杨玉环，君王不早朝(绝世美女)

在中华上下五千年的历史长河中，除了王朝更替的政治生活与文化生活，还有一些美貌的女子点缀着历史的绘卷，那么在悠悠岁月中有哪些著名的美女呢?下面小编就来为大家盘点一下吧!...

发布时间：2024-09-20 15:04:04

历史上妃嫔最少的皇帝:明孝宗朱佑樘,独爱张皇后(童年不幸)

谈及古代帝王，最让人津津乐道的当属那后宫佳丽三千，不过也不是所有的帝王都有那么充实的后宫，比如历史上有一位皇帝就只有一位妻子，是不是让人有点不敢相信，下面小编就带大家一起了解下吧!...

发布时间：2024-09-20 14:01:05

历史上最长情的皇帝：顺治皇帝，挚爱董鄂妃(为爱出家)

自古无情帝王家，说到帝王的爱情多是奢望，很多帝王后宫的妃子换了一个又一个，几乎都是薄情寡义的，但是漫长的历史长河中也有例外，有的皇帝便与众不同，特别的长情，下面小编来为大家介绍一下历史上最长情的皇帝吧!...

发布时间：2024-09-20 13:03:24

武侠剧中的绝世高手有哪些：扫地僧，化险为夷(秒杀高手)

可以说人的成长伴随着无数的武侠剧，尤其是电视剧中的那些绝世高手更是让人影响深刻，有不少人小时候都幻想过可以武功盖世，一统江湖，那么有人知道武侠剧中有哪些绝世高手吗?下面小编为大家盘点一下吧!...

发布时间：2024-09-20 12:02:19

电视剧中的古装美女：刘亦菲，举止摇曳生姿(天仙下凡)

古装电视剧中有许多的美丽的女子，她们身着美丽的衣裳，一举一动摇曳生姿，美得让人挪不开双眼，可以说是一场视觉盛宴，下面就让小编为大家盘点一下那些古装美女吧!...

发布时间：2024-09-20 11:09:01

清朝古装剧中的美人：刘诗诗，若曦无人超越(顾盼生姿)

近年清朝古装剧收视率暴涨，这些电视剧不仅剧情引人入胜，身着清装的美人也同样吸引了不少目光，有着让人过目不忘的美貌，那么清朝古装剧中有哪些美人呢?下面小编就来为大家盘点一下吧!...

发布时间：2024-09-20 11:02:08

小青龟能长多大：背甲14厘米，体色会变化(濒危物种)

养龟市场上经常可以看到小青龟，这种乌龟乖巧可爱以及性情温顺，所以很多人都会选择小青龟来饲养，不过一直都是见到小青龟都比较小，这不禁令人好奇这种乌龟能长多大?下面小编就带大家一起了解一下小青龟吧!...

发布时间：2024-09-20 10:01:47

阅读排行榜

周排行榜
月排行榜
总排行榜