Knative 实战：三步走！基于 Knative Serverless 技术实现一个短网址服务

Stella981
• 阅读 654

短网址顾名思义就是使用比较短的网址代替很长的网址。维基百科上面的解释是这样的：

短网址又称网址缩短、缩短网址、URL 缩短等，指的是一种互联网上的技术与服务，此服务可以提供一个非常短小的 URL 以代替原来的可能较长的URL，将长的 URL 位址缩短。用户访问缩短后的 URL 时通常将会重定向到原来的长 URL

起源

虽然现在互联网已经非常发达了，但还是有很多场景会对用户输入的内容有长度限制。比如 ：

  • 微薄、Twitter 长度不能超过 140 个字
  • 一些早期的 BBS 文章单行的长度不能超过 78 字符等场景
  • 运营商短信的长度不能超过 70 个字

而现在很多媒体、电商平台的内容大多都是多人协作通过比较复杂的系统、框架生成的，链接长度几十个甚至上百字符都是很平常的事情，所以如果在上述的几个场景中传播链接使用短网址服务就是一个必然的结果。比如下面这些短信截图你应该不会陌生：
Knative 实战：三步走！基于 Knative Serverless 技术实现一个短网址服务

应用场景

短网址服务的最初本意就是缩短长 url，方便传播。但其实短网址服务还能做很多其他的事情。比如下面这些：

  • 访问次数的限制，比如只能访问 1 次，第二次访问的时候就拒绝服务
  • 时间的限制，比如只能在一周内提供访问服务，超过一周就拒绝服务
  • 根据访问者的地域的限制
  • 通过密码访问
  • 访问量统计
  • 高峰访问时间统计等等
  • 统计访问者的一些信息，比如：
    • 来源城市
    • 访问时间
    • 使用的终端设备、浏览器
    • 访问来源 IP
  • 在营销活动中其实还可以对不同的渠道生成不通的短网址，这样通过统计这些短网址还能判断不同渠道的访问量等信息

基于 Knative Serverless 技术实现一个短网址服务

在 Knative 模式下可以实现按需分配，没有流量的时候实例缩容到零，当有流量进来的时候再自动扩容实例提供服务。
现在我们就基于阿里云容器服务的 Knative 来实现一个 serverless 模式的短网址服务。本示例会给出一个完整的 demo，你可以自己在阿里云容器服务上面创建一个 Knative 集群，使用本示例提供服务。本示例中实现一个最简单的功能

  • 通过接口实现长网址到短网址的映射服务
  • 当用户通过浏览器访问短网址的时候通过 301 跳转到长网址

下面我们一步一步实现这个功能

数据库

既然要实现短网址到长网址的映射，那么就需要保存长网址的信息到数据库，并且生成一个短的 ID 作为短网址的一部分。所以我们首先需要选型使用什么数据库。在本示例中我们选择使用阿里云的表格存储，表格存储最大的优势就是按量服务，你只需要为你使用的量付费，而且价格也很实惠。如下所示的按量计费价格表。1G 的数据保存一年的费用是3.65292元/年( 0.000417 _ 24 _ 365=3.65292) ，是不是很划算。

Knative 实战：三步走！基于 Knative Serverless 技术实现一个短网址服务

短网址生成 API

我们需要有一个 API 生成短网址

/new?origin-url=${长网址}

  • origin-url 访问地址

返回结果

vEzm6v

假设我们服务的域名是 short-url.default.serverless.kuberun.com ，那么现在访问 http://short-url.default.serverless.kuberun.com/vEzm6v 就可以跳转到长网址了。

代码实现

package main

import (
    "crypto/md5"
    "encoding/hex"
    "fmt"
    "log"
    "net/http"
    "os"
    "strconv"
    "time"

    "strings"

    "github.com/aliyun/aliyun-tablestore-go-sdk/tablestore"
)

var (
    alphabet = []byte("abcdefghijklmnopqrstuvwxyz0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ")
    l        = &Log{}
)

func ShortUrl(url string) string {
    md5Str := getMd5Str(url)
    var tempVal int64
    var result [4]string
    for i := 0; i < 4; i++ {
        tempSubStr := md5Str[i*8 : (i+1)*8]
        hexVal, _ := strconv.ParseInt(tempSubStr, 16, 64)
        tempVal = 0x3FFFFFFF & hexVal
        var index int64
        tempUri := []byte{}
        for i := 0; i < 6; i++ {
            index = 0x0000003D & tempVal
            tempUri = append(tempUri, alphabet[index])
            tempVal = tempVal >> 5
        }
        result[i] = string(tempUri)
    }
    return result[0]
}

func getMd5Str(str string) string {
    m := md5.New()
    m.Write([]byte(str))
    c := m.Sum(nil)
    return hex.EncodeToString(c)
}

type Log struct {
}

func (log *Log) Infof(format string, a ...interface{}) {
    log.log("INFO", format, a...)
}

func (log *Log) Info(msg string) {
    log.log("INFO", "%s", msg)
}

func (log *Log) Errorf(format string, a ...interface{}) {
    log.log("ERROR", format, a...)
}

func (log *Log) Error(msg string) {
    log.log("ERROR", "%s", msg)
}

func (log *Log) Fatalf(format string, a ...interface{}) {
    log.log("FATAL", format, a...)
}

func (log *Log) Fatal(msg string) {
    log.log("FATAL", "%s", msg)
}

func (log *Log) log(level, format string, a ...interface{}) {
    var cstSh, _ = time.LoadLocation("Asia/Shanghai")
    ft := fmt.Sprintf("%s %s %s\n", time.Now().In(cstSh).Format("2006-01-02 15:04:05"), level, format)
    fmt.Printf(ft, a...)
}

func handler(w http.ResponseWriter, r *http.Request) {
    l := &Log{}
    l.Infof("Hello world received a request, url: %s", r.URL.Path)
    l.Infof("url:%s ", r.URL)
    //if r.URL.Path == "/favicon.ico" {
    //    http.NotFound(w, r)
    //    return
    //}

    urls := strings.Split(r.URL.Path, "/")
    originUrl := getOriginUrl(urls[len(urls)-1])
    http.Redirect(w, r, originUrl, http.StatusMovedPermanently)
}

func new(w http.ResponseWriter, r *http.Request) {
    l.Infof("Hello world received a request, url: %s", r.URL)
    l.Infof("url:%s ", r.URL)
    originUrl, ok := r.URL.Query()["origin-url"]
    if !ok {
        l.Errorf("no origin-url params found")
        w.WriteHeader(http.StatusBadRequest)
        w.Write([]byte("Bad request!"))
        return
    }

    surl := ShortUrl(originUrl[0])
    save(surl, originUrl[0])
    fmt.Fprint(w, surl)

}

func getOriginUrl(surl string) string {
    endpoint := os.Getenv("OTS_TEST_ENDPOINT")
    tableName := os.Getenv("TABLE_NAME")
    instanceName := os.Getenv("OTS_TEST_INSTANCENAME")
    accessKeyId := os.Getenv("OTS_TEST_KEYID")
    accessKeySecret := os.Getenv("OTS_TEST_SECRET")
    client := tablestore.NewClient(endpoint, instanceName, accessKeyId, accessKeySecret)

    getRowRequest := &tablestore.GetRowRequest{}
    criteria := &tablestore.SingleRowQueryCriteria{}

    putPk := &tablestore.PrimaryKey{}
    putPk.AddPrimaryKeyColumn("id", surl)
    criteria.PrimaryKey = putPk

    getRowRequest.SingleRowQueryCriteria = criteria
    getRowRequest.SingleRowQueryCriteria.TableName = tableName
    getRowRequest.SingleRowQueryCriteria.MaxVersion = 1

    getResp, _ := client.GetRow(getRowRequest)
    colmap := getResp.GetColumnMap()
    return fmt.Sprintf("%s", colmap.Columns["originUrl"][0].Value)
}

func save(surl, originUrl string) {
    endpoint := os.Getenv("OTS_TEST_ENDPOINT")
    tableName := os.Getenv("TABLE_NAME")
    instanceName := os.Getenv("OTS_TEST_INSTANCENAME")
    accessKeyId := os.Getenv("OTS_TEST_KEYID")
    accessKeySecret := os.Getenv("OTS_TEST_SECRET")
    client := tablestore.NewClient(endpoint, instanceName, accessKeyId, accessKeySecret)

    putRowRequest := &tablestore.PutRowRequest{}
    putRowChange := &tablestore.PutRowChange{}
    putRowChange.TableName = tableName

    putPk := &tablestore.PrimaryKey{}
    putPk.AddPrimaryKeyColumn("id", surl)
    putRowChange.PrimaryKey = putPk

    putRowChange.AddColumn("originUrl", originUrl)
    putRowChange.SetCondition(tablestore.RowExistenceExpectation_IGNORE)
    putRowRequest.PutRowChange = putRowChange

    if _, err := client.PutRow(putRowRequest); err != nil {
        l.Errorf("putrow failed with error: %s", err)
    }
}

func main() {
    http.HandleFunc("/", handler)
    http.HandleFunc("/new", new)
    port := os.Getenv("PORT")
    if port == "" {
        port = "9090"
    }

    if err := http.ListenAndServe(fmt.Sprintf(":%s", port), nil); err != nil {
        log.Fatalf("ListenAndServe error:%s ", err.Error())
    }

}

代码我已经编译成镜像，你可以直接使用 registry.cn-hangzhou.aliyuncs.com/knative-sample/shorturl:v1 此镜像编部署服务。

三步走起！！！

第一步 准备数据库

首先到阿里云开通表格存储服务，然后创建一个实例和表。我们需要的结构比较简单，只需要短 URL ID 到长 URL 的映射即可，存储表结构设计如下：

名称

描述

id

短网址 ID

originUrl

长网址

第二步 获取 access key

登陆到阿里云以后鼠标浮动在页面的右上角头像，然后点击 accesskeys 跳转到 accesskeys 管理页面
Knative 实战：三步走！基于 Knative Serverless 技术实现一个短网址服务
点击显示即可显示 Access Key Secret
Knative 实战：三步走！基于 Knative Serverless 技术实现一个短网址服务

第三步 部署服务

Knative Service 的配置如下， 使用前两步的配置信息填充 Knative Service 的环境变量。然后部署到 Knative集群即可

apiVersion: serving.knative.dev/v1alpha1
kind: Service
metadata:
  name: short-url
  namespace: default
spec:
  template:
    metadata:
      labels:
        app: short-url
      annotations:
        autoscaling.knative.dev/maxScale: "20"
        autoscaling.knative.dev/minScale: "0"
        autoscaling.knative.dev/target: "100"
    spec:
      containers:
        - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/shorturl:v1
          ports:
            - name: http1
              containerPort: 8080
          env:
          - name: OTS_TEST_ENDPOINT
            value: http://t.cn-hangzhou.ots.aliyuncs.com
          - name: TABLE_NAME
            value: ${TABLE_NAME}
          - name: OTS_TEST_INSTANCENAME
            value: ${OTS_TEST_INSTANCENAME}
          - name: OTS_TEST_KEYID
            value: ${OTS_TEST_KEYID}
          - name: OTS_TEST_SECRET
            value: ${OTS_TEST_SECRET}

使用上面的 knative service 部署服务，部署好以后可能是下面这样：

└─# kubectl get ksvc
short-url       http://short-url.default.serverless.kuberun.com       short-url-456q9       short-url-456q9       True

现在可以开始测试

curl 命令输出的结果 VR7baa 就是短网址的 ID

小结

本实战我们只需三步就基于 Knative 实现了一个 Serverless 的短网址服务，此短网址服务在没有请求的时候可以缩容到零节省计算资源，在有很多请求的时候可以自动扩容。并且使用了阿里云表格存储，这样数据库也是按需付费。基于 Knative + TableStore 实现了短网址服务的 Serverless 化。

“ 阿里巴巴云原生微信公众号（ID：Alicloudnative）关注微服务、Serverless、容器、Service Mesh等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践，做最懂云原生开发者的技术公众号。”

httpsurl前端前端
点赞
收藏
评论区
推荐文章
blmius blmius
•
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时，报错：原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等，这样可以更容易地在不同的环境中使用MySQL。全局s
4061
0
0
待兔 待兔
•
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
1039
0
0
陈占占 陈占占
•
2年前
Python爬虫-爬取图片并且存储到MySQL数据库中
一、获取网址，解析网址​​（1）、for循环获取不同页的数据（2）、获取a标签中的网址（原因：外面图片分辨率太小，进入图片对应的网址寻找分辨率大点的图片）url网址https://www.moyublog.com/95200.htmlforiinrange(1):strvaluestr(i)页数url"htt
2347
0
0
可莉 可莉
•
3年前
15款最好用的腾讯短链接（url.cn接口）批量在线生成接口
  短链接已经广泛应用于各种场景，电商，微信，短信等等。那么今天给大家推荐15款t.cn、url.cn的短链接短网址在线生成工具，都是我从市面数十款短链接短网址生成工具里面挑选的最为简便，最为稳定的短链接短网址生成工具。废话不多！1，青梅短网址(https://www.oschina.net/action/GoToLink?urlhttp
1048
0
0
Wesley13 Wesley13
•
3年前
URL编码以及get和post请求乱码问题
1. 什么是URL编码。URL编码是一种浏览器用来打包表单输入的格式，浏览器从表单中获取所有的name和其对应的value，将他们以name/value编码方式作为URL的一部分或者分离的发送到服务器上。2. URL编码规则。每对name/value由&分开，每对来自表单的name/value用分开。如果用户没有输入值的那个
1019
0
0
京东云开发者 京东云开发者
•
1个月前
京东短网址高可用提升最佳实践
什么是短网址？短网址，是在长度上比较短的网址。简单来说就是帮您把冗长的URL地址缩短成8个字符以内的短网址。当我们在腾讯、新浪发微博时，有时发很长的网址连接，但由于微博只限制140个字，所以微博就自动把您发的长网址给转换成短网址了。在微博和手机短信提醒等限
177
0
0
晴雯 晴雯
•
1年前
Dropzone 4：让拖放操作更加强大、更智能
Dropzone，它是Mac的一款生产力应用程序，可以更快更轻松地移动和复制文件，启动应用程序，上传到许多不同的服务等等。功能打开应用程序，移动和复制文件的速度比以往任何时候都要快。使用Tinyurl缩短网址URL。只需选择要缩短的URL，然后按Contr
383
0
0
京东云开发者 京东云开发者
•
1年前
京东短网址高可用提升最佳实践 | 京东云技术团队
作者：京东零售郝彦军什么是短网址？短网址，是在长度上比较短的网址。简单来说就是帮您把冗长的URL地址缩短成8个字符以内的短网址。当我们在腾讯、新浪发微博时，有时发很长的网址连接，但由于微博只限制140个字，所以微博就自动把您发的长网址给转换成短网址了。在微
532
0
0
Mebius Mebius
•
1年前
如何生成t.cn短网址
说起短网址（短链接），很多人都已不再陌生。不过想要把一串长长的网址，缩短成精简的链接，却没那么简单。
435
0
0
京东云开发者 京东云开发者
•
4个月前
京东短网址高可用提升最佳实践
什么是短网址？短网址，是在长度上比较短的网址。简单来说就是帮您把冗长的URL地址缩短成8个字符以内的短网址。当我们在腾讯、新浪发微博时，有时发很长的网址连接，但由于微博只限制140个字，所以微博就自动把您发的长网址给转换成短网址了。在微博和手机短信提醒等限
224
0
0
Stella981
Stella981
Lv1
接天莲叶无穷碧，映日荷花别样红。
文章
1.7w
粉丝
42
获赞
28
热门文章
OpenVPN下载、安装、配置及使用详解
GitHub神器，一个可以白嫖全网无损音乐的神器
OpenWrt 路由器过滤广告的N种方法
Python—执行系统命令的四种方法（os.system、os.popen、commands、subprocess）
SS端加密以及obfs混淆