下载APP
关闭
讲堂
极客商城
客户端下载
兑换中心
企业服务
免费资讯
渠道合作
推荐作者

03丨套接字和地址:像电话和电话号码一样理解它们

2019-08-07 盛延敏
网络编程实战
进入课程

讲述:冯永吉

时长10:59大小10.07M

在网络编程中,我们经常会提到 socket 这个词,它的中文翻译为套接字,有的时候也叫做套接口。

socket 这个英文单词的原意是“插口”“插槽”, 在网络编程中,它的寓意是可以通过插口接入的方式,快速完成网络连接和数据收发。你可以把它想象成现实世界的电源插口,或者是早期上网需要的网络插槽,所以 socket 也可以看做是对物理世界的直接映射。

其实计算机程序设计是一门和英文有着紧密联系的学科,很多专有名词使用英文原词比翻译成中文更容易让大家接受。为了方便,在专栏里我们一般会直接使用英文,如果需要翻译就一律用“套接字”这个翻译。

socket 到底是什么?

在网络编程中,到底应该怎么理解 socket 呢?我在这里先呈上这么一张图,你可以先看看。


这张图表达的其实是网络编程中,客户端和服务器工作的核心逻辑。

我们先从右侧的服务器端开始看,因为在客户端发起连接请求之前,服务器端必须初始化好。右侧的图显示的是服务器端初始化的过程,首先初始化 socket,之后服务器端需要执行 bind 函数,将自己的服务能力绑定在一个众所周知的地址和端口上,紧接着,服务器端执行 listen 操作,将原先的 socket 转化为服务端的 socket,服务端最后阻塞在 accept 上等待客户端请求的到来。

此时,服务器端已经准备就绪。客户端需要先初始化 socket,再执行 connect 向服务器端的地址和端口发起连接请求,这里的地址和端口必须是客户端预先知晓的。这个过程,就是著名的TCP 三次握手(Three-way Handshake)。下一篇文章,我会详细讲到 TCP 三次握手的原理。

一旦三次握手完成,客户端和服务器端建立连接,就进入了数据传输过程。

具体来说,客户端进程向操作系统内核发起 write 字节流写操作,内核协议栈将字节流通过网络设备传输到服务器端,服务器端从内核得到信息,将字节流从内核读入到进程中,并开始业务逻辑的处理,完成之后,服务器端再将得到的结果以同样的方式写给客户端。可以看到,一旦连接建立,数据的传输就不再是单向的,而是双向的,这也是 TCP 的一个显著特性

当客户端完成和服务器端的交互后,比如执行一次 Telnet 操作,或者一次 HTTP 请求,需要和服务器端断开连接时,就会执行 close 函数,操作系统内核此时会通过原先的连接链路向服务器端发送一个 FIN 包,服务器收到之后执行被动关闭,这时候整个链路处于半关闭状态,此后,服务器端也会执行 close 函数,整个链路才会真正关闭。半关闭的状态下,发起 close 请求的一方在没有收到对方 FIN 包之前都认为连接是正常的;而在全关闭的状态下,双方都感知连接已经关闭。

请你牢牢记住文章开头的那幅图,它是贯穿整个专栏的核心图之一。

讲这幅图的真正用意在于引入 socket 的概念,请注意,以上所有的操作,都是通过 socket 来完成的。无论是客户端的 connect,还是服务端的 accept,或者 read/write 操作等,socket 是我们用来建立连接,传输数据的唯一途径

更好地理解 socket:一个更直观的解释

你可以把整个 TCP 的网络交互和数据传输想象成打电话,顺着这个思路想象,socket 就好像是我们手里的电话机,connect 就好比拿着电话机拨号,而服务器端的 bind 就好比是去电信公司开户,将电话号码和我们家里的电话机绑定,这样别人就可以用这个号码找到你,listen 就好似人们在家里听到了响铃,accept 就好比是被叫的一方拿起电话开始应答。至此,三次握手就完成了,连接建立完毕。

接下来,拨打电话的人开始说话:“你好。”这时就进入了 write,接收电话的人听到的过程可以想象成 read(听到并读出数据),并且开始应答,双方就进入了 read/write 的数据传输过程。

最后,拨打电话的人完成了此次交流,挂上电话,对应的操作可以理解为 close,接听电话的人知道对方已挂机,也挂上电话,也是一次 close。

在整个电话交流过程中,电话是我们可以和外面通信的设备,对应到网络编程的世界里,socket 也是我们可以和外界进行网络通信的途径。

socket 的发展历史

通过上面的讲解和这个打电话的类比,你现在清楚 socket 到底是什么了吧?那 socket 最开始是怎么被提出来的呢?接下来就很有必要一起来简单追溯一下它的历史了。

socket 是加州大学伯克利分校的研究人员在 20 世纪 80 年代早期提出的,所以也被叫做伯克利套接字。伯克利的研究者们设想用 socket 的概念,屏蔽掉底层协议栈的差别。第一版实现 socket 的就是 TCP/IP 协议,最早是在 BSD 4.2 Unix 内核上实现了 socket。很快大家就发现这么一个概念带来了网络编程的便利,于是有更多人也接触到了 socket 的概念。Linux 作为 Unix 系统的一个开源实现,很早就从头开发实现了 TCP/IP 协议,伴随着 socket 的成功,Windows 也引入了 socket 的概念。于是在今天的世界里,socket 成为网络互联互通的标准。

套接字地址格式

在使用套接字时,首先要解决通信双方寻址的问题。我们需要套接字的地址建立连接,就像打电话时首先需要查找电话簿,找到你想要联系的那个人,你才可以建立连接,开始交流。接下来,我们重点讨论套接字的地址格式。

通用套接字地址格式

下面先看一下套接字的通用地址结构:

/* POSIX.1g 规范规定了地址族为 2 字节的值. */
typedef unsigned short int sa_family_t;
/* 描述通用套接字地址 */
struct sockaddr{
sa_family_t sa_family; /* 地址族. 16-bit*/
char sa_data[14]; /* 具体的地址值 112-bit */
};
复制代码

在这个结构体里,第一个字段是地址族,它表示使用什么样的方式对地址进行解释和保存,好比电话簿里的手机格式,或者是固话格式,这两种格式的长度和含义都是不同的。地址族在 glibc 里的定义非常多,常用的有以下几种:

  • AF_LOCAL:表示的是本地地址,对应的是 Unix 套接字,这种情况一般用于本地 socket 通信,很多情况下也可以写成 AF_UNIX、AF_FILE;
  • AF_INET:因特网使用的 IPv4 地址;
  • AF_INET6:因特网使用的 IPv6 地址。

这里的 AF_ 表示的含义是 Address Family,但是很多情况下,我们也会看到以 PF_ 表示的宏,比如 PF_INET、PF_INET6 等,实际上 PF_ 的意思是 Protocol Family,也就是协议族的意思。我们用 AF_xxx 这样的值来初始化 socket 地址,用 PF_xxx 这样的值来初始化 socket。我们在 <sys/socket.h> 头文件中可以清晰地看到,这两个值本身就是一一对应的。

/* 各种地址族的宏定义 */
#define AF_UNSPEC PF_UNSPEC
#define AF_LOCAL PF_LOCAL
#define AF_UNIX PF_UNIX
#define AF_FILE PF_FILE
#define AF_INET PF_INET
#define AF_AX25 PF_AX25
#define AF_IPX PF_IPX
#define AF_APPLETALK PF_APPLETALK
#define AF_NETROM PF_NETROM
#define AF_BRIDGE PF_BRIDGE
#define AF_ATMPVC PF_ATMPVC
#define AF_X25 PF_X25
#define AF_INET6 PF_INET6
复制代码

sockaddr 是一个通用的地址结构,通用的意思是适用于多种地址族。为什么定义这么一个通用地址结构呢,这个放在后面讲。

IPv4 套接字格式地址

接下来,看一下常用的 IPv4 地址族的结构:

/* IPV4 套接字地址,32bit 值. */
typedef uint32_t in_addr_t;
struct in_addr
{
in_addr_t s_addr;
};
/* 描述 IPV4 的套接字地址格式 */
struct sockaddr_in
{
sa_family_t sin_family; /* 16-bit */
in_port_t sin_port; /* 端口口 16-bit*/
struct in_addr sin_addr; /* Internet address. 32-bit */
/* 这里仅仅用作占位符,不做实际用处 */
unsigned char sin_zero[8];
};
复制代码

我们对这个结构体稍作解读,首先可以发现和 sockaddr 一样,都有一个 16-bit 的 sin_family 字段,对于 IPv4 来说这个值就是 AF_INET。

接下来是端口号,我们可以看到端口号最多是 16-bit,也就是说最大支持 2 的 16 次方,这个数字是 65536,所以我们应该知道支持寻址的端口号最多就是 65535。关于端口,我在前面的章节也提到过,这里重点阐述一下保留端口。所谓保留端口就是大家约定俗成的,已经被对应服务广为使用的端口,比如 ftp 的 21 端口,ssh 的 22 端口,http 的 80 端口等。一般而言,大于 5000 的端口可以作为我们自己应用程序的端口使用。

下面是 glibc 定义的保留端口。

/* Standard well-known ports. */
enum
{
IPPORT_ECHO = 7, /* Echo service. */
IPPORT_DISCARD = 9, /* Discard transmissions service. */
IPPORT_SYSTAT = 11, /* System status service. */
IPPORT_DAYTIME = 13, /* Time of day service. */
IPPORT_NETSTAT = 15, /* Network status service. */
IPPORT_FTP = 21, /* File Transfer Protocol. */
IPPORT_TELNET = 23, /* Telnet protocol. */
IPPORT_SMTP = 25, /* Simple Mail Transfer Protocol. */
IPPORT_TIMESERVER = 37, /* Timeserver service. */
IPPORT_NAMESERVER = 42, /* Domain Name Service. */
IPPORT_WHOIS = 43, /* Internet Whois service. */
IPPORT_MTP = 57,
IPPORT_TFTP = 69, /* Trivial File Transfer Protocol. */
IPPORT_RJE = 77,
IPPORT_FINGER = 79, /* Finger service. */
IPPORT_TTYLINK = 87,
IPPORT_SUPDUP = 95, /* SUPDUP protocol. */
IPPORT_EXECSERVER = 512, /* execd service. */
IPPORT_LOGINSERVER = 513, /* rlogind service. */
IPPORT_CMDSERVER = 514,
IPPORT_EFSSERVER = 520,
/* UDP ports. */
IPPORT_BIFFUDP = 512,
IPPORT_WHOSERVER = 513,
IPPORT_ROUTESERVER = 520,
/* Ports less than this value are reserved for privileged processes. */
IPPORT_RESERVED = 1024,
/* Ports greater this value are reserved for (non-privileged) servers. */
IPPORT_USERRESERVED = 5000
复制代码

实际的 IPv4 地址是一个 32-bit 的字段,可以想象最多支持的地址数就是 2 的 32 次方,大约是 42 亿,应该说这个数字在设计之初还是非常巨大的,无奈互联网蓬勃发展,全球接入的设备越来越多,这个数字渐渐显得不太够用了,于是大家所熟知的 IPv6 就隆重登场了。

IPv6 套接字地址格式

我们再看看 IPv6 的地址结构:

struct sockaddr_in6
{
sa_family_t sin6_family; /* 16-bit */
in_port_t sin6_port; /* 传输端口号 # 16-bit */
uint32_t sin6_flowinfo; /* IPv6 流控信息 32-bit*/
struct in6_addr sin6_addr; /* IPv6 地址 128-bit */
uint32_t sin6_scope_id; /* IPv6 域 ID 32-bit */
};
复制代码

整个结构体长度是 28 个字节,其中流控信息和域 IP 先不用管,这两个字段,一个在 glibc 的官网上根本没出现,另一个是当前未使用的字段。这里的地址族显然应该是 AF_INET6,端口同 IPv4 地址一样,关键的地址从 32 位升级到 128 位,这个数字就大到恐怖了,完全解决了寻址数字不够的问题。

请注意,以上无论 IPv4 还是 IPv6 的地址格式都是因特网套接字的格式,还有一种本地套接字格式,用来做为本地进程间的通信, 也就是前面提到的 AF_LOCAL。

struct sockaddr_un {
unsigned short sun_family; /* 固定为 AF_LOCAL */
char sun_path[108]; /* 路径名 */
};
复制代码

几种套接字地址格式比较

这几种地址的比较见下图,IPv4 和 IPv6 套接字地址结构的长度是固定的,而本地地址结构的长度是可变的。

总结

这一讲我们重点讲述了什么是套接字,以及对应的套接字地址格式。套接字作为网络编程的基础,概念异常重要。套接字的设计为我们打开了网络编程的大门,实际上,正是因为 BSD 套接字如此成功,各大 Unix 厂商(包括开源的 Linux)以及 Windows 平台才会很快照搬了过来。在下一讲中,我们将开始创建并使用套接字,建立连接,进一步开始我们的网络编程之旅。

思考题

最后给你留两道思考题吧,你可以想一想 IPv4、IPv6、本地套接字格式以及通用地址套接字,它们有什么共性呢?如果你是 BSD 套接字的设计者,你为什么要这样设计呢?

第二道题是,为什么本地套接字格式不需要端口号,而 IPv4 和 IPv6 套接字格式却需要端口号呢?

我在评论区期待你的思考与见解,如果你觉得这篇文章对你有所帮助,欢迎点击“请朋友读”,把这篇文章分享给你朋友或同事。

© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
上一篇
02 | 网络编程模型:认识客户端-服务器网络模型的基本概念
下一篇
04 | TCP三次握手:怎么使用套接字格式建立连接?
 写留言

精选留言(40)

  • 业余爱好者 置顶
    2019-08-07
    unix系统有一种一统天下的简洁之美:一切皆文件,socket也是文件。

    1.像sock_addr的结构体里描述的那样,几种套接字都要有地址族和地址两个字段。这容易理解,你要与外部通信,肯定要至少告诉计算机对方的地址和使用的是哪一种地址。与远程计算机的通信还需要一个端口号。而本地socket的不同之处在于不需要端口号,那么就有了问题2;

    2.本地socket本质上是在访问本地的文件系统,所以自然不需要端口。远程socket是直接将一段字节流发送到远程计算机的一个进程,而远程计算机可能同时有多个进程在监听,所以用端口号标定要发给哪一个进程。
    展开

    作者回复: 回答的很好,给你点赞

    36
  • 早起不吃虫 置顶
    2019-08-07
    希望老师讲解的时候多讲一下为什么,譬如为什么 -- IPv4 和 IPv6 套接字地址结构的长度是固定的,而本地地址是可变的 --
    展开

    作者回复: 因为本地地址的文件路径是不同的,比如/var/a.sock, /var/lib/a.sock

  • xcoder
    2019-08-07
    老师能讲下关于WebSocket、Http和socket之间的联系吗?

    作者回复: Http是应用层协议,是基于Tcp socket的实现,websocket是http的增强,利用了Tcp双向的特性,增强了服务器端到客户端的传输能力


    以前客户端是需要不断通过轮询来从服务端得到信息,使用websocket以后就可以服务端直接推送信息到客户端

    5
  • (☆_☆)
    2019-08-07
    讲的太好了,越来越懂网络编程了
    展开

    作者回复: 渐渐进入状态了

    3
  • Sweety
    2019-08-07
    打卡。感觉评论区的人都好厉害。
    展开

    作者回复: 我也觉得

    2
  • nil
    2019-08-07
    第一问,通用网络地址结构是所有具体地址结构的抽象,有了统一可以操作的地址结构,那么就可以涉及一套统一的接口,简化了接口设计。通用地址结构中第一个字段表明了地址的类型,后面的数据可以通过具体类型解析出来,一般只有将具体地址类型的指针强制转化成通用类型,这样操作才不会造成内存越界。
    第二问,本地socket基于文件操作的,因此只需要根据文件路径便可区分,不需要使用端口的概念。
    展开

    作者回复: 正解

    2
  • conanforever22
    2019-08-07
    1. 我觉得这样设计的目的是为了给用户提供一个统一的接口, 不用每个地址族成员都增加个函数原型; 只用通过sockaddr.sa_family来确定具体是什么类型的地址, 有点工厂模式的意思; 如果是C++的话就可以用函数重载来实现了
    2. socket主要还是为了进程间通信, 本地套接字主要用于本地IPC, 网络套接字用于跨机器通信; 如果把socket抽象成文件的话, 通信进程双方需要能够根据一个唯一的fd来找到彼此, 跨机器的话可以用端口, 本地的话直接用文件inode就可以了
    展开

    作者回复: 你的理解很到位,工厂模式我倒是没有仔细想过,有点独辟蹊径

    2
  • Linuxer
    2019-08-07
    2字节表示地址族很富裕,知道地址族,基本确定地址结构,通用地址结构,能够很好区分这两部分,一个字符数组就能知道每一种地址结构的起始地址,高明
    展开

    作者回复: 回答的也很高明

    2
  • 俩孩儿他爸
    2019-08-10
    个人感觉“Pv4、IPv6、本地套接字格式以及通用地址套接字”的思想类似于OOP中的继承和多态。通用套接子为抽象类,其他套接字实现该抽象类。这样,可以定义基于通用套接字这个抽象类各种通用接口,其他套接字,也就是具体类,可以完全复用这套接口,即,实现了socket编程的多态!
    展开

    作者回复: 这个理解我给满分。

    1
    1
  • tdytaylor
    2019-08-09
    老师,看了专栏之后,思考后面的问题,发现根本答不上来,看了评论区的一些大牛的解答之后,感觉需要回答这些问题需要很多相关知识(如计算机操作系统),他们的答案感觉是从不同方面回答的,看着都不知道哪个说的更准确。突然觉得之前学的东西太片面了,不能把这些知识串联起,借此希望老师在讲知识点的时候,能稍微提一下,看到不懂的还能把相关知识复习一下,谢谢老师
    展开

    作者回复: 好的,我会留意。

    1
  • zhchnchn
    2019-08-07
    请问老师,实际编程中一般使用sockaddr_in,sockaddr_in6,sockaddr_un结构,那么通用套接字地址结构sockaddr的作用是什么?一般在什么场景下使用?
    展开

    作者回复: 通用套接字就是所有函数的入口参数,用通用套接字就不需要为Tcp udp等各定义一组socket函数了,前面一位同学总结它为工厂模式,我认为挺到位的

    1
  • 萌妻的路飞
    2019-08-07
    c语言还是有点生疏,搜索一下才明白了文中的代码。所以想问下老师,需不需要去补一些c语言,补的话重点看哪些就够了
    展开

    作者回复: 基本的函数,指针就可以了

    1
  • 摘星星的人
    2019-08-07
    1 共性是固定长度,有IP地址和端口号,m这么设计的原因是为了让网络的各个设备通信更加便利,如果没有统一规范,你的是这个格式,他的是那个格式,通信就GG了。

    2 把主机想象成一栋大楼,一个进程就是一户人家,网络通信就是和外面的人互相寄快递,本地的话就邻居之间的交流,外面的人要给你就需要你的地址(IP地址)和户号(端口号)不然快递员不知道送给那家那户。而邻居家之间的,只需要你住在那户(因为有共同地址)就行了。

    期待ing
    展开

    作者回复: 期待你下节课的总结

    1
  • 许童童
    2019-08-07
    老师讲得好,跟着老师一起精进。
    展开

    作者回复: 谢谢,一起走起

    1
  • 刘明
    2019-08-07
    通用地址格式sockaddr为什么设计成16字节这么长,而不是与最长的sockaddr_un一样长呢?

    作者回复: 这个通用地址格式的一个主要目的就是强制将IPV4、IPV6地址转换为统一格式,实现程序可以根据Family字段读取后面的值,所以它不需要设计那么长,只需要和最短的IPV4保持一致即可。

    1
  • ( ̄_ ̄ )
    2019-08-07
    ip加端口号区分唯一进程,而本地套接字可以通过路径来区分

    作者回复: 完美

    1
  • marvinle
    2019-08-11
    第一个问题: 我理解的就是通用地址就是基类,定义函数时,使用基类可以接受任意派生类(IPv4、IPv6等)但是由于C语言没有继承这种东西,所以以通用类型代替,那么一个函数接受了通用类型在函数内部它又如何判断是那种具体类型呢?在Java、C++中有RTTI,但是C没有,所以只能规定前两个字节表示具体类型,这样在内部就可以强制转型回来。
    展开
  • Better me
    2019-08-11
    执行断开连接时,通过原先的链路向服务器发送一个FIN请求。原先的链路是指之前已建立连接的套接字吧,这应该是属于长连接的情况吧。如果是短连接是一次HTTP请求后自动断开连接也是这样的吗?这里不太理解,老师有空看看
    展开

    作者回复: 无论是长连接还是短连接,都有连接断开的过程。正因为建连和端连的成本太高,所以才有了长连接一说。

  • sumi
    2019-08-10
    1. IPv4、IPv6、本地套接字格式以及通用地址套接字都有表示地址簇的字段,通过该字段就能清楚的了解到该socket所对应的网络协议了
    2. IPv4和IPv6的的套接字包含ip地址和端口号,ip地址用来识别主机,端口号对应的就是主机运行的程序。如果一个程序想将自身的服务暴露到网络上就必须使用端口号,而本地套接字的目的是用于主机进程间通信的,故而不需要使用到端口,简单地使用本地文件就可以进行数据的传递,这样也更有效率,所以本地套接字不需要端口号这样的机制
    展开
  • 衬衫的价格是19美元
    2019-08-10
    关于本地通信不需要端口号还是不太明白。如果同一台机器上运行了两个程序,比如redis服务端和redis客户端,我们在建立客户端到服务端的时候也是要指定端口号的。

    作者回复: 那还是走的网络通信协议栈,只不过是通过本地localhost(127.0.0.1)来进行通信。