补充 Golang Bufio 说明.
Signed-off-by: rick.chan <cy187lion@sina.com>
This commit is contained in:
parent
42fdd0bc01
commit
c91e1e1f75
|
@ -0,0 +1,139 @@
|
|||
# Golang Bufio 说明
|
||||
|
||||
Go 语言中,为了方便开发者使用,将 IO 操作封装在了如下几个包中:
|
||||
|
||||
- io:为 IO 原语(I/O primitives)提供基本的接口
|
||||
- io/ioutil:封装一些实用的 I/O 函数
|
||||
- fmt:实现格式化 I/O
|
||||
- bufio:实现带缓冲 I/O
|
||||
|
||||
bufio 包实现了有缓冲的 I/O。它包装一个 io.Reader 或 io.Writer 接口对象,创建另一个也实现了该接口,且同时还提供了缓冲和一些文本 I/O 的帮助函数的对象。
|
||||
|
||||
频繁的 I/O 操作会导致性能下降,所以 bufio 提供了一块缓冲区(分配一块内存),读和写都先在缓冲区中,最后再读写文件,来降低访问本地磁盘的次数,从而提高效率。简单的说就是,把文件 Load 进缓冲(内存)之后再进行多次读取,就可以避免频繁的 I/O 读取操作,从而提高速度。同理,在进行写操作时,先把文件写入缓冲(内存),然后由缓冲写入文件系统。
|
||||
|
||||
## bufio.Reader
|
||||
|
||||
### bufio.Reader.ReadLine()
|
||||
|
||||
可以使用 bufio.Reader 的 ReadLine() 函数进行逐行读取:
|
||||
|
||||
```go
|
||||
// ReadLines reads all lines of the file.
|
||||
func ReadLines(path string) ([]string, error) {
|
||||
f, err := os.Open(path)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
defer f.Close()
|
||||
|
||||
var lines []string
|
||||
r := bufio.NewReader(f)
|
||||
for {
|
||||
// ReadLine is a low-level line-reading primitive.
|
||||
// Most callers should use ReadBytes('\n') or ReadString('\n') instead or use a Scanner.
|
||||
bytes, _, err := r.ReadLine()
|
||||
if err == io.EOF {
|
||||
break
|
||||
}
|
||||
if err != nil {
|
||||
return lines, err
|
||||
}
|
||||
lines = append(lines, string(bytes))
|
||||
}
|
||||
return lines, nil
|
||||
}
|
||||
```
|
||||
|
||||
使用 bufio.Reader 的 ReadLine() 方法可时需要注意它的返回值。ReadLine() 函数的返回值包括三个部分:读取到的数据、是否读取完整一行以及错误信息。如果读取到的数据超出了缓存区的大小,它会返回一个错误信息,而不是完整的一行数据。
|
||||
|
||||
因此,如果读取的一行数据的长度超过了缓存区的大小,ReadLine() 函数将无法读取到完整的一行数据。为了避免这种情况的发生,我们可以通过设置缓存区的大小来解决。
|
||||
|
||||
ReadLine 是一个低级的行读取原语。大多数调用者应该使用 ReadBytes(‘\n’) 或 ReadString(‘\n’),或者使用 Scanner。
|
||||
|
||||
### bufio.Reader.ReadBytes() 及 bufio.Reader.ReadString()
|
||||
|
||||
可以使用 bufio 包中的 Reader 类型按行读取文件。在使用 bufio.Reader 时,我们需要使用 ReadBytes() 或 ReadString() 方法来读取每一行,示例代码如下:
|
||||
|
||||
```go
|
||||
// ReadLines reads all lines of the file.
|
||||
func ReadLines(path string) ([]string, error) {
|
||||
file, err := os.Open(path)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
defer file.Close()
|
||||
|
||||
var lines []string
|
||||
reader := bufio.NewReader(file)
|
||||
for {
|
||||
// ReadString reads until the first occurrence of delim in the input,
|
||||
// returning a string containing the data up to and including the delimiter.
|
||||
line, err := reader.ReadString('\n')
|
||||
if err == io.EOF {
|
||||
lines = append(lines, line)
|
||||
break
|
||||
}
|
||||
if err != nil {
|
||||
return lines, err
|
||||
}
|
||||
lines = append(lines, line[:len(line)-1])
|
||||
}
|
||||
return lines, nil
|
||||
}
|
||||
```
|
||||
|
||||
上面的代码中,我们使用 NewReader() 函数创建一个 Reader 对象。在 for 循环中,我们使用 ReadString() 函数读取每一行的内容,并将其追加到字符串切片中。
|
||||
|
||||
需要注意的是,在使用 ReadString() 函数时,我们需要指定分隔符,例如 ‘\n’ 表示以换行符为分隔符。如果读取的文件中没有指定的分隔符,ReadString() 函数会返回一个错误,因此我们需要在 for 循环中检查是否发生了错误。
|
||||
|
||||
## bufio.Scanner
|
||||
|
||||
bufio.Scanner 是一个基于缓冲区的数据扫描器,它提供了方便的逐行/逐词读取操作。Scan() 方法是 bufio.Scanner 的一个核心方法,用于扫描缓冲区中的数据并返回扫描到的下一个 Token。
|
||||
|
||||
Scan() 方法的原型如下:
|
||||
|
||||
```go
|
||||
func (s *Scanner) Scan() bool
|
||||
```
|
||||
|
||||
该方法返回一个 bool 类型值,表示扫描是否成功。如果扫描成功,该方法会将下一个 Token 读取出来并保存在 Scanner 的 Text 字段中。如果扫描失败,则返回 false。
|
||||
|
||||
在读取 Token 之前,Scanner 会将缓冲区中的数据读取到底层的 Reader中,并从底层的 Reader 中获取新的数据填充到缓冲区中。因此,在 Scan 方法调用之前,Scanner 的缓冲区中可能已经包含了一部分数据,也可能为空。
|
||||
|
||||
扫描过程中,Scanner 会将缓冲区中的数据按照分隔符进行分割,并将分割后的 Token 返回。默认情况下,Scanner 使用换行符作为分隔符,即每次扫描一行数据。如果需要使用其他分隔符,可以使用 Scanner 的 Split() 方法进行设置。
|
||||
|
||||
其基本使用方式如下:
|
||||
|
||||
```go
|
||||
// ReadLines reads all lines of the file.
|
||||
func ReadLines(path string) ([]string, error) {
|
||||
file, err := os.Open(path)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
defer file.Close()
|
||||
|
||||
var lines []string
|
||||
scanner := bufio.NewScanner(file)
|
||||
for scanner.Scan() {
|
||||
lines = append(lines, scanner.Text())
|
||||
}
|
||||
return lines, scanner.Err()
|
||||
}
|
||||
```
|
||||
|
||||
上面的代码中,我们首先使用 NewScanner() 函数创建一个 Scanner 对象。然后在 for 循环中,我们使用 Scanner 的 Scan() 方法读取文件的每一行,然后使用 Text() 方法获取每一行的内容。最后,我们将获取到的行追加到字符串切片中。
|
||||
|
||||
Scanner 的 Split() 方法原型如下:
|
||||
|
||||
```go
|
||||
// Split sets the split function for the Scanner.
|
||||
// The default split function is ScanLines.
|
||||
//
|
||||
// Split panics if it is called after scanning has started.
|
||||
func (s *Scanner) Split(split SplitFunc)
|
||||
```
|
||||
|
||||
如果没有设置过 split,则使用默认方法,即:ScanLines()。
|
||||
|
||||
通过比较以上代码,不难发现,如果需要按行进行 buf 读取,则使用 Scanner 最为高级,代码也最简洁。
|
Loading…
Reference in New Issue