Pandas read_html() с таблицей, содержащей элементы html

Вы можете изменить ._text_getter(), если хотите.

Что-то вроде:

import lxml.html
import pandas as pd

html = """
<table> 
<thead> 
<th> X1 </th>
<th> X2 </th>
</thead>
<tbody> 
<tr>   
<td>Test</td>   
<td><span style = "..."> Test2 </span> </td>
</tr>
</tbody>
</table>
"""

def custom_text_getter(self, obj):
   result = obj.xpath("node()")[0]
   if isinstance(result, lxml.html.HtmlElement):
      result = lxml.html.tostring(result, encoding = "unicode")
   return result

pd.io.html._LxmlFrameParser._text_getter = custom_text_getter

print(
    pd.read_html(html)[0]
)

     X1                                X2
0  Test  <span style = "..."> Test2 </span>